数据科学中的"数据智慧"
数据科学中的“数据智慧”*
关键词:数据智慧 应用统计学
作者:郁 彬
译者:张心雨 吕 翔
在大数据时代,学术界和工业界的大量研究都是关于如何以一种可扩展和高效率的方式对数据进行储存、交换和计算(通过统计方法和算法)。这些研究非常重要。然而,只有对数据智慧(data wis-才能转化为真正有用的知识和可被采纳的信息。换言之,我们要充分认识到,只有拥有足够数量的数据,才有可能对复杂度较高的问题给出较可靠的答案。“数据智慧”对于我们从数据中提取有效信息和确保没有误用或夸大原始数据是至关重要的。“数据智慧”一词是我对应用统计学核心部分的重新定义。这些核心部分在伟大的统计学家(或者说是数据科学家)约翰·图基(John W. Tukey)的文章1和乔治·伯克斯(Geogre Box) 的文章2中都有详细介绍。
将统计学核心部分重新命名为“数据智慧”非常必要,因为它比“应用统计学”这个术语能起到更好的概括作用。对于这一点,最好让统计学领域之外的人也能了解到。因为这样一个有信息量的名称可以使人们意识到应用统计作为数据科学一部分的重要性。
依据维基百科对“智慧”词条进行解释的第一句话,我想说:“数据智慧”是将领域知识、数
良好的判断力相结合,思辨性地理解数据并依
据数据做决策的一种能力。
“数据智慧”是数学、自然科学和人文主义三方面能力的融合,是科学和艺术的结合。如果没有智慧”。学习它的最好方法就是和拥有它的人一起共事。当然,我们也可以通过问答的方式来帮助你形成和培养“数据智慧”能力。我这里有10个基本问题,我鼓励人们在开始从事数据分析项目或者在项目进行过程中要经常问问自己这些问题。这些问题是按照一定顺序排列的,但是在不断重复的数据分析过程中,这个顺序完全可以被打乱。
这些问题也许无法详尽、彻底地解释“数据智慧”,但是它们体现了“数据智慧”的一些特点。
dom) 也给予同等程度的重视,大数据(或者小数据)实践经验者的指导,仅通过读书很难学习到“数据
1.要回答的问题
数据科学问题最初往往来自统计学或者数据科学以外的学科。例如,神经科学中的一个问题:大脑是如何工作的?或银行业中的一个问题:该对哪组顾客推广新服务?要解决这些问题,统计学家必须要与这些领域的专家进行合作。这些专家会提供有助于解决问题的领域知识、早期的研究成果、更广阔的视角,甚至可能对该问题进行重新定义。而
学和方法论与经验、理解、常识、洞察力以及
原文刊登于ODBMS :http://www.odbms.org/2015/04/data-wisdom-for-data-science/。本文得到了原作者郁彬的授权同意,由张心雨和吕翔翻译,高涛、施涛审校。
1
约翰·图基的文章参见http://projecteuclid.org/euclid.aoms/1177704711。2
乔治·伯克斯的文章参见 http://www.tandfonline.com/doi/abs/10.1080/01621459.1976.10480949#.VR2_eWYhByU。
与这些专家(他们往往很忙)建立联系需要很强的人际交流技巧。
与领域专家的交流对于数据科学项目的成功是必不可少的。在数据来源充足的情况下,经常发生的事情是在收集数据前还没有精确定义要回答的问题。我们发现自己处在图基所说的“探索性数据
分析(Exploratory Data Analysis, EDA)”的游戏
中。我们寻找需要回答的问题,然后不断地重复统计调查过程(就像乔治·伯克斯的文章中所述)。由于误差的存在,我们谨慎地避免对数据中出现的模式进行过度拟合。例如,当同一份数据既被用于对问题进行建模又被用于对问题进行验证时,就会发生过度拟合。避免过度拟合的黄金准则就是将数据进行分割,在分割时考虑到数据潜在的结构(如相关性、聚类性、异质性),使分割后的每部分数据都能代表原始数据。其中一部分用来探索问题,而另一部分通过预测或者建模来回答问题。
2.数据收集
什么样的数据与第1条中要回答的问题最相关?实验设计(统计学的一个分支)和主动学习(机器学习的一个分支)中的方法有助于解决这个问题。即使在数据收集好了以后考虑这个问题也是很有必要的。因为对理想的数据收集机制的理解可以暴露出实
际数据收集过程的缺陷,能够指导下一步分析的方向。下面的问题会对提问有所帮助:数据是如何收集的?在哪些地点?在什么时间段?谁收集的?用什么设备收集的?中途更换过操作人员和设备吗?总之,试着想象自己在数据收集现场。
3.数据含义
数据中的某个数值代表什么含义?它测量了什么?它是否测量了需要测量的?哪些环节可能会出差错?在哪些统计假设下可以认为数据收集没有问题?(对数据收集过程的详细了解在这里会很有帮助。)
4.相关性
收集来的数据能够完全或部分回答要研究的问
题吗?如果不能,还需要收集其他什么数据?第2条中提到的要点在此处同样适用。
5.问题转化
如何将第1条中的问题转化成一个与数据相关的统计问题,使之能够很好地回答原始问题呢?有多种转换方式吗?比如,我们可以把问题转换成一个与统计模型有关的预测问题或者统计推断问题吗?在选择模型前,请列出与回答实质性问题相关的每一种转化方式的优点和缺点。
6.可比性
各数据单元是否是可比的,或经过标准化处理后可视为可交换的?苹果和橘子是否被组合在一起了?数据单元是否是相互独立的?两列数据是不是同一个变量的副本?
7.可视化
观察数据(或其子集),制作一维或二维图表,并检验这些数据的统计量。询问数据范围是什么?数据正常吗?是否有缺失值?使用多种颜色和动态图来标明这些问题。是否有意料之外的情况?值得
注意的是,我们大脑皮层的30%是用来处理图像的,所以可视化方法在挖掘数据模式和特殊情况时非常有效。在通常情况下,为了找到大数据的模式,在
某些模型建立之后使用可视化方法最有用,比如计算残差并进行可视化展示。
8. 随机性
统计推断的概念(比如p 值和置信区间)都依赖于随机性。数据中的随机性是什么含义呢?我们要使统计模型的随机性尽可能地明确。哪些领域知识支持统计模型中的随机性描述?一个表现统计模型中随机性的最好例子是因果关系分析中内曼-鲁宾(Neyman-Rubin) 的随机分组原理(在AB 检验中也会使用)。
9.稳定性
你会使用哪些现有的方法?不同的方法会得
第 12 卷 第1 期 2016 年 1 月
出同一个定性的结论吗?举个例子,如果数据单元是可交换的,可以通过添加噪声或二次抽样对数据进行随机扰动(一般来说,应确定二次抽样样本遵守原样本的底层结构,如相关性、聚类特性和异质性,这样二次抽样样本能较好地代表原始数据),这样做得出的结论依然成立吗?我们只相信那些能通过稳定性检验的方法,稳定性检验简单易行,能够抗过度拟合和过多假阳性发现,具有可重复性(要了解关于稳定性重要程度的更多信息,请参看文章“Stability ”(http://projecteuclid.org/euclid.bj/1377612862))。
可重复性研究最近在学术界引起了很多关注(请参照《自然》(Nature ) 特刊(http://www.nature.com/news/reproducibility-1.17552))。《科学》(Science ) 的主编玛西亚·麦克纳特(Marcia McNutt)指出“实验
问题的答案需要在统计学之外获得。要找到可靠的答案,有效的信息源包括“死的”(如科学文献、报告、书籍)和“活的”(如人)。出色的人际交流技能使寻找正确信息源的过程简单许多,即使是在寻求“死的”信息源的过程中也是这样。因此,为了获取充足的有用信息,人际交流技能变得更加重要,因为在我的经验中,知识渊博的人通常是你最好的指路人。
■美国艺术与科学学院院士。
信息论、遥感、神经科学等。
再现是科学家用以增加结论信度的一种重要方法”。同样,商业和政府实体也应该要求从数据分析中得出的结论在用新的同质数据检验时是可重复的。
国人民大学本科生。
10.结果验证
如何知道数据分析做得是不是好呢?衡量标准是什么?可以考虑用其他类型的数据或者先验知识来验证,不过可能需要收集新的数据。
在数据分析时还有许多其他问题要考虑,但我希望上面的这些问题能使你对如何获取“数据智慧”产生一点感觉。作为一个统计学家,这些
国人民大学本科生。主要研究方向为高维并行计算。
相关文章
- 信息时代智慧教育的内涵与特征_杨现民
- 智慧农险_农业保险信息化发展的展望
- 智慧供水解决方案
- 智慧档案馆文献综述
- 智慧城市关键技术与实现路径研究
- 从数字教育到智慧教育的探索与思考
- 智慧园区解决方案-20**年
- 智慧让城市生活更美好
- 智慧教育的三重境界_从环境_模式到体制_黄荣怀 (1)
2014.1 中国电化教育 总第324期文章编号:1006-9860(2014)01-0029-06 Theory of Educational Technology 理论与争鸣 信息时代智慧教育的内涵与特征 杨现民 (江苏师范大学 教育研 ...
李 舒,赵思健,张 J ].江苏农业科学,2016,44(1):7-12.--农业保险信息化发展的展望[峭.智慧农险- doi :10.15889/j.issn.1002-1302.2016.01.002 --农业保险信息化发展的展望智慧农 ...
智慧供水解决方案 前言 地球的空间是有限的,地球的资源也是是有限的, 但相对的人类的诉求却是无限的.同样水资源对于人类来说也是有限的,怎样使有限的水资源可再生.可循环利用.可持续来满足人类无限的需求是我们急须解决的问题. 基于现状,我们展望 ...
关于智慧档案馆的文献综述 摘要:2010年,IBM公司正式提出了"智慧城市"愿景.随后,"智慧城市"进入建设阶段,"智慧档案馆",作为"智慧城市"的分支与补充也 ...
研究与开发 智慧城市关键技术与实现路径研究 徐 静1'2 (1.北京大学地球与空间科学学院北京100871:2.北京大学数字中国研究院北京100871) 摘要:随着新一代信息技术的发展,以透彻感知.深度互联.智能应用为特点的智慧城市成为城市 ...
从数字教育到智慧教育的探索与思考 马元福,李奇谦 (温州市电化教育馆,浙江 温州 325000) 摘 要:21世纪是信息的时代,也是教育信息化的时代.近年来,我国以数字校园为核心的数字教育建设与应用水平逐年提升.随着教育信息化发展的不断深入 ...
第 1 章. 概述 1.1 背景介绍 园区指一般由政府(民营企业与政府合作)规划建设的,供水.供电.供气.通讯.道路.仓储及其它配套设施齐全.布局合理且能够满足从事某种特定行业生产和科学实验需要的标准性建筑物或建筑物群体. 随着中国经济的高 ...
党的十八届五中全会提出的"创新.协调.绿色.开放.共享"五大发展理念,为我国智慧城市建设指明了方向.12月19日,由中央党校报刊社和国家信息中心中国智慧城市发展研究中心联合主办的"2015中国智慧城市发展高层论 ...
智慧教育的三重境界:从环境.模式到体制[本刊 稿] 智慧教育的三重境界:从环境.模式到体制* □黄荣怀 ------------------------------------------ 摘要:智慧教育作为教育信息化的高端形态,目前在全球 ...