您现在的位置:首页 >> 滚动 >> 正文
蒂姆 哈福德:大数据,还是大错误?
发表时间:2014年5月4日 18:18 来源:译言网 责任编辑:编 辑:麒麟

就算3000次的访谈已经很好了,那240万次不是会更好吗?答案是否定的。样本误差有个更为危险的朋友:样本偏差。样本误差是指一个随机选择的样本可能无法代表所有其他的人;而样本偏差则意味着这个样本可能根本就不是随机选择的。George Gallup费了很大气力去寻找一个没有偏差的样本集合,因为他知道这远比增加样本数量要重要的多。

而《读者文摘》为了寻求一个更大的数据集,结果中了偏差样本的圈套。他们从车辆注册信息和电话号码簿里选择需要邮寄问卷的对象。在1936年那个时代,这个样本群体是偏富裕阶层的。而且Landon的支持者似乎更乐于寄回问卷结果,这使得错误更进了一步。这两种偏差的结合,决定了《文摘》调查的失败。Gallup每访谈一个人,《文摘》对应的就能收到800份回执。如此大规模而精确的调查最终却得出一个错误的结果,这的确让人难堪不已。

如今对大数据的狂热似乎又让人想起了《读者文摘》的故事。现实数据的集合是如此混乱,很难找出来这里面是否存在样本偏差。而且由于数据量这么大,一些分析者们似乎认定采样相关的问题已经不需要考虑了。而事实上,问题依然存在。

《大数据》这本书的联合作者,牛津大学互联网中心的Viktor Mayer-Sch nberger教授,曾告诉我他最喜欢的对于大数据集合的定义是“N=所有”,在这里不再需要采样,因为我们有整个人群的数据。就好比选举监察人不会找几张有代表性的选票来估计选举的结果,他们会记点每一张选票。当“N=所有”的时候确实不再有采样偏差的问题,因为采样已经包含了所有人。

但“N=所有”这个公式对大多数我们所使用的现实数据集合都是成立的吗?恐怕不是。“我不相信有人可以获得所有的数据”,Patrick Wolfe说,他是伦敦大学学院的一名计算机学家和统计学教授。

推特(Twitter)就是一个例子。理论上说你可以存储和分析推特上的每一条记录,然用后来推导出公共情绪方面的一些结论(实际上,大多数的研究者使用的都是推特提供的一个名为“消防水带”的数据子集)。然而即使我们可以读取所有的推特记录,推特的用户本身也并不能代表世界上的所有人。(根据Pew互联网研究项目的结果,在2013年,美国的推特中,居住在大城市或者城镇的,黑色皮肤的年轻用户比例偏高)

我们必须要搞清楚数据中漏掉了哪些人和哪些事,尤其当我们面对的是一堆混乱的现实数据的时候。Kaiser Fung是一名数据分析师和《数字感知》这本书的作者,他提醒人们不要简单地假定自己掌握了所有有关的数据:“N=所有常常是对数据的一种假设,而不是现实。”

在波士顿有一款智能手机应用叫做“颠簸的街道”,这个应用利用手机里的加速度感应器来检查出街道上的坑洼,而有了这个应用市政工人就可以不用再去巡查道路了。波士顿的市民们下载这个应用以后,只要在城市里开着车,他们的手机就会自动上传车辆的颠簸信息并通知市政厅哪里的路面需要检修了。几年前还看起来不可思议的事情,就这样通过技术的发展,以信息穷举的方式得以漂亮地解决。波士顿市政府因此骄傲地宣布,“大数据为这座城市提供了实时的信息,帮助我们解决问题并做出长期的投资计划”。

“颠簸的街道”在安装它的设备中所产生的,是一个关于路面坑洼的地图。然而从产品设计一开始这张地图就更偏向于年轻化和富裕的街区,因为那里有更多的人使用智能手机。“颠簸的街道”的理念是提供关于坑洼地点的“N=所有”的信息,但这个“所有”指的是所有手机所能记录的数据,而不是所有坑洼地点的数据。就像微软的研究者Kate Crawford指出的那样,现实数据含有系统偏差,人们需要很仔细地考量才可能找到和纠正这些偏差。大数据集合看起来包罗万象,但“N=所有”往往只是一个颇有诱惑力的假象而已。

当然这个世界的现实是如果你能靠某个概念挣到钱,就没人会关心什么因果关系和样本偏差。全世界的公司在听到美国折扣连锁店Target的传奇式成功(由《纽约时报》的Charles Duhigg在2012年报道出来)以后估计都要垂涎三尺。Duhigg解释了Target公司是如何从它的顾客身上搜集到大量的数据并熟练的加以分析。它对顾客的理解简直是出神入化。

[1]  [2]  [3]  [4]  [5]  
关于我们 | 联系我们 | 友情链接
新科技网络【京ICP备14006744号】
Copyright © 2014 Hnetn.com, All Right Reserved
版权所有 新科技网络
本站郑重声明:本站所载文章、数据仅供参考,使用前请核实,风险自负。