大数据概念的横空出世,有赖于短短几年出现的海量数据。据统计,互联网上的数据每两年翻一番,而目前世界上90%以上的数据都是最近几年才产生的。当然,海量数据仅仅是“大数据”概念的一部分,只有具备4个“V”的特征,也就是Volume(海量)、Velocity(高速)、Variety(多样)、Value(价值),大数据的定义才算完整,而最后一个Value(价值),恰恰是决定大数据未来走向的关键。
大数据发展的必要条件
大数据的发展需要三方面的必要条件:数据源、数据交易、数据产生价值的过程。近年来,随着社交网络的兴起、物联网的发展和移动互联网的普及,诞生了大量有价值的数据源,大量数据源的出现奠定了大数据发展的基础。大数据时代到来的重要标志,是大批专业级“数据买卖商”的出现,以及围绕数据交易形成的,贯穿于收集、整理、分析、应用整个流程的产业链条。大数据发展的核心,则是使用户从海量的非结构化数据和半结构化数据中获得了新的价值。数据价值是带动数据交易的源动力。
IBM、甲骨文、SAP近年纷纷斥巨资收购数据管理和分析公司,在这些互联网巨头的带动下,数据分析技术日渐成熟。2013年6月,爱德华?斯诺登将“棱镜计划”公之于众,“棱镜门”事件说明大数据技术已经成熟,并在为国家安全领域服务。但在民生领域,大数据技术一直得不到应用,是因为缺乏有价值的数据交易。
大数据技术的发展促进了云计算的落地,云计算的部署又加大了市场对数据创造价值的期待。大数据概念提出之后,市场终于看到了云计算的获利方向,云计算市场仿佛在一夜之间爆发:各地一级系统集成商与当地政府合作,建设云数据中心、智慧城市;各大行业巨头们在搭建各自行业的混合云标准,搭建行业云平台;公有云也来了,各大IT巨头想尽办法申请中国的公有云牌照。云计算从概念到落地用了5年时间,最终促成这一切的就是大数据,或者说是市场对数据价值的期待。借助于国内智慧城市概念的大规模普及,云计算基础设施已基本准备就绪,一方面奠定了大数据应用的硬件基础,另一方面迫于回收云计算投资的压力,市场急需应用部署,大数据被市场寄予厚望。
现在,一切的矛头都指向了“数据如何创造价值”。
数据创造价值的基石是数据整合和开放
大数据服务创业公司Connotate2012年对800多名商业和IT主管的调查结果显示,60%受调查者称“目前就说这些大数据投资项目肯定能够带来良好回报尚为时过早”。之所以如此,是由于当前大数据缺乏必需的开放性:数据掌握在不同的部门和企业手中,而这些部门和企业并不愿意分享数据。大数据是通过研究数据的相关性来发现内在规律,这依赖于数据的真实性和广泛性,数据如何做到共享和开放,是当前大数据发展的软肋和需要解决的大问题。
2012年美国大选奥巴马因数据整合而受益。奥巴马的竞选团队中有一个神秘的数据挖掘团队,对奥巴马成功连任功不可没。他们通过对海量数据挖掘帮助奥巴马筹集到10亿美元资金;他们通过数据挖掘使竞选广告投放效率提升了14%;他们通过制作摇摆州选民的详细模型,每晚实施6.6万次模拟选举,推算奥巴马在摇摆州的胜率,并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方就在于对大数据的整合。奥巴马的数据挖掘团队也意识到了这个大问题:数据分散在过多的数据库中。因此,在前18个月,奥巴马竞选团队就创建了一个单一的庞大数据系统,可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体,以及“摇摆州”主要的民主党投票人的信息整合在一起。这个整合后的巨大数据库不仅能告诉竞选团队如何发现选民并获得他们的注意,还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆?梅西纳所说,在整个竞选活动中,没有数据做支撑的假设很少存在。
2012年3月,美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”,将大数据研究上升为国家战略,对大数据的整合带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。中国智慧城市建设目标之一就是实现数据的集中共享。