《大数据时代》是国外大数据系统研究的先河之作,本书作者维克托·迈尔·舍恩伯格被誉为“大数据商业应用**人”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。
维克托·尔耶·舍恩伯格在本书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。
维克托*具洞见之处在于,他明确指出,大数据时代*大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。
本书认为大数据的核心就是预测。大数据将为人类的生活创造****的可量化的维度。大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们*具价值的应用案例。 大数据时代-生活.工作与思维

大数据,变革商业
大数据不仅改变了公共卫生领域,整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。
2003 年,奥伦· 埃齐奥尼(Oren Etzioni)准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜,于是他在这个大喜日子来临之前的几个月,就在网上预订了一张去洛杉矶的机票。在飞机上,
埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚,但是票价却比他便宜得多时,他感到非常气愤。于是,他又询问了另外几个乘客,结果发现大家买的票居然都比他的便宜。对大多数人来说,这种被敲竹杠的感觉也许会随着他们走下飞机而消失。然而,埃齐奥尼是美国*有名的计算机专家之一,从他担任华盛顿大学人工智能项目的负责人开始,他创立了许多在今天看来非常典型的大数据公司,而那时候还没有人提出“大数据”这个概念。
1994 年,埃齐奥尼帮助创建了*早的互联网搜索引擎MetaCrawler,该引擎后来被InfoSpace 公司收购。他联合创立了**个大型比价网站Netbot,后来把它卖给了Excite 公司。他创立的从文本中挖掘信息的公司ClearForest则被路透社收购了。在他眼中,世界就是一系列的大数据问题,而且他认为他有能力解决这些问题。作为哈佛大学首届计算机科学专业的本科毕业生,自1986 年毕业以来,他也一直致力于解决这些问题。
飞机着陆之后,埃齐奥尼下定决心要帮助人们开发一个系统,用来推测当前网页上的机票价格是否合理。作为一种商品,同一架飞机上每个座位的价格本来不应该有差别。但实际上,价格却千差万别,其中缘由只有航空公司自己清楚。
埃齐奥尼表示,他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的,但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。
如果一张机票的平均价格呈下降趋势,系统就会帮助用户做出稍后再购票的明智选择。反过来,如果一张机票的平均价格呈上涨趋势,系统就会提醒用户立刻购买该机票。换言之,这是埃齐奥尼针对9 000 米高空开发的一个加强版的信息预测系统。这确实是一个浩大的计算机科学项目。不过,这个项目是可行的。于是,埃齐奥尼开始着手启动这个项目。埃齐奥尼创立了一个预测系统,它帮助虚拟的乘客节省了很多钱。这个预测系统建立在41 天内价格波动产生的12 000 个价格样本基础之上,而这些信息都是从一个旅游网站上搜集来的。这个预测系统并不能说明原因,只能推测会发生什么。也就是说,它不知道是哪些因素导致了机票价格的波动。机票降价是因为很多没卖掉的座位、季节性原因,还是所谓的周六晚上不出门,它都不知道。这个系统只知道利用其他航班的数据来预测未来机票价格的走势。“买还是不买,这是一个问题。”埃齐奥尼沉思着。他给这个研究项目取了一个非常贴切的名字,叫“哈姆雷特”。
这个小项目逐渐发展成为一家得到了风险投资基金支持的科技创业公司,名为Farecast。通过预测机票价格的走势以及增降幅度,Farecast 票价预测工具能帮助消费者抓住*佳购买时机,而在此之前还没有其他网站能让消费者获得这些信息。
这个系统为了保障自身的透明度,会把对机票价格走势预测的可信度标示出来,供消费者参考。系统的运转需要海量数据的支持。为了提高预测的准确性,埃齐奥尼找到了一个行业机票预订数据库。有了这个数据库,系统进行预测时,预测的结果就可以基于美国商业航空产业中,每一条航线上每一架飞机内的每一个座位一年内的综合票价记录而得出。如今,Farecast 已经拥有惊人的约2 000 亿条飞行数据记录。利用这种方法,Farecast 为消费者节省了一大笔钱。
棕色的头发,露齿的笑容,无邪的面孔,这就是奥伦· 埃齐奥尼。他看上去完全不像是一个会让航空业损失数百万潜在收入的人。但事实上,他的目光放得更长远。2008 年,埃齐奥尼计划将这项技术应用到其他领域,比如宾馆预订、二手车购买等。只要这些领域内的产品差异不大,同时存在大幅度的价格差和大量可运用的数据,就都可以应用这项技术。但是在他实现计划之前,微软公司找上了他并以1.1 亿美元的价格收购了Farecast 公司。而后,这个系统被并入必应搜索引擎。
到2012 年为止,Farecast 系统用了将近十万
亿条价格记录来帮助预测美国国内航班的票价。
大数据洞察
Farecast 票价预测的准确度已经高达75 %,
使用Farecast 票价预测工具购买机票的旅客,
平均每张机票可节省50 美元。
Farecast 是大数据公司的一个缩影,也代表了当今世界发展的趋势。五年或者十年之前,奥伦· 埃齐奥尼是无法成立这样的公司的。他说:“这是不可能的。”那时候他所需要的计算机处理能力和存储能力太昂贵了!虽说技术上的突破是这一切得以发生的主要原因,但也有一些细微而重要的改变正在发生,特别是人们关于如何使用数据的理念。
……

**序一 拥抱“大数据时代”
宽带资本董事长 田溯宁
**序二 实实在在大数据
中国互联网发展的重要参与者,知名IT 评论人
译者序 在路上·晃晃悠悠
电子科技大学教授,互联网科学**主任
引言 一场生活、工作与思维的大变革
大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发……
大数据,变革公共卫生
大数据,变革商业
大数据,变革思维
大数据,开启重大的时代转型
预测,大数据的核心
大数据,大挑战
**部分 大数据时代的思维变革
第1章:不是随机样本,而是全体数据
当数据处理技术已经发生了翻天覆地的变化时,在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了,我们需要的是所有的数据,“样本= 总体”。
让数据“发声”
小数据时代的随机采样,*少的数据获得*多的信息
全数据模式,样本=总体
第2章 更杂:不是**性,而是混杂性
执迷于**性是信息缺乏时代和模拟时代的产物。只有5% 的数据是有框架且能适用于传统数据库的。如果不接受混乱,剩下95% 的非框架数据都无法被利用,只有接受不**性,我们才能打开一扇从未涉足的世界的窗户。
允许不**
大数据的简单算法比小数据的复杂算法更有效
纷繁的数据越多越好
混杂性,不是竭力避免,而是标准途径
新的数据库设计的诞生
第3章 更好:不是因果关系,而是相关关系
知道“是什么”就够了,没必要知道“为什么”。在大数据时代,我们不必非得知道现象背后的原因,而是要让数据自己“发声”。
关联物,预测的关键
“是什么”,而不是“为什么”
改变,从操作方式开始
大数据,改变人类探索世界的方法
第二部分 大数据时代的商业变革
第4章 数据化:一切皆可“量化”
大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见,但是如今信息技术变革的**在“T”(技术)上,而不是在“I”(信息)上。现在,我们是时候把聚关灯打向“I”,开始关注信息本身了。
数据,从*不可能的地方提取出来
数据化,不是数字化
量化一切,数据化的核心
当文字变成数据
当方位变成数据
当沟通成为数据
一切事物的数据化
第5章 价值:“取之不尽,用之不竭”的数据创新
数据就像一个神奇的钻石矿,当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山,**眼只能看到冰山的一角,而绝大部分都隐藏在表面之下。
数据创新1:数据的再利用
数据创新2:重组数据
数据创新3:可扩展数据
数据创新4:数据的折旧值
数据创新5:数据废气
数据创新6:开放数据
给数据估值
第6章 角色定位:数据、技术与思维的三足鼎立
微软以1.1 亿美元的价格购买了大数据公司Farecast,而两年后谷歌则以7 亿美元的价格购买了给Farecast 提供数据的ITA Software 公司。如今,我们正处在大数据时代的早期,思维和技术是*有价值的,但是*终大部分的价值还是必须从数据本身来挖掘。
大数据价值链的3大构成
大数据掌控公司
大数据技术公司
大数据思维公司和个人
全新的数据中间商
专家的消亡与数据科学家的崛起
大数据,决定企业的竞争力
第三部分 大数据时代的管理变革
第7章 风险:让数据主宰一切的隐忧
我们时刻都暴露在“第三只眼”之下:亚马逊监视着我们的购物习惯,谷歌着监视我们的网页浏览习惯,而微博似乎什么都知道,不仅窃听到了我们心中的“TA”,还有我们的社交关系网。
无处不在的“第三只眼”
我们的隐私被二次利用了
预测与惩罚,不是因为所做,而是因为“将做”
数据独裁
挣脱大数据的困境
第8章 掌控:责任与自由并举的信息管理
当世界开始迈向大数据时代时,社会也将经历类似的地壳运动。在改变人类基本的生活与思考方式的同时,大数据早已在推动人类信息管理准则的重新定位。然而,不同于印刷革命,我们没有几个世纪的时间去适应,我们也许只有几年时间。
管理变革1:个人隐私保护,从个人许可到让数据使用者承担责任
管理变革2:个人动因VS预测分析
管理变革3:击碎黑盒子,大数据程序员的崛起
管理变革4:反数据垄断大亨
结语 正在发生的未来
大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是*终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。