第1 章 简介
信息大爆炸正在加速。通过我们日常使用的电子邮件、在线搜索、短信、博客,以及在脸书(Facebook)和优兔(YouTube)上发布的内容,就可以看出这一点。正在被创造出来和被抓取到的数据量是惊人的,它正冲击淹没着企业的围墙。而新一波的大爆炸—机器之间彼此交谈的物联网时代的降临,则让我们的处境雪上加霜。此时此刻,信息的增长率可能会呈指数级增长。大卫·拉塞尔·席林(David Russell Schilling)在为新闻网站Industry Tap 撰写的文章中,阐述了未来学家巴克敏斯特·富勒(Buckminster Fuller)的“知识倍增曲线”(Knowledge Doubling Curve)理论: ……截至1900 年,人类的知识每次翻倍大约需要一个世纪。到二战结束时,知识每25 年翻一番。而今……人类的知识每13 个月翻一番。据IBM 称,“物联网”的建设将导致知识的翻倍周期变为12 个小时。 据高德纳咨询公司(Gartner)称,到2020 年将会有多达250 亿件物体被连接起来。当我们尝试理解这个被汤姆 ·达文波特(Tom Davenport)称为“事物的分析”的信息时,我们需要有效的方法和工具,用于将信息吸收提炼,转化为具有可行性的、能带来收入的洞见。如果没有利用这些信息给公司带来竞争优势,那么它们就没有什么价值。当今时代,公司如何解决信息变现这一难题呢? 仅仅使用数据挖掘这一种方法会导致不一致的结果。吸收海量数据集能让企业进行多次数据测试,发现潜在模型,但是如果经理人不能有效地利用其中的关联性来提高业务表现的话,是不会有所收益的。纯粹的数据挖掘通常只是在无穷尽地搜索数据的真正含义。 上 文 引 自 鲍 达 民(Dominic Barton) 和 大 卫· 考 特(David Court)发表于《哈佛商业评论》的文章《大数据实用指南——让**分析工具 为 你 服 务 》(Making Advanced Analytics Work for You),可口可乐公司的商务部门主任(Director of Trade Capability) 詹森· 赖林(Jason Reiling)进一步强调了这个想法,他评论说:“如果我们不将数据的业务用途与待验证的假设和总体目标联系起来,就会出现数据本身主导分析的情况,而非由业务来主导数据。”这总结了目前数据分析中存在的*大挑战之一:各类机构期望通过对问题“砸”数据的方式来找到问题的解决之道,而非理解业务问题,并针对它使用正确的数据和方法。 从现在开始愈发重要的是将信息编码提炼为有意义的洞见的能力,而不一定是数据量的多寡。由于缺乏系统完善的方法、工具、技巧和资源公司正陷入对这一问题的苦战中。如果它们能够解决这个挑战,就将具有明显的竞争优势。然而,这只解决了部分问题;即便掌握了*相关的信息,公司仍无法避免陷于不良决策之中。 1.1 决策
收集和综合这些信息的*终目标是为高管和经理提供洞见,从而做出更好的决策。决策是业务的核心,也是大多数管理人员实现成果*有力的工具。决策的质量将直接影响到组织的成功。为组织领导、管理人员和分
析师提供一次性的培训课程和会议,期望他们根据有限的知识和直觉来做出高质量的决策,已经不再是可行的做法了,因为比以往任何时候都多的信息在等待他们处理。新的挑战是从海量信息中提炼出可行的、使组织从
中获益的决策。 不幸的是,仅仅提炼信息是不够的。从决策疲劳(decision fatigue)到认知偏误(cognitive bias),有许多因素会破坏我们做出优质决策的能力。一种改善决策的途径是参考*佳实践和组织的集体智慧,但是这种实践并
未被广泛执行。埃里克·拉森(Erik Larson)针对500 多名经理和管理人员的研究表明,只有2% 的人在做出决定时应用了这些*佳实践,而拥有改善决策的方案的公司甚至更少。 当高管没有依据*佳实践或数据进行决策时,往往会依赖于自己的直觉或“本能”。这种类型的决策充满缺陷,并经常伴随着影响选择的认知偏误。认知偏误是指由于个人偏好和信仰导致的判断上的偏差。例如,确认偏误(confirmation bias)是刻意寻找特定信息以证实我们既有观点和想法的倾向。这些偏
误会扭曲我们的判断,导致出现选择上的错误。
另一个不良决策的罪魁祸首是诸如情绪等影响我们决策的隐性因素。例如,让我们观察两位身处不同地区的现场经理的用人决策。雇用谁、何时雇用或解雇某人,这些决策都基于很少的数据而非大量的训练。两位经理的决策可能会大相径庭,因为他们的诸多差异:从业时间、不同类型的从业经历、特定日子的情绪以及当时生活中可能发生的其他因素。即使面临相同的情况,这两个人也可能对员工的配置做出不同的决定。这种类型的决策差异就是《决策的隐形赋税:噪声》(Noise: How to Overcome the High, Hidden Cost of Inconsistent
Decision Making)一文中作者所说的“噪声”。 问题是,人类并非可靠的决策者;他们的判断受到不相关因素严重影响,比如当时的情绪,距离上一次就餐的时间以及天气。我们将这种随机变量称为“判断噪声”。对很多公司的利润而言,噪声都是一笔隐形成本。
若干研究已经证明,噪声无处不在。学术研究者已反复证实,专业人士在不同情景下处理同样的数据,往往给出互相矛盾的判断。例如,当软件***在不同的两个工作日中被问及完成某任务的时间,他们预估的时
间平均相差71%。当病理学者对活组织检查结果的严重性进行两次评估时,他们评分之间的关联性只有0.61(理想情况是1.0)。这意味着他们做出不一致的诊断很常见。 除了噪声外,决策的另一个障碍是“决策疲劳”。决策疲劳是指您在不断做出决策的**中,将越来越难做出好的决策。例如,科学家史艾·丹齐格(Shai Danziger)、乔纳森·拉维夫(Jonathan Levav)和利奥拉·阿夫
男- 佩索(Liora Avnaim-Pesso)研究了某个假释法庭中法官做出的1112 次判决,并分析了有利判决二在**之中的变化状况。研究发现,在**开始时有65% 左右的有利判决,而到当天结束时则接近于零。支撑他们做出优质决策的内在资源被漫长**中累积的疲劳所耗尽,这导致**结束时很少出现有利判决。 决策面临的另一个挑战是公司规模。据一位负责财富50 强(Fortune 50)企业分析工作的高管所言,“大型组织的内部挑战是决策的巨大障碍”。她指出,由于在大型矩阵式企业环境中传播信息所需的努力程度,建立针
对特定市场的洞察耗时可达一年半。决策的初心在繁多的决策环节中被不断削弱,拖累了推向市场的速度。 如何才能解决这些影响我们做出优质决策的因素?一种方法是自动化全部或部分决策过程。《决策的隐形赋税:噪声》的作者随后在文中写道: 人们早已知道,简单统计学算法做出的预测和决策往往比专家更准确,哪怕专家能获得比算法更多的信息。但鲜有人知的是,算法的关键优势在于没有噪声:与人类不同,输入相同信息,公式得出的结果也相同。因为稳定十足,哪怕是简单甚至有瑕疵的算法,也比人类专家的准确性高。 我们推动组织做出更优质决策的方法是创建嵌入式分析解决方案,以帮助管理人员为其所在机构制定数据驱动的有变现价值的决策,从而展开行动。我们的做法得到了大量依据的支持。在安德鲁·麦卡菲(Andrew
McAfee)和埃里克·布林约尔松(Erik Brynjolfsson)的一项研究中发现,“运用大数据做决策的那些居行业前三分之一的企业,比其竞争对手在产能上高5%,利润上高6%。”
1.2 分析之旅
不同的公司处于分析之旅的不同阶段,它们所拥有的开发分析解决方案的能力也参差不齐。在过去十年中,公司已投资建立团队和利用工具来获取洞见,以取得竞争优势。那些走得*远的公司已经在收割胜利的果实了。 哈佛商业评论分析服务(Harvard Business Review Analytics Services)团队进行了一项关于公司内部分析成熟度的研究,结果表明,“在将自己所在机构描述为同类*佳的受访者中,有超过半数称其所在机构的年收入
在过去两年中增长了10% 以上。与此形成鲜明对比的是,三分之一的‘自称落后者’则表示,他们所在的机构收入呈持平或下降态势。” 多项研究均得到了类似的结果:利用数据提高其决策表现的公司正以更高速度胜过其竞争对手。尽管如此,大多数分析应用程序背后的技术仍不够成熟,缺乏提供完整解决方案的功能。在哈佛商业评论分析服务团队的Analytics That Work: Deploying Self-Service and Data Visualizations for Faster Decisions(分析工作:部署自助服务和数据可视化以加快决策)文中提到,他们在一项对超过827 名业务管理人员的调查中发现了由于欠
缺工具使用能力而导致的挫败感。 “大多数现有的报告工具只是蜻蜓点水,‘Contractually 公司的米尔(Mier)说。’它们在理解基础数据结构方面有颇多局限,起到的作用言过其实。这导致了公司无法建立一个有效框架,用以解决复杂问题、形成假
设以及理解数据层次。” 这一点更加复杂,因为大多数解决方案只是简单地帮助管理者“阅读新闻”,这意味着所提供的数据没有任何可操作性,而只是信息本身。如果仅仅依靠技术来提供这个程度的功能,那么仍然无法接近“例外管理”这一难以企及的目标。 1.3 解决问题
本书的目的是使您能够构建分析解决方案,为管理人员在数据海洋中做出优质决策保驾护航。然而,这个过程充满挑战。**个挑战是精炼大量的信息。我们有一个循序渐进的过程来帮助您从假设到数据再到指标,以构建分析解决方案。我们提供技术来指导决策者战胜困难免受偏误或噪声的影响。 此过程由您的变现策略引导,您可以在其中制定决策矩阵(decision matrixes), 从而权衡各种行动的利弊。通过引导分析(guided analytics),我们向您展示如何构建分析解决方案,利用UI /UX 的专业知识讲述令人印象深刻的故事,并进行仪表板开发来实现自动化分析解决方案。 *后,我们将从内部能力、组织结构和采用技巧等方面,为您的机构制定解决方案提供建议。我们的方法论—决策架构(Decision Architecture),提供了一种解决这些挑战的方法,并构建了一套分析解决方案来帮
助您的机构实现数据变现。这个方法的真正威力来自于将一系列学科知识、方法、工具和技能整合到一个结构化的过程中,包括数据科学(Data Science)、决策理论(Decision Theory)、行为经济学(Behavioral Economics)、决策架构、数据开发与架构(Data Development and Architecture)、UI/UX 开发(UI/UX Development)和仪表板开发(Dashboard Development)。将这些学科知识集成到一个无缝的过程中是难能可贵的。我们的方法论将它们整合起来,以一种易于理解的、循序渐进的方式来帮助组织构建解决方案,从而实现数据资产的变现。 以下是您将从本书获得的收益:
(1)将信息资产转变为创收策略;
(2)明确您的机构的目标,以与之相关的变现策略为**,构建分析解决方案,使您的组织更具竞争力;
(3)为管理人员提供自主分析解决方案,以得到更高质量的决策;
(4)为管理者提供引导性的体验,帮助减少噪声和认知偏误;
(5)提升机构的分析成熟度;
(6)利用嵌入式分析技术,将机构中的集体智慧汇入可重复使用的分析解决方案之中;
(7)将您的分析转化为可行的手段,而不再是简单地“阅读新闻”;
(8)通过数据变现来提高收入并降低成本。 本书不是教您将内部数据出售给其他公司或消费者,也不会深入涉及各个学科的内容。相反,我们为您提供的是一个整体图景——关于各个相关学科和我们*常用来构建这些解决方案的技术。 1.4 调研显示……
为了开创我们的道路,我们对各个学科进行了广泛的研究。此外,我们还采访并调研了分析社区的75 余名专业人士,他们就职于40 多家范围涵盖从财富500 强到收入不足1 亿美元的公司。*终我们得到了一些有趣
的深度结论。 我们获得的**个结论是,我们所调研的组织的成熟度水平正在逼近良好的分析成熟度曲线(analytical maturity curve)。大多数组织进入了统计建模(Statistical Modeling)层面,一些企业开始涉及更深入的领域。图1.1 显示了受访组织的成熟度级别。 (更多精彩内容请翻阅图书)