大数据怎么总喜欢“杀熟”?

算法有时能非常准确地预见未来,但不会告诉你事件背后的原因。

图片来源:摄图网

为做好种种商业预测,越来越多企业现在求助于计算机算法——这种技术能以惊人速度完成超大规模分析过程。

算法能让预测更准确,但也会带来风险,尤其是在我们不理解这些算法的情况下。一个例子是社交媒体。很多社交网站通过算法决定推送哪些广告和链接,如果设计算法时过于侧重点击量,“骗点击”的内容就会充斥网站。虽然点击量上升了,但整体用户满意度可能直线下降。

这类问题可以避免。问题根源通常并非算法本身有漏洞,而是使用不当。为避免犯错,管理者须首先了解算法的功能和局限:它能解决哪些问题,不能解决哪些问题。

为何“聪明”算法反误事?

越来越多证据显示,将算法“人格化”更易让人们接受。例如在自动答复系统中,真实人声要比模拟人声的传达效果好。然而根本问题在于,人们通常像对待人类同事一样对待算法和计算机,可算法和人类有两大不同:

算法极其“单纯”。在最新的《复仇者联盟》(Avengers)电影中,钢铁侠托尼·斯塔克(Tony Stark)设计了人工智能防御系统奥创(Ultron)。奥创的任务是保卫地球,但它完全按字面意思解读任务要求,认为拯救地球的最佳方法就是毁灭人类。在很多方面,奥创就像典型的算法,完全按命令行事,不顾及其他问题。如果使用算法时不够谨慎,我们就会遇上麻烦。

社交网站如果突然充斥骗点击内容,就可能是落入了类似陷阱。这些网站目标明确,即提供对用户最有吸引力的内容。在设计算法时,网站管理者将这个目标替换为:找到用户最愿意点击的内容。这个指令逻辑上并不算错,因为人们显然会点击感兴趣的内容。但由于只根据潜在点击量筛选内容,网站迅速充满无聊和带攻击性的内容,导致声誉受损。人们会理解网站管理者希望“最大化优质内容点击量”,而非“即便损害质量也要最大化点击量”;相反,算法则只按字面意思执行指令。

算法是个黑箱。在莎士比亚作品《恺撒大帝》(Julius Caesar)中,一名预言者警告恺撒:“当心3月15日”。这句话意思明确:恺撒最好有所防范。但同时又让人完全无法理解:当心什么?为什么?恺撒对这个信息非常困惑,于是把预言者打发走,宣称:“他是个梦呓者,我们走吧。”最终,3月15日确实是恺撒大帝倒霉的日子,他在这天被刺。问题是预言者提供的是不完整信息,而且没法猜到缺失的是什么,也不知道这条信息有多重要。

和莎翁笔下的预言者一样,算法有时能非常准确地预见未来,但不会告诉你事件背后的原因。算法可以通读《纽约时报》文章,告诉你哪篇在Twitter上会火,但解释不了人们为什么要转发;算法可以告诉你哪位员工最可能成功,但不能告诉你哪种特质对成功最重要。

为更好地管理算法,认识到上述两项局限是第一步。现在我们再看看还需要做什么。

明确所有目标

每个人都有自己的目标和计划,但很少有人会不择手段。为了某些未明言的软性目标,我们会做出权衡取舍:例如为了明天的声誉放弃一部分今天的利益,或为实现组织内部平等付出短期代价。但算法只会一门心思追求给定目标。因此在设计算法时,你必须明确想要达到的所有目标。

如果你在意某个软性目标,就要明确指出、清晰定义,并设定其在总体目标中的权重。由于软性目标较难衡量,实施算法所得结论时要特别留意。

我们最近对软性目标的重要性有了切身体会。本文作者之一与美国西海岸某市政府合作,帮助其提升餐饮业督查效率。几十年来,该市的做法基本是随机抽查,并重点关照有违规经营记录的单位。不过,选择督查哪些餐馆,很适合交给算法决定。除违规历史外,我们的算法发现了很多相关变量,帮助政府卫生部门更易发现违规餐馆,提高督查效率。

政府对此非常感兴趣,希望采用算法。我们问对方有何问题或顾虑,一阵尴尬的沉默后,有人举手。“我不知道该怎么说,”她说,“但有个问题应该讨论一下。”她告诉我们,在有些人口密集的社区,违规经营更常见。这些社区低收入少数族裔比例较高,她不希望算法筛选出的餐馆集中于这些社区。这涉及公平,即属于软性问题。我们的解决方法很简单:设置各区域督查餐馆数量上限。这样做既能实现硬性目标,即找到最有可能违规的餐馆,又照顾了软性目标,即保证较落后区域得到公平对待。

为找到软性目标,我们特别注意给每个人机会说出任何顾虑。我们发现,人们经常通过表达担忧来提出软性目标,所以明确征求意见能促进开放和高质量的讨论。让人们坦率表达观点,把平时私下说的话摆在桌面上,这点很关键。这让很多问题浮出水面,不过我们遇到最多的还是公平问题,以及敏感局面处理问题。

明确核心目标和其他考量后,设计者可以让算法做出权衡取舍。为此,设计者通常须列出多项目标,并按重要性排序。

尽量避免短视

一家受欢迎的快消品公司从中国低价采购,然而销往美国。该公司运用算法预测哪些产品最好卖,销量迅速提升。但良好势头只维持了几个月,消费者开始要求退货。

尽管算法未能成功预测消费者的反应,但惊人的高退货率本可以预见到。公司当然关注质量,但在设计算法时,没有明确将质量设为影响消费者满意度的重要因素,而过于关注销量。调整后的新算法既能准确预测产品销售情况,同时也能预测产品的受欢迎程度和可持续度。公司现在推出的产品在亚马逊等平台上获得极高评价,退货率大幅下降。

这家公司最初设计算法时落入了常见陷阱:算法关注当下掌握的数据,而这些数据通常与短期结果相关,这造成算法本身有短视倾向。在短期利益和长期成功及企业整体目标间可能存在张力,这对于人类不言自明,对算法则不然,除非你明确告诉它。

解决这个问题的方法是,在设置目标时明确定义长期目标。而在按照算法的预测采取行动时,管理者也要考虑算法的建议是否符合长期目标。

过于关注点击量而导致内容质量低劣的网站,其采用的算法也有短视问题。算法根据当下目标(让用户点击链接)推荐内容,却未能考虑更重要的长期目标,即用户满意度和黏性。

选用合适数据源

要选择合适的数据源,应注意以下两点:

数据应尽可能全面。企业常有的误解,是把大数据看作“大量的数据”,例如从1万名客户扩展到100万名。但这样只理解对了一半。设想你把数据做成表格,每行对应一名客户,那么客户人数即为图表长度;而你掌握的每名客户的情况,即每行中的数据,决定了图表宽度。虽然数据总量能够提升预测准确度,但数据宽度才能让大数据发挥全部威力。做预测最关键的就是信息的全面性。事件的每个新细节都是一条线索,能够补充已掌握的情报。文字记录就是典型的“宽”数据,每个字都可以成为线索。

数据多元性很重要。从上文可以推出,数据应尽可能多元,即各个数据源相关度低。这能让算法的预测能力再上台阶。可以把每组数据看作一个朋友的推荐:如果朋友口味太相似,那么多几个朋友推荐也不太有价值;反之,如果每个朋友视角不同,带来的价值就大得多。

了解算法的局限

算法就是利用已有数据在稍有差异的情境中做预测,这些差异可能包括人员、时间等,对象事件也可能不同。本质上,你在寻求把某项结论移植到另一个情境中。因此聪明的做法是,列出算法可能在新情境中失效的原因,并评估这些潜在原因。例如,某个算法根据外部网站评论和违规历史,预测波士顿哪些餐馆可能违反卫生法规。而换到佛罗里达州的奥兰多,该算法效果可能就没那么好,因为那里天气更热,食品安全问题与波士顿有差别。

同样要记住,相关性不等于因果性。假设某个算法预测,较短的Twitter发言比较长发言转发率高。这绝不是说你应该缩短Twitter发言:这只是一项预测,而非建议。这项预测成立,是因为较短的Twitter发言更可能具备很多其他特征,使之更易被转发,而仅仅缩短你的发言,并不必然满足那些条件,所以不一定能得到更多转发。

eBay曾多年通过谷歌打广告,发现看到广告的人比没看到的人更可能消费。但eBay忽略的是,这些展示次数达数百万的广告,并不必然是人们访问其网站的原因。毕竟,这些广告针对的本来就是eBay用户。为区分相关性和因果性,eBay进行大规模试验,随机选择广告展示对象,结果证明大多数情况下广告不起作用,因为看到广告的人已经知道eBay,无论如何都会在上面消费。

算法有很强预测能力。但在做因果推论时,你必须多加留意,因为算法不能取代对照试验。不过在有些方面,算法能取得惊人成功:发现人类观察不到的细微规律,并利用这些规律形成准确洞察,助力决策。留给我们的课题是:了解算法的风险和局限,并通过高效管理,释放它的巨大潜力。

(本文作者迈克尔·卢卡是哈佛商学院商业管理助理教授。乔恩·克莱因伯格是康奈尔大学计算机教授。森迪尔·穆莱纳坦是哈佛大学经济学教授。)

来源:哈佛商业评论 查看原文

广告等商务合作,请点击这里

本文为转载内容,授权事宜请联系原著作权人。

打开界面新闻APP,查看原文
界面新闻
打开界面新闻,查看更多专业报道

热门评论

打开APP,查看全部评论,抢神评席位

热门推荐

    下载界面APP 订阅更多品牌栏目
      界面新闻
      界面新闻
      只服务于独立思考的人群
      打开