卧室角落里的声控小工具突然发疯似地笑起来，然后把你的枕边话录音发送给了同事。你的孩子正在YouTube上观看《小猪佩奇》的片段，画面却突如其来变成血腥和死亡。你用来和学校老朋友保持联系的社交网络在偷偷地影响选举，煽动政变。
我们的思维方式发生了一些新奇的转变，作为其结果，现实世界发生了更新奇的转变。我们已然相信，一切都是可计算的，可以通过应用新技术来解决问题。但这些技术并不是中立的促进手段：它们体现了我们的政治和偏见，它们超越了国家和法律管辖的范围，甚至超出了它们的创造者的理解。因此，随着这些强大的技术越来越多地掌控我们的日常生活，我们对世界的理解也在日益减弱。
跨越科学和社会，在政治和教育里，在战争和商业中，新技术不仅仅增强了我们的能力，它们还在积极地塑造和指引这些能力，不管是向好还是向坏的方向。如果我们不理解复杂技术的运转方式，那么它们的潜力就更容易被自私的精英和公司捕获。我们在身边就能看到这样的结果。我们每天遭遇的各类系统的复杂不透明性，与不平等、暴力、民粹主义和原教旨主义等全球性问题之间存在着因果关系。
技术进步并未带来一个乌托邦的未来，并未在世界洒下耀眼的、解放性的光芒。反而，我们似乎正进入一个新的黑暗时代，其特征是越来越离奇和不可预见的事件。将更多的信息传播给更多的人，这种启蒙运动的理念非但没有让人类更加理解彼此，增长和平，反而似乎助长了社会分裂、不信任、阴谋论和后事实政治（post-factual politics）。要理解正在发生的事情，我们需要理解技术从何而来，理解我们是如何对它们寄予厚望的。
20世纪50年代，一个新的符号开始出现在电气工程师绘制的图表中，用以描述他们建造的系统：模糊的圆圈，或圆蘑菇，或者思想灯泡。最终，这个符号的形式定格为云的形状。无论工程师在做什么，都可以连接到这个云上，你知道这些就够了。云可以是电力系统、数据交换或另一个计算机网络。随便，这都不重要。云是一种降低复杂性的方法，它可以让你集中精力解决手头的问题。随着时间的推移，网络越来越大，相互联系越来越紧密，云就变得越来越重要。它成了商业流行语和卖点。它不再只是一个工程学的速记符号，它成了一个隐喻。
当前，云是互联网的中心隐喻：一个拥有强大权力和能量的全球系统，但仍然保留着某种神秘事物的光环，几乎无法把握。我们工作于其中；我们从里面储存和取回东西；这是一种我们随时在体验但永远搞不懂的东西。然而这个比喻存在问题：云不是一个由水蒸气和无线电波组成的神奇遥远之处，在其中一切运转顺畅。它是一个由电话线、光纤、卫星、海底电缆和装满计算机的巨大仓库组成的实体基础设施，消耗着大量的水和能源。云吸收了许多此前在市民领域里举足轻重的建制，比如那些我们购物、办理银行业务、社交、借书和投票的地方。它们变得模糊，难以看清，也难以被批评、调查、保护和监管。
在过去的几十年里，随着人被自动交易的大批电脑取代，世界各地的交易大厅变得安静。数字化意味着证券交易所内部和之间的交易越来越快。当交易转移到机器手中时，反应几乎可以瞬间做出。一名前物理学博士生设计的高频交易( HFT )算法进入了市场，它可以利用电脑的毫秒优势，交易员给它们起了“刀”等名字。这些算法能够在每笔交易中挤出几厘钱来，而且一天可以操作数百万次。
在这些大规模加速且不透明的市场中，一些非常奇怪的事情正在发生。2010年5月6日，道琼斯指数开盘低于前一天，在接下来的几个小时内缓慢下跌，这是对希腊债务危机的反应。但下午2时42分，指数开始快速下跌。在不到五分钟的时间里，600多点从市场抹去。在最低点，该指数比前一天的平均水平低了近1000点，全部市值的近10%蒸发，是股市历史上单日跌幅最大的一次。到下午3点07分，在短短25分钟内，市场又差不多恢复了全部600点，是有史以来摆动幅度最大、速度最快的一次。
在这25分钟的混乱中，价值560亿美元的20亿股股票易手。更令人担忧的是，许多订单都是以证券交易委员会所说的“非理性价格”交易的：低至一美分，或高达10万美元。这一事件被称为“闪电崩盘”，多年后人们仍在调查和争论这件事。
监管机构的报告发现，高频交易算法加剧了价格波动。在各种HFT程序中，许多都有硬编码的卖出点：程序指定立即出售股票的价格点。当价格开始下跌，一系列程序同时被触发出售。每抵达一个节点，随后的价格下跌触发了另一套自动出售股票的算法，产生了反馈效果。因此，价格下跌的速度让任何一个人类交易者都措手不及。经验丰富的市场玩家或许可以通过长线投资来稳定崩溃，但面对不确定性，机器则会尽快出售。
另一些理论认为是算法引发了危机。人们在交易数据中发现了一种技术：HFT程序向交易所发送大量“不可执行”的指令，即在远超出正常价格的情况下买卖股票的指令，而这些指令本来会被忽略。这些指令的目的并不是为了实际的交流或赚钱，而是为了故意使系统变得模糊，以便在混乱中执行其他更有价值的交易。许多原本从未打算执行的指令得到了执行，造成了剧烈的波动。
“闪电崩盘”现在是技术影响市场的公认特征，但人们对它仍知之甚少。2016年10月，算法对英国退出欧盟谈判的负面新闻头条作出反应，在不到两分钟的时间里将英镑兑美元汇率压低6%，然后又几乎立即复原。想要知道哪个特定的程序或哪个特定的算法导致了崩溃几乎是不可能的。2012年10月，一个发疯的算法反复建立又撤销订单，吞噬了美国股市4%的交易量。一位评论员自嘲地说，“算法的动机还不清楚。”
2013年4月23日下午1时07分，美联社向200万粉丝发送了一条推文：“突发：白宫发生两起爆炸，贝拉克·奥巴马受伤。”这一消息是由黑客攻击造成的，后来叙利亚电子军声称对此负责，这一组织从属于叙利亚总统巴沙尔·阿萨德。美联社和其他记者迅速向全网发出提醒，说消息是假的。然而，关注突发新闻报道的算法却没有这样的分辨能力。下午1时08分，道琼斯指数暴跌。在大多数人类还没有看到这条推文之前，该指数在两分钟内就完成了150点下降而后又反弹回了先前水平的过程。在这段时间里，它抹去了1360亿美元的股票市值。
计算过程越来越交织于、隐藏于我们生活的每一个物件里。随着它的扩展，不透明性和不可预测性也随之增加。2015年，三星推出的“智能冰箱”系列产品的一大卖点是与Google日历服务的整合，让用户在厨房里就能安排食品杂货的交付。这也意味着，如果黑客能够访问当时安全性尚不够的冰箱，就可以读取用户的Gmail密码。德国的研究人员发现了一种将恶意代码插入飞利浦与WiFi相连的Hue灯泡的方法，这种代码可能会在一栋楼甚至是一座城市的各个设备之间传播，快速开关电灯，有可能会引发光敏性癫痫。这是托马斯·品钦的《万有引力之虹》里灯泡拜伦所喜欢的方法，是小机器反抗其制造者暴政的伟大反抗行为。曾经虚构的技术暴力的可能性，正在物联网中成为现实。
在金·斯坦利·罗宾逊的小说《极光》里，一艘智能太空船将人类船员从地球运送到遥远的星球。这段旅程需要几辈子的时间，所以飞船的工作之一就是确保人类能够照顾好自己。当他们脆弱的社会关系崩溃并威胁到任务时，飞船启用了安全系统作为控制手段：它可以通过传感器看到任何地方，随意打开或关闭舱门，通过通讯设备大声说话，音量足以造成身体疼痛，并使用灭火系统降低特定空间的氧气水平。
这与Google Home及合作伙伴现在提供的操作套件大致相同：用以保障家庭安全的联网摄像机网络、门上的智能锁、能够调节各个房间温度的恒温器，以及能发出尖锐紧急警报的火灾和入侵探测系统。只要黑客能够成功侵入，他就能拥有和“极光”对付船员或者灯泡拜伦对付它厌恶的主人一样的威力。
在把这些场景斥为科幻作家的狂热想像之前，你可以再想想证券交易所的流氓算法。这些不是孤立的事件，而是复杂系统中的日常之事。问题是，在更广大的现实生活中，流氓算法或闪电崩溃会是什么样子？
比如说，它会不会像2016年10月21日关闭大片互联网数小时的Mirai病毒那样？当研究人员深入研究Mirai时，他们发现Mirai的目标是安全性差的联网设备——从安检摄像头到数字录像机——并把它们变成了机器人大军。短短几周内，Mirai就感染了50万台设备，而仅需其中10%的设备就能使主要网络瘫痪数小时。
事实上，Mirai远比不上Stuxnet，后者是2010年在水力发电厂和工厂装配线的工业控制系统中发现的另一种病毒。Stuxnet是军用级的网络武器，专业人员经分析后发现，它的设计是专门针对西门子离心机的，当它遇到装有特定数量的这种离心机的设施时就会爆发。这个数字和一座设施刚好对应：伊朗的纳坦兹核设施。一旦启动，该程序将悄悄地破坏离心机的关键部件，导致离心机发生故障，从而破坏伊朗的核浓缩计划。
攻击显然取得了部分成功，但对其它遭感染设施的影响尚不清楚。直到今天，尽管有明显的怀疑对象，但没人知道Stuxnet来自哪儿、是谁做的。也没有人知道Mirai是谁开发的，或者它的下一个迭代会来自哪里，但是它可能就在某个地方，就在当下，在你办公室的监控相机里传播，或者在你厨房角落的联网烧水壶里传播。
或许，这种崩溃看起来就像一系列迎合右翼阴谋论和生存主义者幻想的大片，比如准法西斯超级英雄电影（《美国队长》和《蝙蝠侠》系列），或是给刑讯逼供和暗杀辩护的电影（《猎杀本拉登》，《美国狙击手》）。在好莱坞，制片厂把剧本放到Epagogix公司的神经网络里进行分析，这是一个以数十年来数百万电影观众的未言明偏好为训练基础的系统，目的是预测哪一句台词将拨动正确的——即最能赚钱的——情感按钮。借助Netflix、Hulu、YouTube等网络数据，以及对数百万视频观众逐分钟偏好的收集，算法引擎获得了此前做梦都想不到的认知洞察力。网络直接以沉溺于新闻的消费者们疲惫不堪、连续观看的欲望为食，它自我启动，反思、强化并提升了系统内部固有的偏执。
通过A/B测试界面和对玩家行为的实时监控，游戏开发人员实现了不断循环的更新和应用程序内的购买。他们对产生多巴胺的神经通路掌握得如此精深，以至于青少年无法离开电脑，最后精疲力竭而死。
或许，闪电崩溃可能是字面意义上的通过网络向所有人播放的噩梦？2015年夏天，雅典一家医院的睡眠障碍诊所比以往任何时候都更忙：希腊债务危机正处于最严重的时期。患者中有高级政治家和公务员，整夜连接在他们身上的机器会监测他们的呼吸、动作，甚至他们在睡梦中大声说出来的话。它们把这些信息连同他们的个人医疗细节一起送回北欧制造商的数据农场进行诊断。还有什么悄悄话能从这些设施中消失？
我们将技术穿戴在身体表面来记录我们日常生活的各个方面，说服自己相信，我们也可以像设备一样进行优化和升级。带有计步器和皮肤刺激反应监测功能的智能手环和智能手机应用，不仅跟踪我们的位置，而且跟踪每一次呼吸和心跳，甚至是脑电波的模式。用户被鼓励晚上把手机放在床边，以便记录他们的睡眠模式。所有这些数据都到哪里去了，谁拥有它，什么时候被放出来？梦、夜晚惊醒和清晨的出汗，是构成我们无意识自我的材料，而这些数据为无情和难以理解的系统提供了更多燃料。
又或许，真实的闪电崩盘与我们现在所经历的一切完全一样：经济不平等的加剧、民族国家的崩溃和国境的军事化、一体化的全球监控和个人自由的缩减、跨国公司和神经认知资本主义的胜利、极右翼团体和本土主义意识形态的崛起，以及自然环境的恶化。所有这些都并非新技术的直接结果，但所有这些结果，都是由于人们普遍无法感知由不透明的、被技术增强的复杂性所加速的个人和企业行动所带来的广泛且网络化的影响。
在1997年的纽约，国际象棋冠军加里·卡斯帕罗夫第二次与IBM专门设计用来打败他的电脑“深蓝”对决。他输掉了比赛，并宣称深蓝的几步棋下得非常聪明和有创意，一定是人类干预的结果。但我们如今已能够理解深蓝为何会下这几步棋：它选择这些棋子的过程，归根结底凭借的是它的实力——一个由14000个定制的象棋芯片组成的大规模并行架构，能够每秒分析2亿次棋盘位置。卡斯帕罗夫并非不如深蓝睿智，而只是装备不足。
2016年，当Google Brain开发的AlphaGo软件与韩国职业围棋选手李世石对决时，事情已经发生了变化。在五场比赛的第二场中，AlphaGo的一招棋震惊了李世石，它把一枚棋子放在了棋盘的另一边。“这是非常奇怪的一步，”一位评论员说。“我认为那是个错误，”另一个评论员说。六个月前第一个输给AlphaGo的职业选手、经验丰富的围棋手范慧说：“这不是人类的招数。我从没见过有人这样下棋。”
AlphaGo最终赢得了这一局和这一系列比赛。AlphaGo的工程师在开发软件时，向神经网络里输入了专业围棋选手数百万次的招数，然后和自己对弈了上百万次，最终开发出了超越人类棋手的策略。但AlphaGo表现出来的策略却令人难以理解：我们可以看到它的招数，但看不懂它是如何决定采取这些步骤的。
已故的伊恩·M·班克斯将这些动作发生的地方称为“无限乐趣空间”。在班克斯的科幻小说中，他的“文化”文明是由仁慈的、智力超群的AI管理的，这些AI的名字就叫“心智”。虽然“心智”最初由人类创造，但它们早已重新设计和建造了自己，变得无所不能。在控制飞船和行星、指挥战争和照顾数十亿人之外，“心智”也有自己的乐趣。因为能够在想象中模拟整个宇宙，一些“心智”永远退回到了“无限乐趣空间”里，这是一个元数学可能性的领域，只有超人类的人工智能才能进入。
我们很多人都熟悉谷歌翻译，它推出于2006年，使用了一种叫做统计语言推理的技术。该系统并没有试图了解语言实际上是如何运作的，而是吸收了大量的既有翻译：不同语言中内容相同的平行文本。通过单纯地将单词投射到另一个单词上，它在语意对等的过程中移除了人类的理解，代之以数据驱动的相关性。
谷歌翻译因为搞笑的错误而闻名，但在2016年，该系统开始使用Google Brain开发的神经网络，其能力呈指数级提高。网络不再简单地交叉引用大量文本，而是构建起了自己的世界模型，产生的结果不是单词之间的一组二维连接，而是一张全领域的地图。在这种新的架构中，单词是由它们在意义网络里的距离编码而成——这是一个只有计算机才能理解的网络。
虽然一个人可以很容易地在“坦克”和“水”之间划清界限，但仅凭一张意义地图很难在“坦克”和“革命”、“水”和“流动性”之间划分界限，以及从这些联系中产生的所有情绪和推论。因此，意义地图是多维的，延伸的方向之多超出了人类的思维能力。当记者追问一名谷歌工程师，让他描绘一下这个系统时，他说：“我一般不喜欢尝试在三维空间里将成千上万个维度的向量可视化。”这就是机器学习创造意义的不可视空间。超过我们可视化能力范畴的东西，也是我们连理解都无能为力的东西。
同年，Google Brain的其他研究人员建立了三个网络，分别叫爱丽丝、鲍勃和夏娃，它们的任务是学习如何加密信息。艾丽斯和鲍勃都知道夏娃不知道的一个数字——用密码术语来说，就是一个密钥。艾丽斯会对一系列文本执行一些操作，然后把它发送给鲍勃和夏娃。如果鲍勃能破译这个信息，爱丽丝的分数就会增加；但是如果夏娃可以破译的话，爱丽丝的分数就会下降。
经过数千次迭代，爱丽丝和鲍勃学会了在夏娃无法破译的情况下进行沟通：它们发展出了一种私密的加密形式，就像今天私人电子邮件中使用的那种形式。但最重要的是，我们不知道这种加密是如何运转的。它的运作被网络的深厚层次所遮蔽，对夏娃隐藏的东西也对我们隐藏了起来，机器正在学习保护自己的秘密。
我们如何理解和思考我们在世界上的位置、我们彼此之间的关系以及我们与机器的关系，最终会决定技术将把我们带向何方。我们不能不思考网络，我们只能通过网络、在网络之中思考。塑造我们目前对现实的看法的技术不会消失，出于很多理由，我们也不应该希望它们消失。在这个目前拥有75亿人口且人口不断增加的星球上，生命支持系统依赖于它们。我们对这些系统的理解，以及我们在设计它们时有意识的选择，完全在我们的掌控范围之内。我们并非无能为力，并非没有主动性。我们只要思考，再思考，一直思考。网络——我们和我们的机器，以及我们一起思考和发现的东西——也需要我们这样做。
计算机系统作为一种工具，强调的是人类最有力的一个方面：我们在世界里有效行动的能力，按我们的意愿来塑造世界的能力。但发现和阐明这些意愿，并确保它们不会贬低、推翻、抹杀或消除他人的欲望，仍然是我们的特权。
卡斯帕罗夫1997年被打败后并没有放弃国际象棋。一年后，他又以一种新的形式重返竞技性比赛：高级象棋或半人马象棋。在高级象棋中，人类和机器合作，而不是竞争。人们很快发现，这种方式产生了非常有趣的结果。尽管现在即使是一台中级象棋电脑也能打败大多数大师级选手，但一个普通选手和一台普通电脑组合起来就能打败最复杂的超级电脑——这种思考方式的结合所产生的下棋方法给象棋带来了革命性变化。与现在开发的各种复杂机器和治理系统合作是否有可能——或者是否被允许——还有待观察，但一同理解和思考，提供了一条比制造混乱和技术主宰更有希望的发展道路。
技术是我们自身的延伸，编码在机器和基础设施中，编码也在知识和行动的框架中。电脑不是用来提供一切答案的，而是让我们以新的方式，向宇宙提出新的问题。
（翻译：李孟林）
……………………………………
欢迎你来微博找我们，请点这里。
也可以关注我们的微信公众号“界面文化”【ID:BooksAndFun】
