图：当人们不看手机的时候

　　文/雷慢

　　来源：新金融洛书（ID：FintechBook）

　　2016 年，特里斯坦·哈里斯——这位谷歌的内部道德设计师决定离职，此时的他已经意识到，Facebook、谷歌（YouTube、谷歌搜索）、推特这样的互联网科技公司为了商业利益，利用算法吸引人上瘾的产品设计，是不道德。这已经成为：

　　“人类生存的一大威胁”。

　　他想到了对抗。实际上，特里斯坦·哈里斯任职谷歌期间，谷歌有知名的“不作恶”准则。但这一准则并没有阻挡住算法基于商业利益走向的偏路。离职两年后，特里斯坦·哈里斯拉着 Facebook 和 Google 等大公司离职或在职的技术专家，建立了一个叫“人道科技中心”（Center for Humane Technology）的组织，这个组织在 2018 年成立，用来——

　　对抗硅谷互联网公司让人上瘾的设计理论。

　　除了特里斯坦·哈里斯，参与这个中心工作的人，还有前 Facebook 运营经理；苹果公司和谷歌前通讯主管林恩·福克斯；前 Facebook 高管戴夫·莫林；Facebook 早期投资人罗杰·麦克纳米。

纪录片截图：“人道科技中心”（Center for Humane Technology）

　　2017 年前后，很多硅谷公司的高管，感觉到了算法操持的互联网平台，出现了道德伦理危机，纷纷离开了所在公司，2020 年，网飞（Netflix）公司拍摄了一部纪录片叫《监视资本主义：智能陷阱》。片中，Pinterest 的前总经理、Facebook 的前盈利总监 Tim Kkendall 说他担心算法操纵的世界最终导致美国内战；一个从谷歌出来的工程师，担心整个互联网产业的道德沦丧……

　　曾与马克·扎克伯格（Mark Zuckerberg）一起创办了 Facebook 的克里斯·休斯(Chris Hughes)离职后多年后，批评 Facebook 说，“扎克伯格是个好人。但令我感到愤怒的是，他对增长的关注导致他为了点击而牺牲了安全和道德底线”。

　　这样严重的担忧，是什么导致的，问题出在哪儿呢？

纪录片截图：一个前谷歌员工离职的原因

　　01

　　2018 年，推特 CEO Jack Dorsey 在一次听证会上说，12 年前创办推特时，他没想到推特会变成今天这样……

　　这段话，与《黑镜》第五季第二集的剧情正相契合，该剧正好也是网飞公司拍摄的。男主 Chris Gillhaney 因为在一次和女友驾车的过程中看手机社交消息，导致车祸，女友当场死亡。当他恢复过来后，他做了一个类似 UBER 产品的司机，每天在这家叫“碎片”的社交网站公司楼下接客。终于有一天，他接到了一个这家公司员工，绑架了他，通过要挟这个员工，逐层上接，和“碎片”公司 CEO 接上了电话，而他只是想告诉这个 CEO，社交网站是怎样绑架了人们的生活而导致种种悲剧的。这家 CEO 的回答和推特 CEO 的回答很相似：

　　我当初创办这家公司的时候，没有想到它会变成这样。

　　“碎片”公司 CEO 阐述了一种逻辑：一个产品成型后，它的走势就不再是他能决定的，每一次更新和功能改进，都是因为用户喜欢、希望得到的结果，这并不一定是一个 CEO 想要的。

　　上瘾，几乎成了所有社交 App 追求的东西。

　　《监视资本主义：智能陷阱》采访了很多前硅谷科技公司的前高管和投资人。

　　作为谷歌前道德伦理设计师的特里斯坦说，当年他在谷歌做邮箱设计时，意识到一个问题，历史上从来没有过 50 个左右的 20-35 岁的加州工程设计师做出一个决定，就能影响 20 亿人，影响他们做出从来没有预想到的想法或决定——当用户早上醒来，谷歌邮箱就告诉他，应该这样工作。工作、文化、生活的意义，都来自一个鬼鬼祟祟的第三方操纵。而谷歌内部，没有一个人想把邮箱做得不那么致瘾。

纪录片截图：特里斯坦·哈里斯——谷歌前内部道德设计师

　　后来他做了一个呼吁：我们这些工程师，有道德责任去审视、讨论致瘾问题。

　　特里斯坦发出这个呼吁后，很多工程师都赞同，然后，就没有然后了……

　　作为 Facebook 的早期投资者罗杰·麦克纳米说，硅谷的前 50 年，IBM、谷歌、英特尔都制造软件或硬件产品卖给顾客，商业模式简单而良好。但过去十年，硅谷最大的公司一直在“贩卖顾客”。

　　互联网时代以前，人们所发明的东西，都是为大众服务的，自行车、汽车、计算器，它们是简单而中性的工具；当互联网时代兴起后，技术慢慢演变为向人类索取、引诱甚至操纵并从人身上获利的工具，已经由以人为主动型技术环境，转变为以人被动接受的、致瘾操纵型的技术环境。社交媒体不再是等在仓库里等着人去骑行的自行车，或驾驶的汽车，而是会自我学习、分析、操纵、致瘾的东西。

　　硅谷大公司的高管们就很警惕这个问题，比如比尔·盖茨和史蒂夫·乔布斯的小孩，童年就被要求与电子产品完全隔离。

　　这正是《纽约时报》2018 年的一篇文章所说的，“技术专家知道手机的真面目，所以他们很多人决定让自己的孩子远离这些东西。”

　　雷慢曾说过，互联网是一个喂养型的社会。这种喂养是经过大数据分析、机器学习决策后，推送给人的。

　　这也是马克思、弗洛伊德等人对“异化”一次观点所说的，人作为客体被动地接受体验世界和自身；“物凌驾于人之上”。就像系统算法凌驾于外卖快递员之上。机器流水线凌驾于工人之上一样。

　　02

　　现在，互联网公司提供了大量的免费产品，FaceBook、微信、抖音、推特，大家都不为使用的社交产品付费。为这些社交 App 付费的那些广告商，广告商就是社交 App 的顾客，而用户成了被销售的商品。这就出现了一种现象：

　　如果你没有花钱买产品，那你就是被卖的产品。

　　所以 FaceBook、推特这些公司的商业模式就是，怎样让你最大程度的上瘾，花更多的时间在这些 App 上，付出你人生的时间。

　　人生值多少钱呢？

　　哈佛商学院教授 Shoshana Zuboff 被采访时说，在商业上，FaceBook、推特们为了卖出更多的广告，需要给与顾客确定性，所以，商业广告卖的就是确定性，这个“确定性”就来自用户上瘾背后的“数据分析”。

　　纪录片截屏：大数据可以记录用户在某张图上停留了多长时间，来判断用户对那种图感兴趣。

　　这就是纪录片标题所说的核心：监视资本主义。

　　为了获得数据，这些公司需要监视用户去过的每个地方，每种喜好，每种行为数据，无限追踪、分析、评估，无限逐利。

　　你喜欢看 NBA 的视频？好的，在你看下一个同类视频前，给你插播一条篮球鞋的广告。

纪录片截图：算法模型会给用户画像，这个画像是由无数的行为数据建立的。

　　这些数据不用人看管，机器可以自动深度学习，给出预判，这也是推特 CEO 所说，为什么这些产品成了当初他们所没想到的样子。

　　但高管们做了什么呢，预判人们行为轨迹的模型是他们做的，能够自动学习的程序代码是他们写的。

　　这一切都为了一个确定性：尽可能成功的将用户卖给广告商。Shoshana Zuboff 将这个市场称为：

　　从未出现的、最大的人类期货市场。

　　过去我们交易猪肉期货、钻石期货，现在人类也成了期货。

　　上瘾带来的后果是，将你还没想到的部分，用推送给你，使它们成为你思想的一部分，还让你觉得这是自己所想的。

　　FaceBook、UBER 等公司的高管都曾在斯坦福大学上过这样一个课程：怎么用技术劝服用户？这类行为被称为：

　　劝服的艺术。

　　这是一种极端刻意的，对人们行为进行设计的行为。用户的每一次下拉或下拉刷新，都是一次算法的重新推送。它们深入脑袋里，植入一种无意识的习惯，让人的脑袋更深层次地被编程。

　　FaceBook 曾做过一个“海量规模蔓延实验”，测试用 FaceBook 上的潜意识信号来让更多人在美国中期选举投票，实验结果是：能。

　　这种影响并不会触发用户的意识，而是一种潜意识，这意味着用户根本不会察觉。

　　这种实验，谷歌和 FaceBook 每年要在用户身上做很多，用户就是实验小白鼠。

　　03

　　各种致瘾的大数据分析、算法推送，使美国Z世代的年青人成为了牺牲品。

　　纽约大学心理学家 Jonathan Haidt 提供的数据显示，大概在 2011 年至 2013 年前后开始，每年因为割腕自残而住院的少女出现了剧烈上升的趋势。

纪录片截图：近 20 年，美国每年少女因手机上瘾而自残与自杀的趋势

　　一个常见的现象是，人在孤独、无所事事的时候，总要找点什么事情做。如今这个空隙被算法推送的网络社交、短视频等占据了，人处理情绪的能力就退化了。

　　Cathy O’neil 是一个大数据科学家。她说，算法是内嵌在代码中的观点，它并不是客观的。算法会被成功的商业模式引导、优化。

　　通常，在一个像 FaceBook 这样影响数十亿人的公司里，能明白某个程序算法工作逻辑的就几个人，相对于 70 多亿的人类来说，可以看成：人类失去了对算法系统的控制。

　　罗杰·麦克纳米说，这就像一个 27 亿人的《楚门的世界》，每个人都有自己的世界。没有人发现自己所在世界的本质真相。当然，实际上，活在“楚门的世界”里的人可能更多。在中国，类似的产品有今日头条、抖音等。

　　算法的每一个推送，都代表着一种商业利益。

　　在中国，中老年人喜欢看的一些鼓吹、煽动的假视频， 并不是制作者一定相信这些事，而是假新闻传播比真新闻更快，流量能给他们带来商业变现，免费看视频的人，才是被卖的商品。

　　特里斯坦·哈里斯发明了一套理论：技术超越人类的第一个阶段点是超越弱点，其结果就是上瘾，上瘾会激化愤怒、激化虚荣，压制人类天性，挫伤天性。第二个点是超越人类的智慧。

　　算法喂养的世界里容易出现种种激化的矛盾，每个人的意见越来越不相容，因为每个人都从不同的推送里了解信息，而这些信息、知识又因为推送不同而不同。当两个因为同一个社交网站的鼓吹而同时出现在街上游行的美国人，对同一件事情产生争论的时候，他们容易发现：

　　哦，原来没有看到相同的信息。

　　这种激化的分歧的一个知名例子就是“地球是平的”论，这种论调在 YouTube 上被推荐了几亿次，因为有的人喜欢，算法每天都在变着法地给人们推送“地球是平的”的内容，“地球是圆的”则被他们当作阴谋，而且越来越多的人相信了这种阴谋论。

　　这个事件的高潮是，今年 2 月，因为想证实地球是平的，美国发明家迈克尔休斯在用自制的载人火箭进行发射测试后，坠地身亡。

　　04

　　算法只推荐给人们感兴趣的东西，它并无道德感，它唯一的动力是商业利益，它可以一而再再而三地给人们推送虚假、阴谋论的信息。今天可以让人相信地球是平的，明天就可以让人相信喝消毒液可以杀死新冠病毒。

　　2016 年，美国有成千上万的民众相信着一个假新闻——一个有民主党高层参与的地下娈童犯罪组织隐藏在一家华盛顿的披萨店，算法在这个事情发酵中，不停地推荐人们加入“披萨门”小组，直到越来越多的人相信它真的存在。

　　事件的高潮以一个男子拿着枪要进入披萨店仓库去解救“被迫害的孩子”、半路被警察逮捕了而告终。

　　在美国，疫情期间的谣言，和算法的推波助澜，加剧了谣言传播，个体各自为政。人们在街上游行，有的喊“新冠疫苗是阴谋”，有的喊“人类基因不适合新冠疫苗”。每个人执着于自己看到的信息。一个政府官员将其称为：

　　新时期的部落主义。

　　在算法的推送的信息浸染下，2017 年的一项皮尤研究中心的数据显示，2017 年民主党和共和党的政治分歧达到了 20 年来最高点。

纪录片截图：2017 年民主党和共和党的政治分歧达到了 20 年来最高点。

　　在缅甸，2017 年以来 FaceBook 上出现了前所未有、情绪高涨的煽动性言论，这些言论被不停地推送给那些喜欢看的极端民族主义者，催生了严重的犯罪行为、种族主义迫害，并导致了 70 万罗兴亚族 MSL 逃离了缅甸。   

纪录片截图：缅甸罗兴亚族 MSL 大逃离

　　《崩溃》一书作者贾雷德·戴蒙德阐明了社会是怎样崩溃的：一个社会一起推动一种不稳定、消极状态的前进，最终导致了社会的崩溃。贾雷德·戴蒙德的学生曾向他问出一个非常有意思的问题：

　　复活节岛生态环境崩溃前，砍倒了岛上最后一棵树的那个人，那一刻在想什么？

　　我们是时候也思考一下这个问题了。