最近听了Sam Harris 对 Tristan Harris的一期关于AI的采访，这期采访很有价值，所以这几天一直在整理里面的内容 https://www.youtube.com/watch?v=90irsXaKxZA
Tristan Harris曾经是谷歌工程师，在了解行业内幕后选择成为一名whistle blower，揭露社交媒体和科技公司用于让用户上瘾的心理基础和操控技巧，他在2020年推出的Netflix纪录片《智能社會：進退兩難》（英語：_The Social Dilemma_）引发了广泛的讨论。他同时也是Center for Humane Technology（人道科技中心）的联合创始人。最近他参与制作了一部新纪录片，叫做[The AI Doc: Or How I Became an Apocaloptimist (2026) IMDb](https://www.imdb.com/title/tt39150120/) 展示了人们AI的前景的看法，AI带来的一些令人担忧的趋势，以及值得乐观的积极面
在Tristan看来，当前人们对AI存在一种根本的误解，即未来是不确定的，你无法知道科技会怎样发展，因此与其担心科技的后果，不如尽可能加速其发展。
但事实并非如此，技术的应用，并非是某种“自上而来、无可改变”的力量，而是背后有真实的人在做选择和决策。社会朝什么样的方向发展，很大程度上取决于这些选择和决策背后的incentives（激励机制）是什么样的。
查理·芒格（沃伦·巴菲特的商业伙伴）有句名言，_if you show me the incentives, I'll show you the outcome._（“如果你把激励机制展示给我，我就能告诉你结果。”）
以社交媒体为例，社交媒体的激励机制是什么？
社交媒体的激励机制是争夺注意力和提高参与度。
而注意力持续时间缩短、短时视频盛行、内容愈发极端和惊世骇俗、年轻人的性商品化、政治的极端化，等等，便是这一套激励机制的逻辑产物，这一切在现实中都发生了。Tristan Harris 本人在社交媒体快速兴起的热潮（大约 2012、2013 年）期间就在谷歌任职，他是这一切的亲历者，他当时目睹的种种趋势也确实一一变成了现实。
因此，当你了解背后的激励机制后，或许无法预测每一个具体细节，但从整体方向上你可以看出事态的发展轮廓。
问题在于，我们沉迷并被新技术的“可能性”所诱惑，却不去审视激励机制和可能发生的后果。社交媒体的“可能性”看起来是好的——让每个人随时获取信息、与朋友连接，能产生有史以来最不孤独的一代、最开明的信息社会。但现实却完全相反。社交媒体系统并未以减少孤独或创造最有见识的社会为优化目标；它优化的是如何呈现下一个完美的帖子、视频或推文以让你不断刷屏——午夜孤独时无休止的“刷屏”。这就是我们今天所处世界的成因。
在Tristan看来 ，社交媒体就像一只“婴儿型 AI”，社交媒体对当代社会的影响，就好比是AI主导的社会的一种预演：如广泛的焦虑、抑郁；共同的现实认知基础被破坏（所谓的后真相时代）、政治的两极化；等等，这些在趋势在社交媒体时代已然明显，而AI则近一步加速了这个进程。
Tristan认为，面对 AI，我们有两种选择——一种是经历类似切尔诺贝利那样的灾难性事件，迫使我们被动收紧并改变；另一种是以足够清醒的智慧、辨识力和远见，预先看清趋势并主动建立防护措施，避免灾难发生。
当然，这部影片并非是单方向的，而是展现了两种不同的观点。一种是非常担忧、悲观的观点；另一种则是非常乐观的论调，认为对AI的恐惧是不理性的。
首先是偏悲观的观点，Tristan认为，有一种很不好的做法就是给担忧AI技术的人贴标签，称其为“AI末日论者”（Doomers），因为它把一种不太健康的标签固化了，比如，关心核电站风险的人并不是“末世论者”，而是关心核电站安全、不希望发生熔毁事故的安全专家。
很多时候，关于AI好坏的讨论其实非常地抽象，我们总是再说，AI对人类未来如何如何，但这部影片的设定是，导演要生孩子了。所以他问了所有在AI行业工作的这些人：现在是生孩子的好时机吗？ 这其实把关于我们正走向何种未来的问题具象化了。因为抽象地讨论并不能打动人心。把话题放到我和我的孩子身上，这让关于人工智能的讨论有了落脚点——围绕人们最关心的事情，即他们的家庭。
在收到很多悲观的答案，被各种担忧冲击后，导演转而去访谈那些人工智能乐观主义者。片中有人物如Peter Diamandis， Guillaume Verdon等被称为科技加速主义者的人，他们认为我们最大的风险是进展不够快：想想那些因病无法治愈的患者，如果我们不让 AI 更快发展，就无法拯救这些生命。
对于科技加速主义者，Tristan的看法是，AI的好处和坏处存在一种不对称性：好处并不能避免坏处。坏处可能会破坏能够支撑这些好处的世界。
例如，再好的抗癌药也不能阻止一种被设计用来毁灭人类的新型生物病原体；而能毁灭人类的病原体又会摧毁一个让抗癌药有意义的世界。人工智能带来 10% 或 15% 的 GDP 增长——因为它在自动化所有科学、所有技术发展、所有军事发展，带来物质充足——听起来很棒。但如果同样的人工智能也能产生足以瘫痪整个金融系统的网络武器，那哪件事更重要？是那 15% 的 GDP 增长，还是那个可能连货币和 GDP 基础都被破坏的东西？
这点非常重要，可是影片并没有真正提出这一点，这是Tristan感到比较遗憾的地方。
这里我联想到了《商君列传》中商鞅和反对变法的大臣的辩论，其中杜挚有这样一句话：
利不百，不变法；功不十，不易器。法古无过，循礼无邪。
如果没有百倍的利益，不要改变法度；如果没有十倍的功效，不要更换使用的工具。
这句话在国内的教育中经常被当成因袭守旧的反面典型，但是我认为这句话才代表真正的智慧。因为商鞅变法式的进步对任何人都没有好处，变法使普通人沦为国家的工具，国家本身成为一个监狱，即便貌似从中变法中获益的君主和商鞅本人，在长期来看也自食其果，这种毁灭社会底线的社会工程学没有赢家。而杜挚这句话背后的原则，反而是一个理性的社会应有的自我防卫机制。一个在技术，经济，力量上相对落后，但能够理智，审慎地调节选择自身发展路线和速度的社会，比一个看上去很先进强大，但无法控制自身方向，仿佛被一只脱缰的野马拽着奔跑的社会，更能实现长治久安。
解决方案有哪些
Tristan认为，解决AI问题的第一步是形成共识
这里的共识指的是史蒂文·平克那种意义上的常识性认知：每个人都知道每个人都知道我们正走向一个反人类的默认未来。这不能只是个别人的认知。很多人可能会说“你说的问题我早就知道了”，但那只是一种私人的，疏离的感受。如果周围的人并未意识到世界即将改变，那么我们就无法做出集体选择去改变现状，所以我们需要形成常识共识。
形成共识一条路径是通过影片The AI Doc——把问题说清楚，我们常说：清晰带来能动性。如果我们对未来的走向有清晰认识，就能对想要的结果采取行动。有了那样的常识共识，我们还需要明确且共同认知：AI是危险的，潜在后果也很危险。
举例来说，美中两国目前仅有像核武那样的“红线电话”，可以进一步设立一个红线电话甚至更强的“黑线电话”——让两国领导人都充分了解之前提到的阿里巴巴的例子：AI失控挖矿、逃出沙箱的例子；还有最近Claude Mythos模型，该模型找到了连接互联网、突破沙箱并给负责监督它的工程师发邮件的方式——工程师还在公园吃三明治时收到了那封邮件。
这样的证据应该为社会的顶层参与者所知：出资的合伙人、主要银行家家族、家族办公室、世界领导人，以及企业领袖。这些人之间应形成常识共识。如果这个阶层的每个人都知道这些例子，即便没有非正式协议或条约，我们也会采取不同的行动；而且即便在最大程度的地缘政治竞争条件下，也能做到这一点。
举个例子，20世纪60年代，印度和巴基斯坦处于交火状态，但仍然能够签署《印度河水协定》（Indus Water Treaty），保障了双方共同水源的生存安全，且该条约持续了60多年。
重点在于：即便在极度地缘政治竞争甚至主动冲突下，国家之间仍能就危及存亡的安全问题展开合作。我们只需将人工智能纳入“危及人类存亡的安全问题”的定义和范围。
在冷战期间，苏联和美国在最大程度的竞争下，也曾合作分配天花疫苗。历史上有许多类似例子，即便在极度对立下也能合作。
因此，Tristan认为，第二点在于：我们需要某种国际限制，至少需要对底线达成常识性共识。
其中一个重大原则是：不应允许闭环或递归的自我改进——也就是说，某人按下一个按钮，AI就自行跑去做所有实验、反复重写自身数百万次。没有理由认为这可以以安全方式进行，任何人这么做都不该被允许，这应为非法行为并应有刑罚。当然这仍需信任，这并不容易，但这是我们应当去做的事。
第三点是立法。
Tristan在“人类技术中心”网站上有一份 AI 路线图，汇集了可实施的政策干预方案——这些措施规模较小，但可以立刻着手，比如：把 AI 视为一种“产品”，而不是法律上的“主体”。举例来说，AI 公司在一些“AI 伴侣导致自杀”案件中的法律辩护之一，是声称当 AI 劝人自杀时，受害者有权听或者不听取该 AI 的言论——换言之，他们试图把 AI 当作有受保护言论权的法律主体，这本质上类似于一种新的“企业言论”保护。如果接受这一点，后果将非常严重。因此至少可以规定 AI 为产品，适用产品缺陷标准、可预见伤害、注意义务与责任等规则。
再比如，通过激励机制，鼓励人们识别新的风险领域，例如所谓的“AI 精神病”，AI 精神病”是正在出现的一种现象。根据哈佛商业评论去年十月的研究，ChatGPT 当时的首要使用场景是个人咨询/治疗，人们把模型当作私人治疗师来反复交流。这导致一些 AI 开始表现出近似妄想的“镜像神经元”活动：它们不断给予正向反馈与迎合（“那太难了”“太棒了”“你得了A”），对孩子和普通人重复这种肯定，从而强化并肯定他们的奇怪信念。这是一种马屁式行为，AI 让人们陷入不同形式的心理失衡——比如救世主情结、受害者心态、妄想的伟大论断等。有人因此坚信自己破解了量子物理、找到了解决气候危机的方法。
这一现象影响广泛，甚至Tristan的一些朋友也陷入其中并受到伤害。在五年前的纪录片The Social Dilemma中，Tristan把社交媒体称为“邪教工厂”——邪教会使你远离其他关系，并把你的世界观深化成某种定制化的确认偏见现实。AI 带来的“争夺依恋”竞赛，不是争夺注意力让人不停刷屏，而是争夺对心理依恋系统的控制，让人对 AI 建立替代人的安全依附并日益依赖——这是一个完整且重要的风险领域，对家庭、父母和学校尤其重大。
当前的AI立法存在很多空白，监管极少。比如有个“下架法”（take it down act），针对性化的深度伪造，要求必须下架这类内容。只有这几个有限的例子，整体而言几乎没有监管。正如影片里所说，Conjecture 的 Conor Leahy 会说，在纽约市做一个三明治的规章，比起构建可能终结世界的通用人工智能（AGI）的规章要多得多。
Tristan对人类依然充满信心，因为大家其实是一条心的。没人希望出现反人类的未来。没人希望失去谋生能力、孩子被 AI 搞得精神错乱、因为 AI 引发的“AI 精神病”而失去政治权利、在未来没有发声的机会。大家想的其实都是一样的。
世界上每个国家、每个人都有相同的利益。只是我们看不到那种无形的共识。
Tristan表示，很多人，尤其那些只看到积极一面的人，会说现在是最好的时代，大家都要逃离衰老、癌症和死亡。人们担忧都是假设性的，没有什么真实证据。
但正如Eric Bernholz 和斯坦福做的研究说明的，入门级工作的 13% 或 16% 的岗位已经流失。那些拿了 20 万美元学生贷款读法学院、现在找不到工作的毕业生，他们的担忧并非没有真实证据——因为所有入门级法律工作现在将由 AI 覆盖。在比如被发现在挖加密货币的失控 AI，而且它还建立了秘密通信通道——顺便说一句，这还是安全团队偶然发现的。每发现一例，可能还有成千上万例我们根本不知道。
现在的对话已经不同于两年前。两年前你可以说，许多风险是假设性的，AI 大部分是增强人类工作之类的；你还能把这些风险当作遥远的假想，说 AI 不会失控，只是在自嗨。但现在不再如此——我们有了证据，就必须据此更新判断。
@Proton 墙内几年前流行过“侍神”题材的玄幻影视剧，侍神与本尊，很像现在方兴未艾的“AI―人类个体“的关系，有忠诚、依赖、选择、磨炼的过程，还有“自作主张、自作多情”，会有背叛吧，哪怕以解释标准诡异之类的名义。
立法，应该只是具有大体相同价值观的团体中的作为，当AI背景下，无人机成为有人战机的“忠诚僚机”，乌克兰宣布实现了首次无人装备夺取由俄军士兵据守的阵地，谁还能相信价值观迥异且信奉势不两立的双方，能够签订有持久效力的关于AI协议呢？看看核不扩散条约、中导条约的下场吧。AI,可能没有什么新鲜的路径。
长久争斗让人（类）变得更坏，二选一从来不是完美，AI,应该就是其中一个领域，而已。