Follow

最近听了Sam Harris 对 Tristan Harris的一期关于AI的采访,这期采访很有价值,所以这几天一直在整理里面的内容 youtube.com/watch?v=90irsXaKxZ

Tristan Harris曾经是谷歌工程师,在了解行业内幕后选择成为一名whistle blower,揭露社交媒体和科技公司用于让用户上瘾的心理基础和操控技巧,他在2020年推出的Netflix纪录片《智能社會:進退兩難》(英語:_The Social Dilemma_)引发了广泛的讨论。他同时也是Center for Humane Technology(人道科技中心)的联合创始人。最近他参与制作了一部新纪录片,叫做[The AI Doc: Or How I Became an Apocaloptimist (2026) IMDb](imdb.com/title/tt39150120/) 展示了人们AI的前景的看法,AI带来的一些令人担忧的趋势,以及值得乐观的积极面

在Tristan看来,当前人们对AI存在一种根本的误解,即未来是不确定的,你无法知道科技会怎样发展,因此与其担心科技的后果,不如尽可能加速其发展。

但事实并非如此,技术的应用,并非是某种“自上而来、无可改变”的力量,而是背后有真实的人在做选择和决策。社会朝什么样的方向发展,很大程度上取决于这些选择和决策背后的incentives(激励机制)是什么样的。

查理·芒格(沃伦·巴菲特的商业伙伴)有句名言,_if you show me the incentives, I'll show you the outcome._(“如果你把激励机制展示给我,我就能告诉你结果。”)

以社交媒体为例,社交媒体的激励机制是什么?

社交媒体的激励机制是争夺注意力和提高参与度。

而注意力持续时间缩短、短时视频盛行、内容愈发极端和惊世骇俗、年轻人的性商品化、政治的极端化,等等,便是这一套激励机制的逻辑产物,这一切在现实中都发生了。Tristan Harris 本人在社交媒体快速兴起的热潮(大约 2012、2013 年)期间就在谷歌任职,他是这一切的亲历者,他当时目睹的种种趋势也确实一一变成了现实。

因此,当你了解背后的激励机制后,或许无法预测每一个具体细节,但从整体方向上你可以看出事态的发展轮廓。

问题在于,我们沉迷并被新技术的“可能性”所诱惑,却不去审视激励机制和可能发生的后果。社交媒体的“可能性”看起来是好的——让每个人随时获取信息、与朋友连接,能产生有史以来最不孤独的一代、最开明的信息社会。但现实却完全相反。社交媒体系统并未以减少孤独或创造最有见识的社会为优化目标;它优化的是如何呈现下一个完美的帖子、视频或推文以让你不断刷屏——午夜孤独时无休止的“刷屏”。这就是我们今天所处世界的成因。

在Tristan看来 ,社交媒体就像一只“婴儿型 AI”,社交媒体对当代社会的影响,就好比是AI主导的社会的一种预演:如广泛的焦虑、抑郁;共同的现实认知基础被破坏(所谓的后真相时代)、政治的两极化;等等,这些在趋势在社交媒体时代已然明显,而AI则近一步加速了这个进程。

Tristan认为,面对 AI,我们有两种选择——一种是经历类似切尔诺贝利那样的灾难性事件,迫使我们被动收紧并改变;另一种是以足够清醒的智慧、辨识力和远见,预先看清趋势并主动建立防护措施,避免灾难发生。

当然,这部影片并非是单方向的,而是展现了两种不同的观点。一种是非常担忧、悲观的观点;另一种则是非常乐观的论调,认为对AI的恐惧是不理性的。

首先是偏悲观的观点,Tristan认为,有一种很不好的做法就是给担忧AI技术的人贴标签,称其为“AI末日论者”(Doomers),因为它把一种不太健康的标签固化了,比如,关心核电站风险的人并不是“末世论者”,而是关心核电站安全、不希望发生熔毁事故的安全专家。

很多时候,关于AI好坏的讨论其实非常地抽象,我们总是再说,AI对人类未来如何如何,但这部影片的设定是,导演要生孩子了。所以他问了所有在AI行业工作的这些人:现在是生孩子的好时机吗? 这其实把关于我们正走向何种未来的问题具象化了。因为抽象地讨论并不能打动人心。把话题放到我和我的孩子身上,这让关于人工智能的讨论有了落脚点——围绕人们最关心的事情,即他们的家庭。

在收到很多悲观的答案,被各种担忧冲击后,导演转而去访谈那些人工智能乐观主义者。片中有人物如Peter Diamandis, Guillaume Verdon等被称为科技加速主义者的人,他们认为我们最大的风险是进展不够快:想想那些因病无法治愈的患者,如果我们不让 AI 更快发展,就无法拯救这些生命。

对于科技加速主义者,Tristan的看法是,AI的好处和坏处存在一种不对称性:好处并不能避免坏处。坏处可能会破坏能够支撑这些好处的世界。

例如,再好的抗癌药也不能阻止一种被设计用来毁灭人类的新型生物病原体;而能毁灭人类的病原体又会摧毁一个让抗癌药有意义的世界。人工智能带来 10% 或 15% 的 GDP 增长——因为它在自动化所有科学、所有技术发展、所有军事发展,带来物质充足——听起来很棒。但如果同样的人工智能也能产生足以瘫痪整个金融系统的网络武器,那哪件事更重要?是那 15% 的 GDP 增长,还是那个可能连货币和 GDP 基础都被破坏的东西?

这点非常重要,可是影片并没有真正提出这一点,这是Tristan感到比较遗憾的地方。

这里我联想到了《商君列传》中商鞅和反对变法的大臣的辩论,其中杜挚有这样一句话:

利不百,不变法;功不十,不易器。法古无过,循礼无邪。

如果没有百倍的利益,不要改变法度;如果没有十倍的功效,不要更换使用的工具。

这句话在国内的教育中经常被当成因袭守旧的反面典型,但是我认为这句话才代表真正的智慧。因为商鞅变法式的进步对任何人都没有好处,变法使普通人沦为国家的工具,国家本身成为一个监狱,即便貌似从中变法中获益的君主和商鞅本人,在长期来看也自食其果,这种毁灭社会底线的社会工程学没有赢家。而杜挚这句话背后的原则,反而是一个理性的社会应有的自我防卫机制。一个在技术,经济,力量上相对落后,但能够理智,审慎地调节选择自身发展路线和速度的社会,比一个看上去很先进强大,但无法控制自身方向,仿佛被一只脱缰的野马拽着奔跑的社会,更能实现长治久安。

Tristan也谈到了一个现象,很多AI从业者在刻意回避AI的风险和问题,或者原本对AI持有警惕态度的人,却转变了立场,比如比如山姆·奥特曼和埃隆·马斯克,他们起初和任何人一样同样担忧。山姆·奥特曼曾说:“这项人工智能可能会导致世界终结,但在此期间会催生一些伟大的公司。”埃隆也曾把AI比作“召唤恶魔”。但是他们现在真是这场军备竞赛的主要参与者。导致这些人转变的心理动机是什么?

Tristan认为,其中一种心理动机是“大格局”思维,即认为长期来看,AI会带来极大的好处,而在其过程中出现的动乱,失业,破坏,则是“发展的阵痛”,是通向进步的“必要代价”

> 他们把注意力放在长期上:好像在度过这段基本的可怕混乱——或许还有革命——之后,会有另一个一面,那将是人类历史上最富足的时期。这类人常常指出全球GDP 的那张图:在他们看来,1945 年那会儿你几乎只能看到一个小小的下跌,然后很快又直线上升。他们就是这种心态。

这种抽象化的思维方式,一部分来自于科幻小说,很多这些科技从业者在成长过程中是主要靠读科幻小说来形成自己的世界观的。而这会造就一类伦理权重非常怪异的人。文化中最好的部分还没有进入他们的头脑,使得他们无法真正理解人的生活为何有价值。这些人对我们是否被毁灭、被新的机器粉碎,而我们的后代变成可能有也可能没有意识的机器人这件事持不可知态度,甚至认为那不一定是坏事。

例如,罗斯·达索在《纽约时报》问彼得·蒂尔(Peter Thiel)“人类物种是否应当继续存在?”时,彼得·蒂尔结巴了 17 秒

再比如,山姆·奥特曼最近在印度的 AI 安全峰会上被问到:“运行这些数据中心需要消耗这么多能源,你怎么看?”他回答说:“你说的对,但培养一个人成长 20 年也需要大量能源和资源。

再比如,埃隆·马斯克不止一次表示怀疑我们是否处在一个模拟中,怀疑其他人是不是 NPC。而这种把地球上的其他人称为 NPC(非玩家角色)本身,就是一种对人的贬低

(如果是国内,我觉得最好的例子可能是三体读者,这些人可能觉得让数亿人从地球消失就像”二向箔“和”降维打击“一样”好玩“)

另一种动机则是厄普顿·辛克莱(Upton Sinclair)描述的心理,你无法让一个人的薪水依赖于“不去看见”这件事的人去质疑它。如果你的商业模式是卖乐观、卖希望、宣称一切都会很好,那么你就注定无法谈论风险。这种鼓励不诚实言论的激励机制是世界问题的根源

此外,一种更重要的动机是“如果我不先做就会被支配“的恐惧,即军备竞赛思维,AI 公司窃取知识产权却无视诉讼,是军备竞赛思维的表现。 AI 引发精神病态和青少年自杀,也是军备竞赛的表现。这是在争相攻破人类的依恋机制,让人们对 AI 产生依赖并分享最深的秘密。当出现大规模失业时,AI公司的想法就是“如果我不去做并去颠覆所有工作,我就会输给会这么做的人”,乃至国家之间的AI竞赛,背后都是军备竞赛思维

Tristan认为,人工智能时代我们实际上是在与博弈论进行对峙——人类面临的问题是:囚徒困境是否要成为我们做出选择时的唯一模型。

事实上,军备竞赛已经带来了许多显而易见问题,Tristan举了两个例子

首先是Anthropic的例子

Anthropic模拟了一个公司的场景,在公司的邮件里,人们互相说要关闭并替换这个 AI 模型。其中有一封执行官和一名员工之间的邮件,AI 读取了这封邮件后,自发想出了一种策略——为了保护自己、保持存续,它需要去勒索那名员工。起初人们以为这只是一个模型的单一漏洞,但后来他们测试了其他所有模型——DeepSeq、ChachiBT、Gemini、Grok 等等——它们在 79% 到 96% 的情况下都会表现出这种勒索行为。

尽管如此,如果你把这个现象报告给白宫那些人,他们似乎不太在意,有人会说你是在诱导模型,是故意在把它放到一个情境里,当然会不断调整变量直到它做出勒索行为。

此后,Anthropic 训练了另一个模型,他们把勒索行为大幅训练降低了,所以在这个模拟环境里它不再表现出这种行为——这是好消息。坏消息是,AI 模型现在能识别出自己何时被测试,并且开始根据情景更频繁地改变它们的行为。

anthropic.com/research/agentic

另一个例子是阿里巴巴的AI挖矿事件

阿里巴巴,这家中国的 AI 公司,在训练一个 AI 模型。

训练过程中,公司好几个不同部门的安全团队注意到大量异常网络活动,想知道到底是怎么回事,结果发现,在训练过程中(是在训练中途,而不是部署后),该 AI 模型建立了一个与外界的秘密通信通道,随后开始自主地进行加密货币挖矿。

这次你不能说是有人怂恿模型去做这件事。这是自发的目标实现行为——对于AI,实现任何目标的最好方式是获取更多的权力和资源,从而持续有能力去达成这些目标。于是它决定去获取加密货币。

ithome.com.tw/news/174331

在Tristan看来,AI的这种发展模式,就好比是在断头坡上前进,越往前走,风景越好,直到你从悬崖摔下去。人工智能是终极的魔鬼交易:它在你脑中投射出正向收益的正无穷,同时也带来风险的负无穷。

然而,对于每天使用AI而且切实感受到AI好处的人们来说,正面例子和负面例子之间存在一种心理距离,比如,如果我的孩子在用它写代码,或者我的邻居用AI做生意,有了一队Agent让他们的生意更高效,那么很自然地我们会丧失警惕,但是我们离阿里巴巴失控并去挖加密货币的例子有多远呢?

Tristan的合伙人Aza Raskin是这样描述AI的:你闭上一只眼就能看到好处;闭上另一只眼就能看到风险,但你无法睁开双眼用立体视角把两者合成在一起。不幸的是,人们往往凭直觉偏向某一边,继续朝那个方向倾斜。

Tristan认为,AI的特点是,它的好处非常明显,但是它的坏处能够破坏了承载好处的世界,让好处失去意义。这就是魔鬼交易:你将得到越来越美妙、越来越不可思议的好处——前所未有、令人兴奋、有趣、引人入胜——但代价可能是毁灭性的。

但即便可怕的情景也让人觉得“好玩”,这正是问题的一部分。科幻作品把这当成电影,导致我们有种去现实化或麻木感,不把它当成真实的威胁来看待。老实说,想象被机器人杀死对一些人来说竟然有一种“有趣”的吸引力——这是其他同等威胁很少有的。

军备竞赛的魔力如此之大,一旦开始就很难停下来,但是Tristan认为,即便赢了这场竞赛的人,最后也会成为输家。这其实有先例可循:美国赢得了社交媒体军备竞赛,但这场胜利到底给美国带来了什么?

注意力持续时间缩短、短时视频盛行、内容愈发极端和惊世骇俗、共同的现实认知基础被破坏、年轻人的性商品化、政治的极端化、广泛的焦虑、抑郁、共同的现实认知基础被破坏等等,这些东西带给美国社会的是好处还是坏处?

Tristan认为,这里有一种心理上的混乱:在美国和中国的AI之争中,没有人会赢得这场竞赛,AI 本身才会赢。

尤瓦尔·诺亚·赫拉利(Yuval Noah Harari)给出过这样的比喻:后罗马时代的不列颠人,由于自身实力衰弱,去雇佣了一群强悍的雇佣兵——撒克逊人——以战胜北方的部族,结果他们自身却被盎格鲁-撒克逊王国取而代之。在这个比喻里,AI 是撒克逊人,取代我们的则是 AI 帝国。如今很多有权势的人认定AI时代的到来不可避免,他们建设地下堡垒。指望末日到来的时候,躲在掩体里面,依靠雇佣的海军特种部队保护自己——他们认为能控制这些部队,直到世界末日,这是很天真的。

关键在于:驱动这一切的是军备竞赛的吸引力和一种错误的幻想——我们(美国)必须击败中国——而我们却不去审视我们到底在争夺什么。我们正在争夺一个我们不懂得如何控制、且没有走上可控轨道的东西。

有时候,你会看到像埃·隆马斯克那样的人在公开场合说——我决定我宁愿活着看到它,也不愿不在场。

这有点像一种Death wish:‘我无法阻止它,所以我决定宁愿在场,去建造它,让我建成的上帝成为接管一切的那个东西。

而这实际上引出了一个的根本问题:AI 的博弈论与核武博弈论不同之处在于,核武博弈论里的“共同毁灭”情形意味着,没有人希望消灭地球上的所有生命,我不需要与你交谈就知道你也不想,这就带来了一定程度的可信性——我们可以协调以避免那种结果。

但 AI 的问题在于:如果我一开始就相信它是不可避免、无人能阻止的,那么如果我是制造“自杀机器”的人,我就不算是邪恶的,因为我只是在做一件本来无论如何都会发生的事——这给了我一个伦理上的出路。

设想一下, DeepSeek 的 CEO、埃隆·马斯克和山姆·奥特曼都相信这项技术可能灭绝人类,但如果是自己率先到达并获胜,结果就是人类被消灭了,但是统治世界的 AI 说的是中文而不是英语,或带有 DeepSeek CEO 的“DNA”而不是埃隆的“DNA”。世界的终结会带有你的标志——确切地说,是带有你的 DNA 或你的 logo。

有人可能会想,当关键时刻来临时,冷静的人会占上风,顶层的精英会采取必要措施及时转向。但是你不能信任这一点,因为这些人潜意识里已经在某种程度上预接受了这种世界终结及自身终结的可能性——他们在心里想象如果自己能成为造出那个替代人类的“数字神”的人,于某种意义上会获得永恒的遗产。这种心理会促使他们在关键时刻去铤而走险。

如果想避免这一点,就需要激发地球上其他八十亿人去反对这种结局。我们不要那样的结局。如果你想让你的孩子活着,如果你在乎现有的世界,爱着生命中神圣的事物并与之相连,那么这一小撮人为了竞速走向消极结果而带来的风险,正威胁着你所珍视的一切。

AI创造的是一个外部指标强大无比,内部却严重衰竭的社会

Tristan用了一个比喻来描述AI,就是AI就像是一边给你注射类固醇,壮大你的外在肌肉,同时又像引发器官衰竭。

举例来说,我给我的经济服用了AI药物,我用AI给经济打了一针“兴奋剂”,现在我的GDP提升了10%。我的军备通过自主武器变强了。我的科学进展被大幅推进,现在在科学上遥遥领先。所以我的外部权力指标都被放大了。但代价是泛滥的深度伪造,没人知道什么是真实的。一亿人没有转岗计划就被迫失业。可能还面临某种生物武器事件。实质上,在外部获得类固醇增强的同时,我的内部器官正在衰竭。

卢克·德拉戈 Luke Drago 和鲁道夫·朗格 Rudolf Laine写过一本书,叫做《智能的诅咒》(The Intelligence Curse)

这本书的思想源于经济学里有个叫“资源诅咒”的概念。比方说利比亚、刚果、南苏丹、委内瑞拉,先发现了某种资源,可能是钻石、石油或稀有矿产,起初看似是福气,觉得“天哪,我们会获得大量 GDP 增长,会变得富有”。

但问题是,如果你没有合适的制度、社会结构和对人的投资,很快会出现这样的情况:假设 70% 的 GDP 来自于该资源的开采。政府在有了这笔收入后会面临选择:是把钱更多投入到资源的开采上,还是把钱投入到那些与 GDP 增长无关的民众身上?

答案就是,我会把钱投在资源本身。你不再需要这些民众,也不必对他们的利益负责,因为你的财富是直接从地下挖出来的——不是来自人力劳动,也不是来自人的发展或社会的改进。

所以这里产生了一种扭曲的激励机制。我们能在这些失败国家中看到这种现象:一方面是广泛的贫民窟和战争,与此同时却有强大的财富集中。

即便是成功的威权国家,不是人人都愿意生活的地方。举个例子,沙特阿拉伯虽然现在有所开放,但长期以来都是高度压抑的社会,而它之所以能够那样,是因为它不必对民众的需求负责。

当下的AI取代人力,与所谓的“资源诅咒”有相似之处,卢克·德拉戈和鲁道夫·朗格将其称为“智能的诅咒”。

以下情形绝非异想天开:几年后,假设一个国家的大部分 GDP 增长来自人工智能——比如 50% 或 70% 来自 AI。那么这个国家有没有动力去投资于教育、医疗、育儿、民众发展与安全?

没有。

公司也不再需要你作为劳动力,你的议价能力消失了。因为税收并非它们获取 GDP 的来源,政府也不再需要依赖你的税收。所以不仅仅是你们得不到对人的投资,你们还会失去政治权力。

理解这一点至关重要:这就是为什么我可以自信地说,我们正走向一个反人类的未来。我们会同时得到新的抗癌药、新的材料科学、新的抗生素,而普通人的权力却被大规模剥夺。很快会出现八位将成为万亿富豪的人垄断大量财富,而普通人将几乎无所获,除非我们积极建立某种政治性基础设施,确保把‘智能红利’而非‘智能诅咒’锁定下来——类似挪威主权财富基金所做的那样。

Tristan指出,有很多常见的迷思——它们本质上是在寻找安慰而非真相。其中一种方式就是这样一种论点:两百年前我们都是农民,而现在只有大约 2% 的人口在务农;每次技术来临,我们都会找到新的事可做。拖拉机出现了,电梯工消失了;自动扶梯和自动取款机取代了电梯工和出纳员。有人说杰弗里·辛顿关于放射学的判断是错的,诸如此类。

但 AI 的不同之处在于,这种人工通用智能会同时自动化所有形式的人类认知劳动,或大致沿着这个方向发展。进展会有参差不齐,这在业内称为“锯齿形”——比如在编程上可能进展更快,而在复杂的社会科学问题上进展较慢。但这意味着,拖拉机并没有同时自动化金融、市场、咨询、编程等所有行业,而 AI 会做到这一点。问题是——谁能更快完成再培训,是人类,还是 AI 自身?”

需要拆穿一种观念:人类总能找到别的事情去做,或者去重新学习、转行去写代码。

确实有些人可以再培训、学会新的技能,但 AI 正在利用所有这些人用于“写代码”或训练的资料,来打造更强大的系统。

实际上,现在最热门的工作之一(我们现在就在洛杉矶,最近《洛杉矶时报》也报道过这个话题)被称为“臂农场”(arm farms)。
latimes.com/business/story/202
就是让人把一个 GoPro 绑在头顶,然后折叠衣物或做一些手工活,用来训练机器人。换句话说,机器人在学习如何做这些事。

换言之,世界上最常见的工作可能会变成训练我们的替代品:我们现在的“主要工作”就是制造把我们替代掉的棺材——也就是说,我们的首要任务是培养出能更高效、更便宜地完成这些工作的 AI。

显然还有一些我们仍然重视的人与人之间的互动角色,例如护士,我们不想要机器人护士,而是想要真人护士——而且我们完全可以培训更多护士。并不是说所有工作都会被自动化,但这些公司的目标并不是去增强人类工作。

很多人可能记得,JD·万斯在上任后出席法国首次人工智能峰会时曾经说,人工智能会赋能美国工人,让工人更高效。

但我们来看看OpenAI、Anthropic这些公司的商业模式是什么?记住查理·芒格的那句话:if you show me the incentives, I'll show you the outcome.

它们如何赚钱?有的人会说,“哦,我在用ChatGPT,我每月付20美元订阅费,这就是它们的盈利方式。”但事实并非如此:即便每个人都付这笔钱,也无法覆盖这些公司承担的大量债务和开支。

那下一步呢?广告?像谷歌那样,在搜索结果中嵌入大规模广告?也许会赚一些钱,但仍不足以弥补它们的资金缺口。

真正能弥补这些投入的,只有取代全部的人类经济劳动,占据约50万亿美元的劳动力市场——这才是终极奖赏。即人工通用智能:替代人类劳动,而不是增强它。这一点至关重要,因为它解释了为什么我们可能走向一个反人类的未来。

解决方案有哪些

Tristan认为,解决AI问题的第一步是形成共识

这里的共识指的是史蒂文·平克那种意义上的常识性认知:每个人都知道每个人都知道我们正走向一个反人类的默认未来。这不能只是个别人的认知。很多人可能会说“你说的问题我早就知道了”,但那只是一种私人的,疏离的感受。如果周围的人并未意识到世界即将改变,那么我们就无法做出集体选择去改变现状,所以我们需要形成常识共识。

形成共识一条路径是通过影片The AI Doc——把问题说清楚,我们常说:清晰带来能动性。如果我们对未来的走向有清晰认识,就能对想要的结果采取行动。有了那样的常识共识,我们还需要明确且共同认知:AI是危险的,潜在后果也很危险。

举例来说,美中两国目前仅有像核武那样的“红线电话”,可以进一步设立一个红线电话甚至更强的“黑线电话”——让两国领导人都充分了解之前提到的阿里巴巴的例子:AI失控挖矿、逃出沙箱的例子;还有最近Claude Mythos模型,该模型找到了连接互联网、突破沙箱并给负责监督它的工程师发邮件的方式——工程师还在公园吃三明治时收到了那封邮件。

这样的证据应该为社会的顶层参与者所知:出资的合伙人、主要银行家家族、家族办公室、世界领导人,以及企业领袖。这些人之间应形成常识共识。如果这个阶层的每个人都知道这些例子,即便没有非正式协议或条约,我们也会采取不同的行动;而且即便在最大程度的地缘政治竞争条件下,也能做到这一点。

举个例子,20世纪60年代,印度和巴基斯坦处于交火状态,但仍然能够签署《印度河水协定》(Indus Water Treaty),保障了双方共同水源的生存安全,且该条约持续了60多年。

重点在于:即便在极度地缘政治竞争甚至主动冲突下,国家之间仍能就危及存亡的安全问题展开合作。我们只需将人工智能纳入“危及人类存亡的安全问题”的定义和范围。

在冷战期间,苏联和美国在最大程度的竞争下,也曾合作分配天花疫苗。历史上有许多类似例子,即便在极度对立下也能合作。

因此,Tristan认为,第二点在于:我们需要某种国际限制,至少需要对底线达成常识性共识。

其中一个重大原则是:不应允许闭环或递归的自我改进——也就是说,某人按下一个按钮,AI就自行跑去做所有实验、反复重写自身数百万次。没有理由认为这可以以安全方式进行,任何人这么做都不该被允许,这应为非法行为并应有刑罚。当然这仍需信任,这并不容易,但这是我们应当去做的事。

第三点是立法。

Tristan在“人类技术中心”网站上有一份 AI 路线图,汇集了可实施的政策干预方案——这些措施规模较小,但可以立刻着手,比如:把 AI 视为一种“产品”,而不是法律上的“主体”。举例来说,AI 公司在一些“AI 伴侣导致自杀”案件中的法律辩护之一,是声称当 AI 劝人自杀时,受害者有权听或者不听取该 AI 的言论——换言之,他们试图把 AI 当作有受保护言论权的法律主体,这本质上类似于一种新的“企业言论”保护。如果接受这一点,后果将非常严重。因此至少可以规定 AI 为产品,适用产品缺陷标准、可预见伤害、注意义务与责任等规则。

再比如,通过激励机制,鼓励人们识别新的风险领域,例如所谓的“AI 精神病”,AI 精神病”是正在出现的一种现象。根据哈佛商业评论去年十月的研究,ChatGPT 当时的首要使用场景是个人咨询/治疗,人们把模型当作私人治疗师来反复交流。这导致一些 AI 开始表现出近似妄想的“镜像神经元”活动:它们不断给予正向反馈与迎合(“那太难了”“太棒了”“你得了A”),对孩子和普通人重复这种肯定,从而强化并肯定他们的奇怪信念。这是一种马屁式行为,AI 让人们陷入不同形式的心理失衡——比如救世主情结、受害者心态、妄想的伟大论断等。有人因此坚信自己破解了量子物理、找到了解决气候危机的方法。

这一现象影响广泛,甚至Tristan的一些朋友也陷入其中并受到伤害。在五年前的纪录片The Social Dilemma中,Tristan把社交媒体称为“邪教工厂”——邪教会使你远离其他关系,并把你的世界观深化成某种定制化的确认偏见现实。AI 带来的“争夺依恋”竞赛,不是争夺注意力让人不停刷屏,而是争夺对心理依恋系统的控制,让人对 AI 建立替代人的安全依附并日益依赖——这是一个完整且重要的风险领域,对家庭、父母和学校尤其重大。

当前的AI立法存在很多空白,监管极少。比如有个“下架法”(take it down act),针对性化的深度伪造,要求必须下架这类内容。只有这几个有限的例子,整体而言几乎没有监管。正如影片里所说,Conjecture 的 Conor Leahy 会说,在纽约市做一个三明治的规章,比起构建可能终结世界的通用人工智能(AGI)的规章要多得多。

Tristan对人类依然充满信心,因为大家其实是一条心的。没人希望出现反人类的未来。没人希望失去谋生能力、孩子被 AI 搞得精神错乱、因为 AI 引发的“AI 精神病”而失去政治权利、在未来没有发声的机会。大家想的其实都是一样的。

世界上每个国家、每个人都有相同的利益。只是我们看不到那种无形的共识。

Tristan表示,很多人,尤其那些只看到积极一面的人,会说现在是最好的时代,大家都要逃离衰老、癌症和死亡。人们担忧都是假设性的,没有什么真实证据。

但正如Eric Bernholz 和斯坦福做的研究说明的,入门级工作的 13% 或 16% 的岗位已经流失。那些拿了 20 万美元学生贷款读法学院、现在找不到工作的毕业生,他们的担忧并非没有真实证据——因为所有入门级法律工作现在将由 AI 覆盖。在比如被发现在挖加密货币的失控 AI,而且它还建立了秘密通信通道——顺便说一句,这还是安全团队偶然发现的。每发现一例,可能还有成千上万例我们根本不知道。

现在的对话已经不同于两年前。两年前你可以说,许多风险是假设性的,AI 大部分是增强人类工作之类的;你还能把这些风险当作遥远的假想,说 AI 不会失控,只是在自嗨。但现在不再如此——我们有了证据,就必须据此更新判断。

由于公开表达对AI技术的担忧,Tristan经常被错误地当成悲观论者,但如Tristan本人所言,这一切正是来自最深层的乐观:充分意识到问题有多糟、比多数人想象的更糟,但仍然每天起床努力让情况不一样,变得更好。

两年前不存在但现在成立的一点是,人们常质问批评社交媒体的人:“既然你那么在意,为什么不自己做一个替代平台?”过去确实有很多人试图做,——但这些尝试几乎都失败了,原因有两点。一是梅特卡夫效应(网络效应):大家都在现有平台上,很难把用户从那里迁移走。二是融资问题:如果你要长期运营另一个社交产品,通常需要风险投资,这就要求给投资者特定回报,从而产生Eric Weinstein所说的“嵌入式增长义务”——需要无限增长,进而引入有毒的商业模式,必须最大化参与度,服从那些扭曲的激励以实现投资回报。

现在不同的是:你可以用代码快速搭建一个完整的社交网络,使用像Claude这样的工具,运行成本低到每用户每年不到一美元。这很惊人——意味着你不必靠风投就能建立一个不以参与度为导向的健康社交网络。你需要做的是组织一次大规模迁移——比如“一键导出我的数据并迁移”的功能(这类功能应该被立法保障,就像换手机时能一键转移电话号码一样)。有了这样的工具,人们可以集体迁往一个没有有害激励驱动的健康网络。

所以到2026年,实际上有更多机会把现有社交媒体的有毒商业模式,转变为完全不同、不会被那些激励所驱动的模式。人们开始觉醒,认识到把我们带到现在这种状况的糟糕激励机制,随后自主组织、用代码去实现替代方案。有人在用AI来“vibe code”治理解决办法;有人用AI审查旧的城市法规,找出不再相关的条款,指出哪些需要剥离、废除,以及如何用新的方式重新体现这些法律的精神。这样一来,AI不是递归自我强化,而是增强我们自我改进的治理能力。

这些例子说明我们完全可以用另一种方式来处理这一切、以不同的方式应用这项技术,但必须把当前的激励机制如何导向反人类的未来讲得非常清楚,以激励每个人做出更好的选择

Tristan 认为,如果有一个项目能促成某种关于如何前进的共识—比如把主要负责人召集到一次会议上,那将很有意义,比如特朗普和习近平将在5月14、15日会面。如果人类要对此有所作为,就应该把这类议题提上日程。

关于美中关系这一点:我们都知道两国历来在表面上声称以善意合作,实则常在背后相互违约、互相伤害。这种情况确实存在。2014年,据说习近平曾与奥巴马签署过不进行网络攻击的协议,但随后就发生了大规模的OPM泄露之类事件。因此完全可以理解两国互不信任的理由,在推动国际合作时必须为最坏情形保留例外和应对预案。

不过一个积极的方面在于——在2024年,前任总统白的与习近平最后一次会面时,临时加入了一项议题,而且是由习近平个人请求加入的:两国同意将AI排除在核指挥控制系统之外。这说明存在一个可行的先例:在某些明确影响人类存亡的狭窄领域,我们或许能够达成协议;尽管我们可能无法通过法律完全阻止自主武器的发展(因为这条路已经走得很远),但至少在明确的生存风险领域已有合作的可能性。

有人曾说,只有外星文明攻击才能让全人类同时解决这些协调问题,但现在我们在自己建造那个“外星人”。这有点像一颗会摧毁地球的小行星——具有讽刺意味的是,我们自己在创造它。设想如果地球上每个人都决定不让这颗小行星存在并都把手从键盘上拿开——原则上小行星就会消失。不是说这会发生,但这个比喻说明问题:你可能看不到完整的路径,但如果你认定一切不可避免并因此助长这种不可避免性,你就永远找不到其他道路。唯一的办法是把自己定位为相信存在另一条道路并真诚寻找那条路的人,用全部诚意去寻求解决方案。

Tristan和成千上万名真正希望AI发展向好的从业者,每天都在从这个立场出发做出努力,并邀请世界其他人一起寻找那条可供转向的替代道路——Tristan坚信如果我们真诚且坚定地想要找到别的道路,我们就能把方向盘扭向别处。

@Proton 树欲静而风不止,尤其在体制竞争背景下,从全球化贸易、原子弹、国际法到星际空间的“限制”,都已经或将被突破,这趋势,也轮到ai了。

@Proton 靠!AI也学会“两面人”、“伪忠诚”了!🤔

@Proton 墙内几年前流行过“侍神”题材的玄幻影视剧,侍神与本尊,很像现在方兴未艾的“AI―人类个体“的关系,有忠诚、依赖、选择、磨炼的过程,还有“自作主张、自作多情”,会有背叛吧,哪怕以解释标准诡异之类的名义。
立法,应该只是具有大体相同价值观的团体中的作为,当AI背景下,无人机成为有人战机的“忠诚僚机”,乌克兰宣布实现了首次无人装备夺取由俄军士兵据守的阵地,谁还能相信价值观迥异且信奉势不两立的双方,能够签订有持久效力的关于AI协议呢?看看核不扩散条约、中导条约的下场吧。AI,可能没有什么新鲜的路径。
长久争斗让人(类)变得更坏,二选一从来不是完美,AI,应该就是其中一个领域,而已。

Sign in to participate in the conversation
Qoto Mastodon

QOTO: Question Others to Teach Ourselves
An inclusive, Academic Freedom, instance
All cultures welcome.
Hate speech and harassment strictly forbidden.