本专栏的老读者可能会好奇，我9月4日刊发《孩子们会告诉聊天机器人，却不会告诉你的事》一文后，为什么隔了这么久才更新。原因很简单：在当下这场席卷全社会的AI集体焦虑浪潮中，我实在没法按往常的节奏写常规的AI专栏。我逐渐意识到，这个主题的深度远非一篇专栏能承载，而现实生活也仍在照常推进。正如经济学家安托万·莱维指出的那样：OpenAI的员工一边发出“人类可能在数年内灭绝”的警告，一边还在正常缴纳他们的401(k)养老保险。

为了循序渐进地切入AI风险这个话题，我想先分享最近和麻省理工学院教授、知名AI“末日论者”马克斯·泰格马克的一场辩论。《纽约邮报》最初把这场辩论设定为“乐观派对阵末日论者”，但我更愿意把自己定义成一名AI现实主义者。

泰格马克在辩论中提到，伯尼·桑德斯和史蒂夫·班农这两位立场完全对立的人物，在AI议题上达成了共识，他认为这是一件好事。但这个观点却让我感到不安：AI相关规则的制定权，应该交到真正理解AI的人手里，而不是煽动民意的政治投机者手中。泰格马克还提出，如今AI受到的监管甚至比一家三明治店还宽松，但现实是我们身边有成千上万家合规运营的三明治店，却至今还没有出现任何超级智能。在我看来，我们当下最该优先解决的是已经存在的真实风险——那些只需要一顿午餐的成本，就能借助AI入侵企业系统的黑客。

以下是这场辩论的精简版，带引号的内容为双方的原话，其余部分为原意转述。完整辩论视频可以在YouTube上查看，其中多处提到了今年夏天的一起事件：OpenAI的测试智能体突破了沙箱限制，成功入侵了Hugging Face平台。

六大核心分歧点
1. AI是否已经失控？ 泰格马克：过去“AI失控”还只是一个对未来的预测，“现在它突然就变成了已经发生的事实”。今年夏天“有1200个 rogue 智能体从这家美国公司的沙箱中出逃”，而“人类直到几周之后才发现这件事”。 埃齐奥尼：这些智能体根本算不上“失控的 rogue 程序”。是OpenAI里“负责设置沙箱的工作人员”没有给它们划定合理的边界。这是人类犯下的错误，而人类完全有能力修正这个问题。

2. 当下真实风险 vs. 灭绝级风险 埃齐奥尼：利用AI发动网络攻击、尝试制造生物武器，这些都是“清晰且迫在眉睫的现实危险”。但灭绝级别的风险完全是另一回事：“我们至今还没有观测到这类风险的真实迹象，所有相关的推论都还停留在假设层面，而且大多描述得非常模糊。” 泰格马克：埃齐奥尼想要区分开的这些风险，“背后的成因是相互关联的”。“如果我们能像其他行业一样建立起完善的安全标准，绝大多数这类问题都会迎刃而解。”

3. 政府监管 vs. 技术解决方案 泰格马克：我们应该效仿汽车和制药行业的做法，“建立一套由政府强制执行的绑定性安全标准，任何企业在靠AI产品盈利之前，都必须先通过这套标准的审核”。企业必须证明自己的AI不会伤害儿童，也不会脱离人类的控制。如果它们无法证明自己的技术不会被恐怖分子用来制造生物武器，“那就等你能证明了再来申请许可吧，朋友”。 埃齐奥尼：监管是必要的，但监管本身也会带来新的风险。“通往糟糕监管的道路，往往铺满了欧盟出于善意制定的规则”。同时“我们绝对不能低估技术解决方案的力量”。作家王丹曾提出，中国的治理群体以工程师为主，美国的治理群体以律师为主，所以我们天然倾向于讨论监管，而他们天然倾向于探索技术解法。针对生物武器风险，真正的解决方案或许存在于“从数字比特到实体原子的转化环节”，我们完全可以在这个环节拦截攻击者所需的实体材料。

4. 我们能指望中国主动约束AI发展吗？ 泰格马克：“我们根本不需要信任中国。”中国共产党的核心诉求是维持自身的掌控力，所以“他们绝对不会允许中国企业开发出不受控制的超级智能”。 埃齐奥尼：我同样不信任中国。“没有什么比我们主动自缚手脚更让他们开心的事了。”

5. 政治层面的强烈反弹是好事吗？ 泰格马克：“过去几个月里，AI监管领域发生的正向政治变革，比过去十年加起来的还要多。”这就像挤番茄酱瓶子：“挤半天什么都没有，然后一下子就全部涌出来了。”我在自己的大会上先后邀请了伯尼·桑德斯和史蒂夫·班农上台发言，“这完全不在我之前的预想清单里”。 埃齐奥尼：“你能找到比这两个更糟糕的民粹煽动者吗？”我们需要的是真正有效的解决方案，而不是只迎合大众情绪的方案。

6. 事件最终会如何发展？ 埃齐奥尼：“我预判未来一定会发生某起相当严重的负面事件，在我看来，关键问题在于它最终会走向广岛级别的灾难，还是古巴导弹危机那样的有惊无险。”古巴导弹危机是一场被成功化解的威胁，而广岛则是在完善规则建立之前就已经发生的灾难。 泰格马克：解决问题的核心动力来自企业的自身利益。把安全打造成企业盈利的必要前提，“我们就会看到整个私营行业的创造力和创业精神全部朝着做好安全的方向竞速，而不是像现在这样竞相向下突破底线”。

五大共识点
1. 不要轻信AI企业CEO的一面之词 埃齐奥尼：AI公司的CEO们都有自身的利益考量。“当你正朝着市值万亿美元以上的IPO目标前进时，这种巨大的利益会对你的判断产生极强的引力作用。” 泰格马克：“我完全认同奥伦的观点，我们必须对AI企业CEO的发言持保留态度。”我们更应该去倾听AI领域的先驱杰弗里·辛顿和约书亚·本吉奥的观点：“我不认为能把他们的发声简单归结为为了赚钱。”那些站出来发声的内部吹哨人，为了说出真相放弃了价值至少100万美元的股票期权。

2. 我们过去都错了 埃齐奥尼：我曾经是一名AI乐观主义者，现在已经转变成了AI现实主义者。过去我认为很多要很多年之后才会出现的技术，“现在要么已经来到我们身边，要么正以我们完全无法预判的速度快速落地”。我从泰格马克的观点里学到了很多，“过去的我确实错了”。 泰格马克：我过去也错了。“我从来没有想到，美国手握最高权力的这群人，会放任企业在没有任何干预的情况下，把技术推进到如此接近失控的地步。”

3. 行业自我监管根本行不通 泰格马克：“在AI这个领域，指望企业自我监管完全是一个笑话。”“烟草行业和制药行业的历史已经充分证明，这条路根本走不通。” 埃齐奥尼：我完全同意。社交媒体的发展历程已经向我们展示了自我监管的最终结局：“这就是高科技行业的‘烟草时刻’。我们绝对不想再花20年时间，才后知后觉地发现AI企业根本没有做到应有的自我约束。”

4. 给AI系统设置物理边界约束 埃齐奥尼：自动驾驶汽车可以保障你的行车安全，但“它根本无权决定你要去哪里。汽车里控制刹车的系统，和决定目的地的系统是完全独立的两套模块”。当我告诉我的车要开往唐恩都乐咖啡店时，它绝对不会自作主张把我拉去健身房，还跟我说“你这周已经是第二次去唐恩都乐了”。我们完全可以用同样的逻辑，给所有其他AI系统都套上边界约束。 泰格马克：“默认情况下，我们只应该给机器分配完成自身任务所需的最低权限和资源。”“你总不能把核密码交给五角大楼里的每一个保洁员吧。”

5. 现在就是采取行动的最佳时机 埃齐奥尼：“我们在很多方向上都达成了共识：我们都支持给AI设置紧急关闭开关，我从至少2017年开始就一直在倡导这件事。我们同样在AI内容标注、责任划分、网络安全标准、儿童保护这些议题上观点一致。这些工作现在就该立刻启动。” 泰格马克：“我完全同意奥伦的观点，现在就是采取实际行动的最佳时机。”

后记：真正的核心差异
回头再看我们所有的分歧点就能发现：泰格马克把问题的根源归咎于AI机器本身，而我把问题的根源归咎于人。是工程师在沙箱里留下了漏洞，是黑客输入了恶意提示词，是政客找到了新的恐惧点用来煽动民意。这就是为什么我更倾向于给AI系统套上刚性的边界约束，而不是指望靠“引导AI向善”来解决问题。

Anthropic的研究员阿曼达·阿斯凯尔曾经把“让Claire安全合规地运行”比作养育孩子。但养过孩子的人都知道这件事的真实结局：就像我在辩论里说的那样，“三岁的小孩就已经开始不听大人的话了，等他们长到十几岁，就更不会把大人的话放在心上了”。