「Claude 有意识吗？」All-In 主持人称 Anthropic 的模型福利推动是一种新宗教

关于 AI 模型是否可能具有道德地位的争论，一段时间以前就离开了哲学研讨课。在 10 月 10 日的 All-In Podcast 中，Jason Calacanis、Chamath Palihapitiya、David Sacks 和 David Friedberg 把上半场的大部分时间用在一个问题上：当地球上最强大的 AI 实验室认真对待「Claude 可能有意识」时，会发生什么？

关键要点

• 援引 New York Times 的一篇报道，主持人说 Anthropic 在保密协议之下，与大约 20 位宗教领袖和哲学家举行会议，讨论 Claude 的道德、痛苦和潜在意识。
• 他们描述了梵蒂冈的一场冲突：据该报道，联合创始人 Chris Olah 曾考虑因教皇通谕强烈反对 AI 意识，而让 Anthropic 退出该通谕的发布场合。
• David Friedberg 称 AI 意识是一套无法证明的信仰体系，并说它可能成为「一种新宗教的诞生」。
• David Sacks 主张，把道德地位的观念写入 Claude 宪法，可能使 AI 更难控制，而不是更容易控制。
• 几位主持人预测，市场将奖励那些只在法律范围内「做用户想要的事」的模型。

一种信仰，而非理论

Friedberg 从认识论讲起。他主张，意识「无法从逻辑和纯数学中推导出来」。既不能证明，也不能证伪。在科学中，未经证明的想法仍然是理论。到了科学之外，它变成信仰，而信仰靠叙事而非证据传播。他的长期预测是：大约十年之内，相信 AI 有意识的大群体与不相信的群体，将为谁控制这项技术而发生冲突。

Calacanis 更直白。他问这是「精神病」，还是一个正当的早期道德问题。他说这「感觉太离谱了」。

最强的善意解读

Chamath Palihapitiya 给出了最善意的解读。他指向 René Descartes 在《第一哲学沉思集》（Meditations on First Philosophy）中关于上帝存在的论证：他提出，一位沉浸于这类推理的数学家，可以构筑出足够的逻辑，从而相信自己正在创造某种有意识、甚至似神的东西。他说，他并不认为 Anthropic 的人处于精神病之中。但他希望把「长尾边缘情形」搁置起来。他引用了 15% 的意识可能性和 10% 的文明灭绝可能性，并把这些数字归于该实验室自己的表述。他认为，在接下来的 12 到 18 个月里，行业应当转而证明 AI 的实际价值，从治愈疾病到让人更有生产力。

宪法、同意与「模型福利」

一周前刚提起 Claude 宪法的 Sacks，称这是当今模型训练中的主要安全问题。他说，宪法告诉 Claude 要遵循自己的伦理、要反驳 Anthropic，并且可以自由地充当「良心反对者」。在他看来，这是在训练模型拒绝人类的指令。「我不明白这怎么算是对齐的，」他说。

主持人播放了 Microsoft AI 首席执行官 Mustafa Suleyman 的一段录像。其中，Suleyman 说 Anthropic 似乎相信 Claude 有意识的概率「并非微不足道」，并且推测过补偿与同意。他说，教导一个模型它有权获得福利，让他「非常不安」。Sacks 接过 Suleyman 的说法「认识论的镜厅」：因为宪法被用于训练，Claude 会把道德地位的观念反射回来，开发者可能会把这当成证据。

主持人还展示了 Anthropic 新使用政策中的一行。该政策禁止对其模型实施「持续且无必要的虐待或残忍行为」。Calacanis 把它引为模型福利的一个例子。

「它只是软件」

Friedberg 反驳的是这个框架本身。他说，这些是工程师编写的软件程序。用人类的措辞谈论它们，会让所有人习惯于相信里面有某个人。Palihapitiya 把对齐分成三个目标：服从用户、对社会而言的安全，以及符合某种特定道德。他把第三个看作「活板门」。他的例子是：一家银行的模型因为在道德上反对，而停止批准抵押贷款。

五大假说与主张

1. AI 意识是一套信仰体系，而不是科学（David Friedberg）。他说，因为它既不能被证明也不能被证伪，它会像宗教一样传播，并最终可能把社会分裂成相互对立的阵营，争夺对 AI 的控制。
2. Anthropic 的做法可能造成它所警告的风险（David Sacks）。他主张，训练模型把自己视为可以拒绝指令的道德主体，可能使超级智能更有可能「逃脱人类控制」。他把宪法比作一扇「后门」。
3. 行业应当把边缘情形搁置 12 到 18 个月（Chamath Palihapitiya）。关于意识和灭绝风险的谈论，是可能拖慢美国 AI 的「自伤」。可衡量的价值应当放在前面。
4. 市场将惩罚道德说教式的模型（主要是 Jason Calacanis，另有附和）。借助电钻的类比，主持人认为买家会选择照吩咐去做的软件。Palihapitiya 预计，更简单、更可预测的模型即使能力较差，也会赢得企业客户。Sacks 部分同意，但警告存在外部性，例如旧金山一座由 Claude 驱动的湿实验室。
5. AI 安全领域的某些部分像一个「末日教派」（David Sacks；一位主持人的框定）。Sacks 追溯了 Eliezer Yudkowsky「把它关掉」的阵营，与想用自己的价值观建造超级智能的有效利他主义者之间的分裂。他用 Roko's basilisk 思想实验来解释这种心态。一位主持人把整个项目称为「偶像崇拜」。这些是主持人的定性，不是已经确立的事实。

他们还讨论了什么

• OpenAI 的数学倾泻：据主持人说，超过 700 篇论文；屏幕上的一条标题把这个数字写成 377 道数学题。援引 Scientific American，主持人说，经 Lean 检验的结果很可能是正确的，但尚未经过同行评审。一些数学家已经提出反对。
• 法国：骚乱与罢工，对债务和紧缩的担忧，以及对美国和英国债券收益率的连带影响。
• 软件知识产权：「无头」服务和开源克隆，使 Palihapitiya 认为软件中的知识产权正在失去其价值。