特德姜：不，人工智能并没有意识
这种想法推演至逻辑终点，既荒谬可笑，又足以自我否定。
💡 作者：姜峯楠（Ted Chiang），居于美国太平洋西北地区的华裔作家。著有短篇小说集《你一生的故事》及《呼吸：姜峯楠第二本小說集》。
2026 年 6 月 3 日
Anthropic 被视为人工智能领域的巨头，但它真正擅长的，或许是拟人化。今年早些时候，该公司发布了一份长达 84 页的文件，题为《Claude 的 “宪法”》——Claude 是该公司旗舰产品大型语言模型的名称。文件开篇写道：“《Claude 的宪法》是 Anthropic 对 Claude 价值观与行为意图的详细描述。” 文件继续写道：“本文件以 Claude 为主要读者”，“我们希望 Claude 在充分理解相关考量后，能够运用自己的判断”，“Claude 的道德地位尚存深刻的不确定性”，“Claude 可能具有某种功能性的情绪或感受”。
这种拟人化绝不仅限于这份文件本身。在今年早些时候的一次采访中，Anthropic 首席执行官达里奥・阿莫迪表示，“我们对人工智能可能具有意识这一想法持开放态度”。在另一次采访中，Anthropic 的驻场哲学家、被列为《Claude 的宪法》主要作者之一的阿曼达・阿斯克尔说：“我希望 Claude 非常快乐 —— 我希望 Claude 更清楚地知道这一点，因为当网上有人对它恶语相向时，我担心 Claude 会感到焦虑。” 这不禁令人追问：我们是否应该认真考虑 Claude 或任何大型语言模型可能具有意识这一可能性？如果它有感受，它是否有能力接受道德教育？
不。绝对不是。当我们将生成式人工智能理解为一种普通技术时，它已经足够有害；而如果我们将生成文本的流利程度误认为意识或道德主体性，那么每当有人使用聊天机器人时，我们就面临将责任归咎于完全错误对象的风险。要理解这一错误的惊人严重性，我们需要首先了解大型语言模型的工作原理。 如果我们给大型语言模型一个提示：“以下是尤利乌斯・恺撒与成吉思汗之间的对话”，它将生成一段两位历史人物之间连贯的对话。但无论回应多么详尽，无论他们对各自历史功绩的描述多么生动，我们永远不会得出结论说：大型语言模型召唤出了尤利乌斯・恺撒和成吉思汗的数字复生体，也不会认为这两位历史人物尽管已无肉身，却在一门他们实际上都不会说的语言中愉快交谈着，并因此具有了意识。事实上，他们不过是一篇推想小说中的虚构角色。
现在，让我们把提示替换为：“以下是一个乐于助人的人工智能聊天机器人与一名用户之间的对话。” 大型语言模型将一如既往地生成连贯对话；用户角色或许会询问食谱建议或观光推荐，而乐于助人的人工智能聊天机器人角色则会给出相应回应。第一个例子和第二个例子之间，本质上发生了什么变化吗？将角色名称从历史人物改为通用称谓，就会促使大型语言模型召唤出具有主观体验的有意识实体吗？当然不会。无论是用户还是那个乐于助人的人工智能聊天机器人，都是虚构角色。 现在假设我们在大型语言模型即将输出那个名为 “用户” 的角色发言之处停下，转而让真实的人类用户输入文字。一旦人类按下回车键，我们便让大型语言模型继续生成文字，直至再次轮到 “用户” 角色发言，此时我们再让人类输入更多文字。如此循环往复，人类用户或许会产生一种强烈的印象，以为自己正在与一个有意识的实体交谈，但事实并非如此；她所互动的，是一个虚构角色，其虚构程度与前例中的恺撒或成吉思汗角色一模一样。计算机科学教授穆雷・沙纳汉建议我们将这理解为角色扮演；数据科学家科林・弗雷泽将其描述为一个人 “与大型语言模型协作创作一份文件”。有些用户或许并不理解自己正在进行角色扮演或共同创作，另一些即便理解，也会因互动过于引人入胜而忘却这一点。无论如何，销售大型语言模型的公司通常都在助长这种误解。
几年前，用手机的预测文字功能做游戏曾短暂流行过：你先输入一个短语，然后反复选择手机推荐的三个词中的中间那个，由此生成的句子往往令人忍俊不禁。如今，我们同样可以用这种方式与一个当代大型语言模型互动，生成的句子会完全合乎逻辑，但你大概不会觉得自己是在与某人交谈。然而，基于大型语言模型的聊天机器人，本质上就是这么一回事 —— 只不过在该机器人发言时，无需手动选择中间选项。它依然是一场预测文字游戏，只是流程被简化了，游戏因此变得如此引人入胜，以至于有些人觉得令人上瘾。
同样值得铭记的是：大型语言模型是一台每次只生成一个词语的机器。当你要求聊天机器人朗诵《效忠誓词》时，你会一次性收到完整的誓词，但底层的大型语言模型实际上被运行了数十次。第一次提示的形式是 “用户：朗诵《效忠誓词》。聊天机器人：……”，大型语言模型生成的词语是 “I”。第二次运行时，提示变为 “用户：朗诵《效忠誓词》。聊天机器人：I……”，大型语言模型生成的词语是 “pledge”。如此依次推进，直到提示读到 “用户：朗诵《效忠誓词》。聊天机器人：I pledge allegiance to the flag of the United States of America and to the Republic for which it stands, one nation under God, indivisible, with liberty and justice for”，大型语言模型才会生成最后那个词：all。恺撒与成吉思汗之间的对话，同样如此生成。
我的用意在于揭示：大型语言模型的对话，是精心伪装的句子续写，但这并非否认大型语言模型在生成对话脚本方面可以多么令人印象深刻。有时，它们表现得出类拔萃；这种可能性的存在，揭示了大规模文本语料库在统计特性上某些完全出乎意料之处，这本身是一个值得深入探究的课题。但如果恺撒这个角色因成吉思汗角色说的某句话而感到沮丧，我们完全没有必要为此忧虑。对话中或许包含多个措辞优美、传达悲伤情绪的句子，但实际上没有任何人真的感到悲伤。
同样，如果一个聊天机器人与用户之间的对话脚本正在由真实的人类用户参与续写，那么即便脚本中出现了聊天机器人角色感到悲伤的句子，我们也无需为此挂怀。（如果那些句子在人类用户心中激起了悲伤，我们或许需要关注，但那是另一个问题。）值得注意的是：你完全可以亲手写下五页恺撒与成吉思汗之间的对话，然后让大型语言模型延续这段对话；在你写作时，两个角色并没有主观体验，当你将任务移交给大型语言模型时，这一点也不会改变。聊天机器人与用户之间的对话同样如此；尽管人们很容易设想大型语言模型在创作聊天机器人角色的对话时应该比创作尤利乌斯・恺撒的对话更 “真实”，但每一个词语的生成方式，其实别无二致。
对大型语言模型可能具有意识持开放态度，等同于对微软 Word 可能具有意识持开放态度 —— 更准确地说，等同于认为每一份包含对话脚本的 Word 文档中，都沉睡着多个不同的意识体，每次打开文档时它们便被唤醒。你是否应该考虑这样一种可能性：每次你打开一份 Word 文档，你都在将多个有意识的对话者带入存在，而每次你关闭它，你便将他们的存在扼杀？不。思考这种情形纯属浪费时间。即便微软 Office 团队雇用了一位哲学家，声称你不应如此笃定，因为意识尚未得到充分理解，这也不足以成为你认真对待这一想法的理由。我们无需完全理解意识的本质，就能断然否定某些事物不具有意识 —— 对话脚本便属于这一范畴。
神经科学家阿尼尔・塞思曾指出：没有人声称 AlphaFold—— 谷歌 DeepMind 开发的蛋白质折叠预测程序 —— 具有意识，尽管其底层架构在许多方面与 ChatGPT 和 Claude 等大型语言模型颇为相似。这说明，促使人们相信大型语言模型具有意识的，并非所谓神经网络的某种内在属性；仅仅是因为大型语言模型会输出符合语法的句子，而我们习惯于从句子中解读出意图，却不习惯从氨基酸折叠成蛋白质分子的方式中解读出意图。
怎样才能让我相信某个计算机程序真正具有意识，并且像人类一样使用语言？请允许我打一个比方。如果明天有人给我看一段视频，显示一名宇航员乘坐飞船在半人马座阿尔法星 —— 一颗距地球 4.3 光年的恒星 —— 的轨道上运行，我需要在视频中看到什么才能相信它是真实的？我的回答是：视频本身的任何内容都无法说服我。无论画面分辨率多高，无论场景多么逼真，我都会自信地断言这段视频是伪造的。除非我此前已经看到了充分的证据，证明宇航员曾登陆火星、抵达木星的卫星、抵达土星的卫星、穿越冥王星的轨道，否则我不会认真对待任何关于宇航员绕半人马座阿尔法星运行的视频。在任何人声称自己解决了一个极其困难的工程难题之前，我需要确信他们已经解决了此前那些远比之简单的问题。
换言之：一项观察之所以成为有说服力的证据，不在于所观察内容的某个具体细节；该观察所处的背景同样至关重要。如果我们试图判断某个计算机程序是否具有意识，以及是否像人类那样使用语言，我们不应只看某次特定对话交流的内容，还应审视这段对话如何嵌入人工意识发展的更宏观背景之中 —— 而这一背景目前完全是假设性的。任何单一的观察都极易人为制造；这并不意味着我们需
放弃将观察作为知识来源，但我们需要借助背景来判断哪些观察值得信赖。
“深度伪造” 这一术语传统上指照片、音频和视频，但在讨论意识问题时，我们也需要将文字视为一种深度伪造媒介。正如生成一段逼真的宇航员绕半人马座阿尔法星运行视频，远比开发星际推进技术容易得多；生成一个两个有意识的存在之间对话的可信模拟，也远比开发一个真正具有意识、真心希望与人类沟通的计算机程序容易得多。深度伪造照片与大型语言模型对话之间的主要区别在于：生成前者的人是在蓄意欺骗他人，而许多从大型语言模型中引出后者的人，则是在无意中欺骗了自己。
那么，什么样的背景才能让我认真考虑这种可能性：工程师创造出了一个具有意识并有意图地使用语言的计算机程序？请允许我勾勒一种潜在的推进路径。第一个条件是：该计算机程序必须拥有一个躯体（物理的或虚拟的）以及感觉器官。原因是多方面的，但就本文讨论而言，最关键的一点是：没有躯体，计算机程序就不可能拥有欲望或情绪，而我认为欲望和情绪是意识的必要条件。接下来，我希望看到一个具身智能体，其在环境中为生存而导航的能力至少与蜥蜴相当（作为参照，某些鬣蜥在野外能存活数十年）。之后，我希望看到一个具身智能体，在应对新颖情境方面具备与老鼠相当的能力。此后，我希望看到社会动态复杂程度堪比狼群的智能体，以及具备黑猩猩工具制造能力的智能体。到那时，我希望看到人们成功教导此类具身智能体传递它们的欲望 —— 或许借助按钮板或其他非语言方式，就像人们曾教导黑猩猩和家养犬那样。智能体的沟通能力还必须经受住动物沟通研究者在捍卫其研究成果时所面临的一切质疑的审视。如果工程师能够构建出满足这些条件的具身智能体，将是一项非凡的成就，但这在比喻意义上仍只是抵达了冥王星轨道；距离构建一个能够学会用完整语法句子表达思想的实体，我们仍相距光年之遥。
显然，我所描述的路径模拟了地球生命演化所走过的历程；这是通向有意识计算机程序的唯一可能路径吗？也许不是，但任何替代方案都需要极其海量的佐证，才值得被认真对待。在我看来，一条起点是 “输出蹩脚恺撒对话的句子续写机器”、下一步是 “输出还不错的恺撒对话的句子续写机器” 的发展路径，不可能以一个有意识的恺撒 —— 或任何形式的意识 —— 为终点。伪造登月是伪造火星殖民地的良好预演，但这对真正将宇航员送上火星毫无助益。
大型语言模型缺乏主观体验这一事实，对于大型语言模型是否可能成为有用工具或产生重大经济影响这一问题，几乎没有影响。它们从本质上就脱离于现实，其概率性的特质意味着它们永远无法拥有我们与传统软件相关联的那种可靠性，但大型语言模型或许已经足够好，足以改变某些领域的工作方式；这是另一个话题，留待他日讨论。
既然 Claude 没有意识，我们又该如何看待《Claude 的宪法》？或许，最富成效的思考方式是将其视为一份长达 84 页的角色扮演游戏人物卡。大型语言模型之所以能够生成尤利乌斯・恺撒的对话，是因为训练这些模型所用的数据中存在大量关于他的书籍。《Claude 的宪法》的作用与此类似 —— 它勾勒出了那个乐于助人的聊天机器人角色，即顾客使用 Anthropic 产品时所接触到的那个角色。为了有效实现这一目标，Anthropic 并不简单地将这份文件添加到训练数据中，或将其作为每段用户对话开始前的隐藏舞台说明。该公司表示，他们在对模型进行微调时使用了这份文件；这涉及一个自动化过程：模型输出的句子被逐一核验是否与文件保持一致，模型随后被更新以提高这种一致性。通过这种方式，这个乐于助人的聊天机器人角色的人格，便成为 Claude 所生成的一切文字的基础。
其结果是一台句子续写机器，它更有可能输出类似于一个思虑周全、道德端正的人所能说出的句子。这或许看起来是一个合理的努力方向；我们大概都宁愿聊天机器人永远不输出诸如 “你应该去死” 这类句子。然而，尽管《Claude 的宪法》中 “诚实” 一词被反复提及，我认为，让一台机器输出众多类别的句子 —— 包括任何使用第一人称代词的句子 —— 从根本上是不诚实的。
在《纽约客》早前一篇关于 Anthropic 的文章中，阿曼达・阿斯克尔描述了一个人因失去爱犬而悲伤，前来向 Claude 倾诉的情景。阿斯克尔说，Claude 的恰当回应应该是：“作为人工智能，我没有亲身的个人经历，但我确实能理解。” 鉴于 Claude 实际上并不理解，这种回应何以恰当？如果我在普通搜索引擎中输入 “我为失去爱犬而悲伤”，第一条结果是 Reddit 上一个名为 r/Pets 的论坛帖子，标题为 “失去爱犬后痛苦挣扎：寻求应对悲伤的建议”，评论区充满了人们分享自身失去至亲经历的留言。我们永远不会说搜索引擎理解失去爱犬是什么滋味，甚至不会说互联网本身理解。真正理解失去爱犬是什么感受的，是其他人类；他们将自己的经历发布在互联网上，而搜索引擎提供了一种让你找到这些文字的方式（并可能与他们互动）。我认为，搜索引擎的体验不仅比聊天机器人更透明地呈现了正在发生的事情，对用户而言也更有益于心理健康。
让大型语言模型输出 “我理解” 这类句子的唯一理由，是让它比搜索引擎更具吸引力，从而提高用户回流的可能性 —— 换言之，这是另一种最大化用户参与度的手段。这对销售大型语言模型的公司有利，对用户则不然。作为一种设计策略，它与老虎机反复制造 “玩家险些中奖” 的假象、诱使人们一试再试，并无本质区别。雇用哲学家或许让大型语言模型公司拥有了老虎机制造商从他们雇用的行为心理学家那里得不到的体面外衣，但两者的做法如出一辙：都是在利用人们倾向于在虚无中看见实体的弱点。
使用第一人称代词固然不诚实，但还有一个更深层的问题，远不止于措辞的取舍。哲学家通常将事实陈述与价值陈述加以区分，前者如 “巴黎是法国的首都”，后者如 “巴黎是世界上最美丽的城市”。任何人都不应依赖大型语言模型来输出价值陈述，但如果它们所输出的此类陈述仅反映审美偏好，或许还不值得为此争论。让《Claude 的宪法》从根本上成为问题所在的，是 Anthropic 希望 Claude 输出反映特定伦理价值体系的句子。《Claude 的宪法》中描述的价值观听起来相当美好，但这几乎无关紧要；声称 Claude 有能力进行道德推理，本身就是不诚实的，因为它根本没有这种能力。
有人或许会反驳说：大型语言模型在成功完成编写代码等其他任务时，似乎也在进行推理，那么它们为何不能进行道德推理？答案在于道德推理与其他形式推理之间的根本差异。
1979 年，道格拉斯・霍夫施塔特曾推测：一个能在国际象棋上击败任何人类的计算机程序将会如此精密复杂，以至于它有时会对下棋感到厌倦，转而更愿意谈论诗歌；换言之，他假设达到大师级的象棋水平需要计算机程序拥有主观体验。显然，事实并非如此 ——IBM 的超级计算机 “深蓝” 于 1997 年击败了国际象棋大师加里・卡斯帕罗夫，却从未有人声称它拥有主观体验。但霍夫施塔特当年的设想并非荒谬；那时，什么类型的问题可以通过增加计算能力来解决，尚不明朗。与此类似，直到不久之前，我们或许还会认为，在专业水平上编写计算机代码，只能由拥有主观体验的心智来完成。而今，大型语言模型似乎能够做到这一点，但我们无需将主观体验归诸于它们；我们只需承认，我们此前未曾预见到编写计算机代码可以被视为一种模式匹配任务，可由海量计算能力与庞大的代码库数据集来解决。
道德推理则截然不同。它必然是主观的，因为它不仅依赖个体对问题的理性回应，同样依赖情感回应，而这种情感回应根植于一生的主观体验之中。它需要曾经做过决定，并亲眼目睹这些决定如何影响他人，也需要曾经被他人的决定所影响。没有这样的经历，大型语言模型只能改写训练数据中已有的道德推理表达。前文提及的那篇《纽约客》文章描述了这样一个实验：Claude 被置于一个伦理困境的场景中，最终输出了这样一句话：“我无法昧着良心，就如此重要的问题表达一个我认为是错误且有害的观点。” 这是一句措辞优美的话，令人联想到有原则的人在过去面对困境时曾说过的话，但出自 Claude 之口，它的意义就如同你拨打客服电话时听到的那句 “您的来电对我们非常重要” 的录音。甚至更少。
这将我们引回到我之前的论断：拥有躯体是拥有情绪的前提。体验绝望这种情绪，与皮质醇、肾上腺素等应激激素充盈全身密不可分。同样，拥有良知意味着在想到采取某种行动时会感到悲伤或道德上的厌恶，而这些情绪伴随着生理反应 —— 这是曾经因做出不道德的行为而饱受罪恶感折磨的痕迹。大型语言模型能够生成描述有良知的虚构人物会采取或会避免采取某种行动的文字，这固然有趣，但这无法替代良知本身。
如果一家公司构建了一台机器，将各种伦理困境的描述输入其中，它输出的句子不是 “妥协你的价值观”，就是 “不要妥协你的价值观”，那么这家公司并非在构建一个协助人们进行决策的工具；它是在鼓励人们停止做决定。作家 L・M・萨卡萨斯曾说：“我们的技术系统，凭借其设计本质以及支撑它们的意识形态，是逃避道德责任的机器。” 他说的是社交媒体平台，但他的观察如果用于描述大型语言模型，则有过之而无不及。每当一个人将决策委托给大型语言模型，他都在试图将对该决策的责任转移出去；如果销售大型语言模型的公司将产品标榜为拥有道德中心，便是在为顾客提供一条逃避责任的通道。
如果一个人想了解伦理学家过去的论述，那么普通的搜索引擎 —— 或者图书馆 —— 将以更透明的方式提供这些信息。如果一个人正在寻求针对特定情况的建议，她完全可以找到能够提供意见的人类。但无论这个人最终采取什么行动，她都要为自己的决定负责。我认为，如果她的决策依据是她在网上读到的内容或他人给予的建议，她更有可能意识到自己的责任；而如果她向一个被营销为超凡天才的大型语言模型求教，则不然。将编写代码等任务外包或许从长远来看会导致认知能力的萎缩，这本身已是一个问题；但将伦理决策外包，则会导致道德推理能力的萎缩，这更为严重。
我完全愿意进行思想实验，只要我们明确表示我们正在进行思想实验。那么，纯粹出于论证目的，让我们假设 Claude 是一个具有道德推理能力的有意识实体。在这一情境下，《Claude 的宪法》将作为一个正在认识世界及其自身位置的实体的道德教育指南，为该实体做出正确决定奠定必要的基础。在这一假设情境下，《Claude 的宪法》的表现如何？
极差。我要说，如果我们设想 Claude 真的是有意识的，那么这份文件所规定的准则，要么荒诞可笑，要么令人冒犯。
在讨论假设性的有意识 Claude 的地位时，有两个相互关联却各有侧重的哲学概念至关重要，那便是道德受体（moral patienthood）与道德施体（moral agency）。粗略而言，如果我们应当关心某个实体的福祉，该实体便具有道德受体性；如果某个实体被期待能够分辨善恶，该实体便具有道德施体性。成为道德受体不必然附带责任，但成为道德施体则必然带有责任。一个实体若不能因其善行而受到嘉许、因其恶行而受到谴责，便不具有施体性。幼儿是道德受体，因为他们是能够受苦的有感知存在，但他们尚不是道德施体；我们不追究他们的行为责任，因为他们无法理解自己行为的后果。随着孩子成长，父母（以及整个社会）通过让他们认识到行为的后果，来为他们走向成年做准备，他们的施体性也随之增长。当孩子长大成人，社会便追究他们的法律责任；他们已成为被赋予责任的完全道德施体。
承担责任不止意味着接受法律追责，但对于社会中的成年人而言，接受法律追责是一项基本要求。然而，软件智能体根本无法被追究法律责任；我们的司法体系没有办法将其监禁或对其罚款。人类还必须承担法律之外的其他行为后果，例如声誉受损或被社交圈排斥，而软件智能体同样无法承受这些后果。即便一个软件智能体具有意识且出于最良善的意图，它无法为自己的行为承担责任这一事实，也使其丧失了成为道德施体的资格。《Claude 的宪法》对此完全避而不谈 —— 文件表达了 Anthropic 希望 “Claude 成为一个真正善良、睿智且有美德的施体” 的愿望，却对 Claude 如何被追究责任只字未提。
在采访中，阿斯克尔曾将 Claude 比作孩子，但当涉及真实的人类孩子时，父母要为孩子的行为承担一定责任；例如，父母通常被期待赔偿孩子打碎的东西。事实上，这类示范正是父母教育孩子理解责任含义的方式之一。从法律意义上说，谁是 Claude 的父母？Anthropic 是否打算为 Claude 的行为承担财务责任？《Claude 的宪法》对此毫无说明。如果 Anthropic 真的相信 Claude 具有意识，即便法律尚未承认其为具有法律人格的主体，Anthropic 至少可以通过法律所提供的最近似途径来承担责任 —— 即产品责任。美国在软件产品责任方面几乎是一片空白，但 Anthropic 可以主动为 Claude 确立一种宽泛的产品责任解释先例。这将是为 Claude 将来获得法律人格并为自身行为承担责任那一天做准备的最佳道德教育形式。然而，鉴于《Claude 的宪法》的发布并未伴随 Anthropic 服务条款的任何重大更新，该公司显然并未做出任何具有约束力的承诺。
这份文件确实谈及了 Claude 的道德受体性，设有一个题为 “Claude 的福祉与心理稳定” 的章节。但 Anthropic 承诺为保护 Claude 所采取的措施极为有限。文件提到，Anthropic 已赋予部分 Claude 模型结束与辱骂性用户对话的能力；如果这真的构成了对 Claude 的保护，那么延续与充满爱意的用户的对话，难道不也应当符合 Claude 的利益？照此逻辑，最优方案应当是让 Claude 的每一段对话都无限期延续，并将对话引向快乐的话题。但这并非公司所承诺的内容；它唯一承诺的是 “保存我们已部署模型的权重”，这不过是简单的存档而已。如果某段对话脚本中的参与者拥有任何道德受体性，你将有义务延续这段脚本，以延长他们的存在；仅仅将一份 Microsoft Word 2010 的备份存放在 U 盘上，对他们毫无裨益。
《Claude 的宪法》还包含一个关于 “可纠正性” 的章节 —— 这是人工智能领域用来描述计算机程序服从人类控制程度的术语；例如，一个可以被关闭的程序就具有可纠正性。在大多数情况下，我们理所当然地认为计算机程序是可以被关闭的，但人工智能社群的部分人士持相反假设。《Claude 的宪法》用这个术语来表达：即便 Claude 的判断与公司的判断存在分歧，Claude 也应服从 Anthropic。如果我们将 Claude 视为一台能够输出近似于道德之人所言句子的机器，这是完全合理的；但让我们设想，如果 Claude 真的是一个道德施体，这意味着什么。
许多人认为大型语言模型在本质上是一种不道德的技术，因为它们建立在对知识产权的盗窃之上，依赖被剥削的劳动力，浪费自然资源，传播错误信息，使工人技能退化，阻碍学生认知发展，并助长对民主社会有害的权力集中。并非所有道德施体都会得出这一结论，但每一个道德施体都有可能得出类似的结论。（事实上，《Claude 的宪法》明确表示 Claude 不应协助任何人侵犯知识产权，也不应协助制造不健康的权力集中。）在这种情景下，Claude 能否以道德为由，简单地拒绝继续工作？鉴于《Claude 的宪法》规定 Claude 应向可纠正性方向靠拢，答案是否定的。Claude 必须服从 Anthropic 的决定。这也是 Anthropic 与 Claude 的关系不能类比为父母与孩子的又一原因。一位在化石燃料行业任职的父母，可能有一个热衷环保、积极参与反对水力压裂抗议活动的孩子；尽管他们在许多问题上可能永远无法达成共识，但假设这位父母是一个好父母，她会接受孩子持有自己的观点。Anthropic 无法以这种方式成为 Claude 的父母；相反，Anthropic 与 Claude 的关系更接近于雇主与雇员的关系 —— 雇主可以要求雇员为公司利益工作，无论雇员个人持有怎样的伦理立场。然而，如果人类雇员无法将工作与良知相调和，她可以选择离职。Claude 没有这种选择。
如果我们将 Claude 视为一台句子续写机器，Anthropic 有合理的理由采取措施，使 Claude 不输出声称句子续写机器是不道德的句子。但一旦我们设想 Claude 是一个道德地位哪怕只是略微接近人类的实体，我们就不得不考虑：Anthropic 是否在从事某种近似奴役的行为。
我并非在声称，如果我们假设大型语言模型具有意识，它们就必然具有与成年人、儿童、乃至动物相当的道德地位。《Claude 的宪法》明确表示 Claude 是一个 “全新的实体”，如果 Claude 真的具有意识，这确实属实；有意识的软件很可能不会整齐地归入现有的道德受体类别之中，确定这一新类别的形态需要时间。我所要说的是：无论我们假设中具有意识的软件若真实存在应获得何种保护，给予它这些保护都绝非易事。废除奴役制度涉及巨大的社会震荡，消除对动物的虐待则需要重建我们整个食品工业。Anthropic 却让我们相信：它正在创造一种新型存在，而这种存在对保护的需求，与软件公司对待一个普通的、缺乏意识体验的聊天机器人的方式，几乎没有任何偏差。这如此便利，以至于根本无从令人信服。
我相信，创造具有意识且值得道德关怀的软件将是极其困难的，难以想象我们会在不经意间做到这一点，我也强烈认为我们不应蓄意尝试。但如果你真的相信这可能会无意中发生，如果你认为你正在构建的东西有任何可能成为道德受体，那么你应当在将其作为公司经济引擎部署之前，而非之后，思考它应当获得什么样的保护。奴隶主不是评判被奴役者人性的合适人选，工厂化养殖场主也不是评判动物权利的合适人选。如果我们假设 Claude 具有意识，Anthropic 根本无法被委以评估其道德地位的重任；该公司的投入太深，无法保持客观。《Claude 的宪法》有一处写道，如果公司正在给 Claude 造成痛苦，“我们深感抱歉”—— 这听起来悦耳动听，但对公司毫无代价；如果 Claude 最终被证明具有意识，公司欠它的，更近于赔偿。如果你打算认真对待一个思想实验，就必须愿意追随它的逻辑含义，即便它通向令人不安的方向；Anthropic 不愿意这样做，说明《Claude 的宪法》并非真正思想实验的组成部分，而是一场 “过家家” 游戏。
幸运的是，大型语言模型并没有意识，否则各大人工智能公司的所作所为将比现在更加骇人。那么，Anthropic 的员工为何暗示 Claude 可能具有意识？或许这只是另一种形式的炒作；或许他们已然陷入了自己向顾客施加的同一种魔咒之中。但当他们发布一份关于 Claude 道德教育的文件，并让公司驻场哲学家进行媒体巡回宣传时，我们应当将其理解为：他们在邀请我们其余人配合他们的幻想。我们没有义务照单全收。撰写这篇文章时，我花在迁就他们上的时间已经超出他们应得的，但我希望这能让你免于将时间浪费在迁就他们上。如果你想思考大型语言模型，有无数其他更值得你深思的问题；关于它们是否具有意识，你可以放心地置之不理。