这几天最重要的 AI 新闻，无非是 Google 又向 Anthropic 这家公司砸了 20 亿美元资金。

Anthropic 是推出了「可与 ChatGPT 匹敌」AI 模型 Claude 背後的公司，由 OpenAI前研发主管 Dario Amodei 在 2021 年创立。2022 年，Anthropic 便已获得 Google 的 3 亿美元投资，亚马逊（Amazon）亦在今年 9 月宣布投资 40 亿美元。Anthropic 的共同创办人 Daniela Amodei 最近则是又向 CNBC 证实，Google 确实再加码了 20 亿美元。

Anthropic 的核心精神

Anthropic 的其中 2 位创办人：Dario Amodei（40 岁）以及 Daniela（36 岁） 是一对兄妹，并且分别担任 Anthropic 的执行长以及总裁。其它 5 位创办人也都来自 OpenAI，这些人对於为何离开 OpenAI 指出，「从一开始就在模型安全性方面有着不同的愿景」。

Claude 通常被媒体描述为可与 ChatGPT 匹敌，随後的更新版大模型 Claude 2 也被视为是 GPT-4 的强劲竞争对手——可支援输入 100K token 资料内容长度（相较之下，GPT-3.5 Turbo 为 16K Token；GPT-4 为 32K token），这相当於一整本书的资料内容长度。这款可以完全免费使用的 AI 工具向公众开放了竞争对手需要付费才能拥有的功能，其他还包括可上传多个档案、从 PDF 取出文字、产生摘要等能力。

不过其中最引人注目的「理念」，也是 Claude 的核心设计精神，即是确保 AI 与人类的价值观「保持一致」（aligned，此概念又称人工智慧对齐），这也是 Anthropic 内部的开创性研究——机械可解释性／模型解释能力（mechanistic interpretability），目的是希望让开发者可以进行类似於大脑扫描的操作，以了解 AI 系统的内部「到底发生了什麽」，就像试图解开机器的思考过程，看看它是如何达到结果的，这种方法是基於机器学习模型的内部机制，而不是仅仅关注模型的输出。

这也是为什麽 Claude 会在今年 8 月机器学习监控平台 Arthur AI 所进行的「幻觉」竞赛中，展现出最可靠的自我意识。这意味着这个 AI 模型能够精确地知道自己知道什麽，同时也知道自己不知道什麽，并且只回答「有训练数据支持」的问题。 Anthropic 亦将自己定义为「人工智慧安全研究实验室。」

人工智慧对齐（AI alignment）为何重要？

要达成人工智慧对齐，要透过 Anthropic 自主研发的「合宪 AI」（Constitutional AI）训练技术。这是一种让开发者明确指定其系统应遵守的价值观（也就是宪法），来将「AI 是否能够做某件事」的问题，和「AI 是否『应该』做某事」这类更具政治争议的问题分开来。

Dario 指出，另一种使 AI 与人类价值观对齐的方式被称作人类反馈强化学习（，reinforcement learning from human feedback，RLHF）通常会导致上述两种问题搞混在一起。卡内基美隆大学最近的研究表明，接受过更多 RLHF 训练的聊天机器人往往会比没有接受过 RLHF 训练的聊天机器人给出更自由派的社经答案。这可能是因为训练过程通常会奖励模型的包容性和无害性。

「我认为将技术问题与价值观辩论分开很有用。」如此一来，便可以更清晰地了解 AI 模型是否遵循了宪法，而不必过多地讨论宪法中的价值观。过去，这两个问题常常混淆在一起，导致有关 AI 系统运作方式和应该如何运作的讨论变得不那麽有建设性。

 Anthropic 会否与 OpenAI 走向相同道路？ 

自微软投资了大量资金在 OpenAI 後，该非营利组织是否真正独立就引发了许多讨论。马斯克（Elon Musk）就在今年 3 月时指出，OpenAI 已从一个开源的非营利组织变成了闭源的营利性组织。

Anthropic 现在也面临相同问题。为达成其愿景，7 位创办人将 Anthropic 设立为一个公益公司（public benefit corporation），也就是其主要目标是追求社会和公共利益，这意味着它们可以赚钱，但必须在实现社会目标方面保持透明和负责任。

不过，随着 Google、亚马逊（Amazon）向 Anthropic 投注更多资金，目前 Anthropic 在作为公司运营以及达成其 AI 安全的理想之间，看来仍然是个待解决的问题。

核稿编辑：Chris

快加入 INSIDE Google News 按下追踪，给你最新、最 IN 的科技新闻！