这几天最重要的 AI 新闻,无非是 Google 又向 Anthropic 这家公司砸了 20 亿美元资金。
Anthropic 是推出了「可与 ChatGPT 匹敌」AI 模型 Claude 背後的公司,由 OpenAI前研发主管 Dario Amodei 在 2021 年创立。2022 年,Anthropic 便已获得 Google 的 3 亿美元投资,亚马逊(Amazon)亦在今年 9 月宣布投资 40 亿美元。Anthropic 的共同创办人 Daniela Amodei 最近则是又向 CNBC 证实,Google 确实再加码了 20 亿美元。
Anthropic 的核心精神
Anthropic 的其中 2 位创办人:Dario Amodei(40 岁)以及 Daniela(36 岁) 是一对兄妹,并且分别担任 Anthropic 的执行长以及总裁。其它 5 位创办人也都来自 OpenAI,这些人对於为何离开 OpenAI 指出,「从一开始就在模型安全性方面有着不同的愿景」。
Claude 通常被媒体描述为可与 ChatGPT 匹敌,随後的更新版大模型 Claude 2 也被视为是 GPT-4 的强劲竞争对手——可支援输入 100K token 资料内容长度(相较之下,GPT-3.5 Turbo 为 16K Token;GPT-4 为 32K token),这相当於一整本书的资料内容长度。这款可以完全免费使用的 AI 工具向公众开放了竞争对手需要付费才能拥有的功能,其他还包括可上传多个档案、从 PDF 取出文字、产生摘要等能力。
不过其中最引人注目的「理念」,也是 Claude 的核心设计精神,即是确保 AI 与人类的价值观「保持一致」(aligned,此概念又称人工智慧对齐),这也是 Anthropic 内部的开创性研究——机械可解释性/模型解释能力(mechanistic interpretability),目的是希望让开发者可以进行类似於大脑扫描的操作,以了解 AI 系统的内部「到底发生了什麽」,就像试图解开机器的思考过程,看看它是如何达到结果的,这种方法是基於机器学习模型的内部机制,而不是仅仅关注模型的输出。
这也是为什麽 Claude 会在今年 8 月机器学习监控平台 Arthur AI 所进行的「幻觉」竞赛中,展现出最可靠的自我意识。这意味着这个 AI 模型能够精确地知道自己知道什麽,同时也知道自己不知道什麽,并且只回答「有训练数据支持」的问题。 Anthropic 亦将自己定义为「人工智慧安全研究实验室。」
人工智慧对齐(AI alignment)为何重要?
要达成人工智慧对齐,要透过 Anthropic 自主研发的「合宪 AI」(Constitutional AI)训练技术。这是一种让开发者明确指定其系统应遵守的价值观(也就是宪法),来将「AI 是否能够做某件事」的问题,和「AI 是否『应该』做某事」这类更具政治争议的问题分开来。
Dario 指出,另一种使 AI 与人类价值观对齐的方式被称作人类反馈强化学习(,reinforcement learning from human feedback,RLHF)通常会导致上述两种问题搞混在一起。卡内基美隆大学最近的研究表明,接受过更多 RLHF 训练的聊天机器人往往会比没有接受过 RLHF 训练的聊天机器人给出更自由派的社经答案。这可能是因为训练过程通常会奖励模型的包容性和无害性。
「我认为将技术问题与价值观辩论分开很有用。」如此一来,便可以更清晰地了解 AI 模型是否遵循了宪法,而不必过多地讨论宪法中的价值观。过去,这两个问题常常混淆在一起,导致有关 AI 系统运作方式和应该如何运作的讨论变得不那麽有建设性。
Anthropic 会否与 OpenAI 走向相同道路?
自微软投资了大量资金在 OpenAI 後,该非营利组织是否真正独立就引发了许多讨论。马斯克(Elon Musk)就在今年 3 月时指出,OpenAI 已从一个开源的非营利组织变成了闭源的营利性组织。
Anthropic 现在也面临相同问题。为达成其愿景,7 位创办人将 Anthropic 设立为一个公益公司(public benefit corporation),也就是其主要目标是追求社会和公共利益,这意味着它们可以赚钱,但必须在实现社会目标方面保持透明和负责任。
不过,随着 Google、亚马逊(Amazon)向 Anthropic 投注更多资金,目前 Anthropic 在作为公司运营以及达成其 AI 安全的理想之间,看来仍然是个待解决的问题。
核稿编辑:Chris
快加入 INSIDE Google News 按下追踪,给你最新、最 IN 的科技新闻!