去年感恩节，Brian Israel发现自己被反复问到同一个问题。
作为AI实验室Anthropic的总法律顾问，他和其他科技界人士一样目瞪口呆地看着OpenAI在Anthropic总部南边两英里处似乎正在崩溃。
OpenAI的董事会解雇了CEO Sam Altman，声称对他失去了信任，这一举动似乎可能导致这家初创公司超过800亿美元的估值下跌。这次解雇之所以可能，是因为OpenAI独特的公司结构，其董事没有增加股东利润的受托责任——这是Altman本人设计的结构，以便OpenAI可以在免受市场扭曲的情况下开发强大的AI。对许多人来说，这一计划似乎严重失败了。五天后，在微软、风险投资家和OpenAI员工（他们持有公司有价值的股票）的压力下，Altman被重新任命为CEO，解雇他的三位董事中的两位辞职了。《纽约时报》总结道，“AI现在属于资本家了”，OpenAI开始组建一个更符合高增长公司而非关注强大AI危险的研究实验室的新董事会。
因此，感恩节那个周末，Israel发现自己被Anthropic的投资者和客户紧急询问：Anthropic会不会发生同样的事情？
Anthropic和OpenAI一样是顶级的AI实验室，也有一个非传统的公司结构。公司同样通过这种结构来确保其可以在不追求利润的情况下开发AI。但相似之处也就到此为止。对于感恩节有疑问的所有人，Israel的答案都是一样的：在我们这里，不会发生在OpenAI的事情。
在OpenAI灾难之前，关于AI公司治理结构的问题似乎晦涩难懂。但现在很明显，AI公司的结构对谁控制可能成为21世纪最强大技术有重要影响。随着AI越来越强大，赌注也越来越高。早在5月，OpenAI的两名安全领导者辞职。离职声明中其中一位Jan Leike表示，安全已经“被闪亮的产品所取代”，并表示如果OpenAI要安全开发先进AI，需要“文化变革”。周二，Leike宣布他已经加入Anthropic。（Altman承认Leike的批评，表示“我们还有很多工作要做；我们承诺会做到。”）
Anthropic以不同于OpenAI的结构为自豪，但其未来仍存在疑问。去年Anthropic筹集了70亿美元，主要来自亚马逊和谷歌——这些大科技公司与微软和Meta一样，正在争夺AI领域的主导地位。某种程度上，它需要筹集更多资金。如果Anthropic的结构不够强大，无法抵挡这些企业巨头的压力，它可能无法防止其AI变得危险，或可能使其技术落入大科技公司的手中。另一方面，如果Anthropic的治理结构比OpenAI的更强大，该公司可能能够开辟一条新路——在这条路上，AI可以安全开发，免受市场压力的影响，并为整个社会带来利益。
Anthropic的七位联合创始人都曾在OpenAI工作。Anthropic CEO Dario Amodei在担任OpenAI研究副总裁时，甚至撰写了OpenAI宪章的大部分内容，这份文件承诺实验室及其员工追求强大AI的安全开发。可以肯定的是，Anthropic的联合创始人们在2021年离开了OpenAI，那时其结构的问题还没有在Altman被解雇中暴露出来。但他们的经历使他们想要不同地做事。看到去年感恩节发生的崩溃，使Amodei感到Anthropic的治理结构“是正确的方法”，他告诉《时代周刊》。“我们这样做的方式，通过所有这些制衡，使我们处于一个更难发生类似事情的位置。”
尽管如此，高风险使许多人质疑为什么新颖且未经过充分测试的公司治理结构是限制公司行为的主要约束。“社会不能让AI的推出仅由私人科技公司控制，”去年投票解雇Altman的两位前OpenAI董事Helen Toner和Tasha McCauley在最近的《经济学人》文章中写道。“私人部门确实有许多真诚的努力来引导这项技术的负责任发展，我们对这些努力表示赞赏。但即使有最好的意图，没有外部监督，这种自我监管将在巨大利润激励的压力下变得不可执行。政府必须积极发挥作用。”
公益公司
与本质上作为由不对公司股东负责的非营利董事会管理的有限利润公司运作的OpenAI不同，Anthropic更像是一家传统公司。其董事会对包括谷歌和亚马逊在内的股东负责，这两家公司合计向Anthropic投资了约60亿美元。（《时代周刊》联合主席兼所有者Marc Benioff所在的Salesforce也进行了较小的投资。）但Anthropic利用了一项特拉华州公司法的特殊条款。它不是一家有限公司，而是一家公益公司（PBC），这意味着除了有增加股东利润的受托责任外，其董事会还具有追求“让人类和社会繁荣的变革性AI”这一使命的法律空间。Israel说，这本质上意味着如果董事会选择优先考虑安全而不是增加利润，股东会更难起诉Anthropic董事会。
然而，没有明显的机制让公众因董事会没有足够强烈地追求公益使命而起诉Anthropic董事会成员。Israel说，据他所知，公众没有办法为了公益起诉你来执行这一使命。PBC结构赋予董事会一种灵活性，而不是一种强制性，他说。
风险资本家传递给公司创始人的传统智慧是：创新产品，但不要创新业务结构。但Anthropic的联合创始人在2021年公司成立时决定无视这一建议，认为如果AI像他们相信的那样强大，这项技术将需要新的治理结构来确保其有利于公众。“许多事情通过市场处理得很好，”Amodei说。“但也有外部性，最明显的是AI模型[发展]自主性的风险，还有国家安全问题，以及其他可能以我们前所未见的方式破坏或扭曲经济的问题。所以我想确保公司能够处理这一系列问题。”
处于AI开发的“前沿”——构建前所未有的更大模型，可能具有未知的能力和风险——需要特别小心。“市场上最好的[AI]模型有非常明显的经济优势，”Israel说。另一方面，他说，Anthropic的安全研究人员在模型训练完成后花费的时间越多，他们就越有信心认为推出它是安全的。“两者理论上至少是矛盾的，”Israel说。“对我们来说，确保我们不会被逼推出我们不确定安全的模型是非常重要的。”
长期利益信托
对于Anthropic的创始人来说，将公司结构设置为公益公司是一个好的第一步，但没有解决谁应该在公司董事会的问题。为了解决这个问题，他们在2023年决定设立一个名为长期利益信托（LTBT）的独立机构，该机构最终将获得选举和解雇董事会多数成员的权力。
目前，LTBT选举董事会五名成员中的一名。但根据以色列和《时代周刊》审阅的Anthropic公司注册文件，这一数字将在今年7月增加到五分之二，然后在11月增加到五分之三——这与公司已经超越的融资里程碑一致。（拥有投票权股票的股东选举其余董事会成员。）
LTBT的前五名成员是由Anthropic高管根据公司联合创始人认为对其使命重要的三个领域（AI安全、国家安全和社会企业）的专业知识选出的。被选中的包括RAND公司的CEO Jason Matheny、发展非营利组织Evidence Action的CEO Kanika Bahl和AI安全研究员Paul Christiano。（Christiano在4月之前辞去LTBT职务，担任美国政府新成立的AI安全研究所负责人，他在电子邮件中表示。他的席位尚未填补。）周三，Anthropic宣布LTBT选出了公司董事会的第一位成员：数据公司Confluent的联合创始人兼CEO Jay Kreps。
Anthropic表示，LTBT提前通知“可能显著改变公司或其业务的行动”，并且“必须利用其权力确保Anthropic负责任地平衡股东的财务利益与受Anthropic行为和我们公益目的影响的人的利益。”
“Anthropic将继续由其董事会监督，我们预计其将做出变革性AI之路上的重要决策，”公司在其网站的博客文章中表示。但“在导航这些决策时，董事会的多数成员最终将对信托和股东负责，因此将有动机在公共利益和股东利益之间适当地平衡。”
然而，以色列说，即使是由LTBT选出的董事会成员也有对Anthropic股东的受托责任。这一细微差别意味着由LTBT任命的董事会成员可能无法执行像去年11月OpenAI董事会成员采取的那样激烈的行动。这是Israel在感恩节被问及时能够自信地说在Anthropic不会发生OpenAI事件的原因之一。但这也意味着LTBT最终对公司影响有限：尽管最终能够选择和罢免多数董事会成员，但这些成员实际上将面临与董事会其他成员相似的激励措施。
公司领导和前顾问强调，Anthropic的结构具有实验性质。“据我所知，没有类似的尝试，”在公司设置治理结构的最早阶段担任外部顾问的哈佛法学教授Noah Feldman说。“即使是世界上最好的设计有时也不起作用，”他补充说。“但这个模型经过了大量的思考设计……我对它的成功寄予厚望。”
亚马逊和谷歌的问题
根据Anthropic的公司注册文件，长期利益信托协议有一个附加条款。如果股东的超级多数投票通过，他们可以在未经其五名成员同意的情况下改写LTBT的治理规则。Anthropic表示，这一机制被设计为“保险”，以应对结构以意想不到的方式出现缺陷的可能性。但这也引发了谷歌和亚马逊可能强迫改变Anthropic公司治理的幽灵。
但据以色列称，这是不可能的。他说，亚马逊和谷歌并不拥有Anthropic的投票股份，这意味着他们不能选举董事会成员，他们的投票也不会在任何需要超级多数的情况下计算，以改写LTBT的治理规则。（以色列表示，持有Anthropic B系列股票的股东，其中许多最初由已倒闭的加密货币交易所FTX购买，也没有投票权。）
据知情人士透露，谷歌和亚马逊各拥有Anthropic不到15%的股份。Amodei强调，亚马逊和谷歌对Anthropic的投资与微软与OpenAI的交易不可同日而语，微软与OpenAI的协议规定，科技巨头将获得OpenAI利润的49%，直到其130亿美元的投资收回。“这简直是天壤之别，”Amodei说。他承认，Anthropic未来可能需要筹集更多资金，但表示公司的能力使其能够在竞争中脱颖而出。“只要我们能以较少的资源做更多的事情，那么最终，资源将找到创新公司，”他告诉《时代周刊》。
然而，Anthropic的未来可能会面临不舒服的权衡——即使是最周到的治理结构也无法解决的权衡。“Anthropic的首要任务是保持在前沿，”AI政策研究所执行董事Daniel Colson说，该研究所是一个非营利研究小组，指的是实验室相信必须训练自己的世界领先AI模型才能对其进行良好的安全研究。但当Anthropic的资金耗尽时会发生什么？它需要更多投资才能跟上大科技公司的步伐吗？“我认为董事会受托责任的体现将是，‘好吧，我们是否必须与大科技公司合作以获得资金，或者吞下任何其他潜在的毒丸？’”Colson说。在处理公司这样一个生死攸关的问题时，Anthropic的董事会可能会被迫在总崩溃和某种形式的妥协之间权衡，以实现其长期使命。
最终，Colson说，AI的治理“不是任何公司治理结构所能胜任的。”尽管他认为Anthropic的结构比OpenAI的更好，但他说，确保AI安全开发的真正任务在于政府，他们必须制定有约束力的法规。“看起来Anthropic在其结构上做得很好，”Colson说。“但这些治理结构对于AGI的发展是否足够？我的强烈感觉是，绝对不——它们极其不合法。”
