-
OpenAI 正在解散其“AGI Readiness”团队，该团队就 OpenAI 自身处理日益强大的 AI 的能力以及世界管理该技术的准备情况向公司提供建议。
-
AGI Readiness 的高级顾问 Miles Brundage 宣布离开公司，并写道，他相信他的研究将在外部产生更大的影响。
-
5 月，OpenAI 决定解散其专注于 AI 长期风险的 Superalignment 团队，就在它宣布成立该团队一年后。
简而言之是：
此外，OpenAI的其他高层人员，包括首席技术官和研究主管，也宣布离职。这些变动发生在公司可能重组为营利性企业的背景下，以及公司完成了一轮大规模融资之后。尽管预计会有重大亏损，OpenAI仍在继续其安全和安保委员会的工作。这些变化显示了OpenAI在AI安全和商业化之间的挑战和平衡。
原文：
周三，AGI Readiness 高级顾问 Miles Brundage 通过 Substack 帖子宣布离开公司。他写道，他的主要原因是机会成本变得太高，他认为他的研究在外部会更有影响力，他想减少偏见，并且他已经完成了他在 OpenAI 的目标。
Brundage 还写道，就 OpenAI 和世界在 AGI 准备方面的进展而言，“OpenAI 或任何其他前沿实验室都没有准备好，世界也没有准备好。Brundage 计划创办自己的非营利组织，或加入现有的非营利组织，专注于 AI 政策研究和宣传。“他补充说，”如果没有齐心协力，人工智能不太可能尽可能地安全和有益。
据该帖子称，前 AGI Readiness 团队成员将被重新分配到其他团队。
“我们完全支持 Miles 在行业外进行政策研究的决定，并对他的贡献深表感谢，”OpenAI 发言人告诉 CNBC。“他计划全力以赴地进行 AI 政策的独立研究，这让他有机会在更广泛的范围内产生影响，我们很高兴能从他的工作中学习并跟踪其影响。我们相信，在他的新角色中，Miles 将继续提高行业和政府决策的质量标准。
5 月，OpenAI 决定解散其专注于人工智能长期风险的 Superalignment 团队，就在宣布成立该团队仅一年后，一位知情人士当时向 CNBC 证实。
AGI Readiness 团队解散的消息是在 OpenAI 董事会可能计划将公司重组为营利性企业之后发布的，此前三名高管——首席技术官 Mira Murati、研究主管 Bob McGrew 和研究副总裁 Barret Zoph——于上个月同一天宣布离职。
10 月初，OpenAI 以 1570 亿美元的估值结束了其热闹的一轮融资，其中包括该公司从众多投资公司和大型科技公司那里筹集的 66 亿美元。它还获得了 40 亿美元的循环信贷额度，使其总流动性超过 100 亿美元。CNBC 上个月向一位熟悉的消息人士证实，该公司预计今年 37 亿美元的收入将亏损约 50 亿美元。
9 月，OpenAI 宣布其安全和安保委员会（该公司于 5 月在处理安全流程争议时成立）将成为一个独立的董事会监督委员会。它最近结束了为期 90 天的审查，评估了 OpenAI 的流程和保护措施，然后向董事会提出了建议，调查结果也在公开博客文章中发布。
高管离职和董事会变动的消息也发生在一个夏天围绕 OpenAI 的安全问题和争议不断增加之后，OpenAI 与谷歌、Microsoft，Meta 和其他公司正在掌舵生成式 AI 军备竞赛——预计该市场的收入将在 十年内超过 1 万亿美元——因为似乎每个行业的公司都争先恐后地添加 AI 驱动的聊天机器人和代理，以避免被竞争对手抛在后面。
知情人士当时向 CNBC 证实，7 月，OpenAI 将 OpenAI 的高级安全主管之一亚历山大·马德里 （Aleksander Madry） 重新分配到了一份专注于人工智能推理的工作。
根据普林斯顿大学 AI 计划网站上的 Madry 简历，Madry 是 OpenAI 的准备负责人，该团队“负责跟踪、评估、预测和帮助防范与前沿 AI 模型相关的灾难性风险”。OpenAI 当时告诉 CNBC，Madry 仍将在他的新角色中从事核心 AI 安全工作。
在决定重新分配 Madry 的同时，民主党参议员向 OpenAI 首席执行官山姆·阿尔特曼 （Sam Altman） 致信“关于 OpenAI 如何解决新出现的安全问题的问题”。
CNBC 查看了这封信，信中还指出，“我们向 OpenAI 寻求更多信息，了解公司为履行其公开的安全承诺而采取的措施，公司如何内部评估其在这些承诺方面的进展，以及公司识别和减轻网络安全威胁。
Microsoft 于 7 月放弃了其在 OpenAI 董事会中的观察员席位，在 CNBC 看到的一封信中表示，它现在可以退出，因为它对这家初创公司董事会的建设感到满意，该董事会自导致阿尔特曼短暂下台并威胁到Microsoft对公司的大规模投资的起义以来进行了改革。
但在 6 月，一群现任和前任 OpenAI 员工发表了一封公开信，描述了对人工智能行业快速发展的担忧，尽管缺乏监督，也没有为那些希望发声的人提供举报人保护。
“人工智能公司有强大的经济动机来逃避有效的监督，我们认为定制的公司治理结构不足以改变这种情况，”员工当时写道。
这封信发表几天后，一位熟悉的消息人士向 CNBC 证实，联邦贸易委员会和司法部将对 OpenAI、Microsoft 和 Nvidia 展开反垄断调查，重点关注这些公司的行为。
FTC 主席 Lina Khan 将她的机构的行动描述为“对 AI 开发人员和主要云服务提供商之间形成的投资和合作伙伴关系的市场调查”。
现任和前任员工在 6 月的信中写道，人工智能公司拥有关于其技术可以做什么、他们已经采取的安全措施的程度以及技术对不同类型伤害的风险水平的“大量非公开信息”。
“我们也了解这些技术带来的严重风险，”他们写道，并补充说这些公司“目前与政府分享部分信息的义务很弱，而没有与公民社会分享。我们认为不能指望他们都自愿分享。
OpenAI 的 Superalignment 团队于去年宣布并于 5 月解散，专注于“科学和技术突破，以比我们更智能地引导和控制 AI 系统”。当时，OpenAI 表示将在四年内将其 20% 的计算能力投入该计划。
在其领导者 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 于 5 月宣布离开这家初创公司后，该团队被解散。Leike 在 X 上的一篇文章中写道，OpenAI 的“安全文化和流程已经让位于闪亮的产品”。
阿尔特曼当时在 X 上表示，他对看到 Leike 离开感到难过，OpenAI 还有更多工作要做。不久之后，联合创始人格雷格·布罗克曼 （Greg Brockman） 在 X 上发表了一份由布罗克曼和首席执行官发表的声明，声称该公司“提高了对 AGI 风险和机遇的认识，以便世界能够更好地为它做好准备”。
“我加入是因为我认为 OpenAI 将是世界上进行这项研究的最佳场所，”Leike 当时在 X 上写道。“然而，很长一段时间以来，我一直不同意 OpenAI 领导层关于公司的核心优先事项，直到我们最终达到了一个临界点。”
Leike 写道，他认为公司应该将更多的带宽集中在安全、监控、准备、安全和社会影响上。
“这些问题很难解决，我担心我们没有走上实现这一目标的轨道，”他当时写道。“在过去的几个月里，我的团队一直在逆风航行。有时我们正在努力争夺 [计算资源]，完成这项关键研究变得越来越困难。
Leike added that OpenAI must become a “safety-first AGI company.”
“构建比人类更智能的机器本质上是一项危险的工作，”他在 X 上写道，“OpenAI 代表全人类肩负着巨大的责任。但在过去几年中，安全文化和流程已经让位于闪亮的产品。
本文素材来源CNBC，如有侵权请联系删除
知识星球沉淀了很多AI的掘金素材集，欢迎加入！
如果觉得不错，欢迎点赞、在看、转发，您的转发和支持是我不懈创作的动力~
如果想第一时间收到推送，可以给我个星标?～
谢谢你挤出时间看我的文章推送，一眼万年，不胜感激。