OpenAI 的下一个大语言模型Orion AI 可能并不像许多人希望的那么强大。
据彭博社报道, Orion AI 模型在幕后几乎没有表现出什么性能。与其前身相比, GPT -4 与 GPT-3 相比,它的改进也较少。The Information 上周也发布了类似的报告,表明一些 OpenAI 研究人员认为,在编码等某些领域,没有记录到任何改进。
回报率下降,这个问题对人工智能公司的影响越来越大
彭博社表示,OpenAI 并不是唯一一家试图应对回报下降的公司。
谷歌发现自己面临着Gemini 模型的下一代迭代,该模型不符合内部预期。就其本身而言,尽管Anthropic 的 Claude 3.5 Opus的发布时间表已广为人知,但仍然不确定。
这些众多的全行业挑战向我们展示了当前基于“规模化”改进人工智能模型的范式是如何碰壁的。
因此,这表明如果人工智能模型的开发成本仍然昂贵,未来可能会出现经济困难。特别是因为他们在构建 AGI 或通用人工智能方面没有取得任何重大进展。
“AGI 泡沫正在一点点破裂,”人工智能初创公司Hugging Face的首席伦理科学家玛格丽特·米切尔 (Margaret Mitchell) 告诉彭博社。
他补充说,“不同的训练方法”对于接近人类的智力和多功能性水平至关重要。
人工智能技术,一个贪婪的过程
直到今天,推动生成式人工智能取得进步的唯一道德规范是“规模化”。后者通过扩大生成人工智能模型的规模,使其变得更加强大。
具体来说,通过增加更多的处理能力(人工智能芯片,如Nvidia )并引入更多的训练数据,其中大部分是从网络上廉价获取的。
然而,随着这些模型变得更强大、更大,它们也变得更加耗电。我们要记住,后者并不便宜,就像免费的训练数据不再很多一样。
为了重振人工智能大脑,科技公司正在使用计算机生成的合成数据。然而,他们“仍然难以在没有人工干预的情况下获得独特的高质量数据集,尤其是在语言方面,” New Enterprise 人工智能战略主管 Lila Tretikov 告诉 Bloomberg Associates。
这增加了开发人工智能模型的成本。Anthropic首席执行官 Dario Amodei 表示,目前构建一个尖端人工智能模型的平均成本为 1 亿美元,预计到 2027 年每个模型的成本将达到 100 亿美元。
你怎么看?这些问题有可能变得更糟吗?在评论中告诉我们您的意见!