根据一份新报告，研究人员发现OpenAI的音频转录工具Whisper在高风险情况下会“创造”出从未说过的内容，可能导致危险后果。
根据美联社的报道，该AI模型在生成文本时会出现“幻觉”，即大型语言模型识别出其训练材料中不存在的模式，从而产生无意义的输出。美国的研究人员发现，Whisper的错误可能包括种族评论、暴力和虚构的医疗治疗。
Whisper已集成在某些版本的ChatGPT中，并作为微软和甲骨文的云计算平台的内置工具。微软已表示该工具不适用于高风险场景，尽管医疗提供者开始采用该工具来转录医生与患者的咨询。
其制造商声称Whisper具有“接近人类水平的鲁棒性和准确性”，并声称已被超过30,000名美国临床医生在40个卫生系统中采用。然而，研究人员警告不要盲目采用，多个研究中发现了问题。
在对公开会议的研究中，密歇根大学的一位研究人员发现Whisper在检查的每10个音频转录中有8个出现了幻觉。同时，一位机器学习工程师在超过100小时的转录中发现大约一半存在幻觉，而第三位开发者在他使用Whisper创建的26,000个转录中几乎每一个都发现了幻觉。
在过去一个月中，Whisper在开源AI平台HuggingFace上被下载超过420万次，成为该网站上最受欢迎的语音识别模型。研究人员分析了卡内基梅隆大学托管的TalkBank材料，确定Whisper产生的40%的幻觉可能是有害的，因为说话者被“误解或错误呈现”。
在美联社的示例中，一位说话者描述了“另外两个女孩和一个女士”，而Whisper则创造了有关种族的评论，指出“另外两个女孩和一个女士，嗯，都是黑人”。在另一个例子中，该工具创造了一种名为“超激活抗生素”的虚构药物。
这样的错误可能会导致“非常严重的后果”，尤其在医疗环境中，普林斯顿大学的阿隆德拉·纳尔逊教授告诉美联社，因为“没有人希望发生误诊”。
人们呼吁OpenAI解决这个问题，前员工威廉·桑德斯告诉美联社，“如果你把这个工具推出去，而人们对它的能力过于自信并将其整合到其他系统中，这将是个问题”。
幻觉是AI转录工具面临的问题
尽管许多用户预期AI工具会犯错或拼写错误，但研究人员发现其他程序的错误率和Whisper一样高。
谷歌的AI Overviews在今年早些时候受到批评，因为它建议使用无毒胶水来防止奶酪从比萨饼上掉落，引用了一个讽刺的Reddit评论作为来源。
苹果首席执行官蒂姆·库克在一次采访中承认，AI幻觉可能会成为未来产品（包括Apple Intelligence套件）中的一个问题。库克告诉《华盛顿邮报》，他对这些工具是否可能发生幻觉的信心并不是100%。
“我认为我们已经做了我们知道的所有事情，包括深入思考我们使用技术的领域的准备情况，”库克说。
尽管如此，各公司仍在推动AI工具和程序的发展，而幻觉问题（如Whisper的创造）仍然是一个普遍存在的问题。至于OpenAI对幻觉的回应，该公司建议不要在“决策背景中使用Whisper，因为准确性缺陷可能导致结果的显著缺陷”。