研究人员发现，AI视频生成器仅靠观看视频无法理解物理定律。尽管AI聊天机器人和图像生成器已经取得了显著进展，视频生成器如Sora和Runway也展示了相当的成果，但由字节跳动研究院、清华大学和以色列理工学院的科学家组成的团队试图探索这些模型能否通过视觉数据自动发现物理定律。
在现实世界中，人类通过数学理解物理，而在视频生成领域，能够理解物理的AI模型应当能够观看一系列帧并预测接下来的画面。为此，科学家们设计了一个基于简单形状和运动的二维模拟，生成了数十万段小视频供模型训练和测试。结果表明，AI模型只能“模仿”物理而非理解物理。
三大物理定律测试
研究团队在实验中选取了三种基本的物理运动进行模拟测试：球体的匀速直线运动、两个球体的完全弹性碰撞以及球体的抛物线运动。研究表明，模型能够在已知的训练数据上表现正常，但在新的、意料之外的场景中就会出现异常。模型往往试图模仿最接近的训练示例，而不是运用实际的物理规则。
模型的优先级问题
在实验中，研究人员还观察到视频生成器会将一个形状随机变为另一个形状（例如，方块随机变成球体），或者出现其他无意义的调整。模型在生成视频时似乎遵循了一个明显的优先级顺序，其中颜色最为重要，其次是大小，再然后是速度，而形状的优先级最低。
是否找到了解决方案？
研究人员指出，判断视频模型是否“学会”了一条定律还是仅仅在记忆数据，仍然具有挑战性。由于模型内部的知识是无法访问的，他们只能通过模型在未见过的场景中的表现来推测其理解程度。
研究团队的深入分析表明，视频模型的泛化能力更多依赖于参考相似的训练示例，而非学习普遍的规则，无论模型训练了多少数据，这种依赖都难以消除。对此，首席作者康秉奕在社交媒体X上表示，目前尚未找到解决方案，这可能是整个AI社区的共同任务。
关注公众号【真智AI】
TOP AI模型智能问答|绘图|识图|文件分析
每天分享AI教程、赚钱技巧和前沿资讯！