人工智能（AI）是否可以仅通过另一AI生成的数据进行训练？虽然这听起来像是一个异想天开的想法，但随着新数据越来越难以获取，这种方法正在逐渐受到重视。像Anthropic、Meta和OpenAI这样的公司已经开始在其AI模型中使用部分合成数据进行训练。
注释的重要性
AI系统依赖大量的示例来识别模式，从而做出预测。而这些示例通常需要由人类标注，以帮助模型区分不同事物和概念。例如，通过标注为“厨房”的照片，模型可以学会识别厨房的特征。
人工标注数据的需求极大推动了数据注释服务市场的发展。根据Dimension Market Research的估计，这个市场目前价值为8.382亿美元，并将在未来十年内增长至103.4亿美元。
数据枯竭问题
人类的标注速度有限，并且标注数据昂贵。此外，随着数据所有者越来越多地选择阻止访问公共数据，数据变得越来越难以获取。研究表明，高质量数据源中的25%已经被限制用于训练模型。如果这一趋势继续，预计在2026至2032年间，开发者可能会面临训练AI模型的数据短缺。
合成数据的解决方案
合成数据看似是所有问题的解决方案。它可以用于生成注释和新示例数据。许多公司已经开始利用合成数据训练AI模型。例如，Writer公司开发的Palmyra X 004几乎完全依赖合成数据进行训练，而微软和谷歌的模型也部分使用了合成数据。
合成数据市场本身也正在崛起，预计到2030年其市场规模将达到23.4亿美元。
合成数据的风险
然而，合成数据并非万能。它面临与AI系统相同的“垃圾进，垃圾出”问题。如果用于训练模型的数据本身存在偏见或缺陷，合成数据也将继承这些问题。此外，合成数据还可能产生幻觉或错误信息，特别是在复杂模型中。
一项研究显示，过度依赖合成数据进行训练会导致模型的质量和多样性逐渐下降。因此，在使用合成数据时，必须与真实数据结合使用，并进行彻底的审查和过滤，以避免模型崩溃或功能严重受损。
未来展望
OpenAI的CEO Sam Altman曾表示，AI未来将能够生成足够好的合成数据来自我训练。然而，现阶段这一技术尚未成熟。未来一段时间内，AI模型的训练仍然需要人类的参与，以确保其不出现严重错误。