【TechWeb】近期，由谷歌、卡内基梅隆大学和MultiOn构成的集认为议团队，发布了一项对于合成数据在大型模子检修中运用的迂回磋议禁止。
专注于东说念主工智能发展的磋议机构Epoch AI论说指出，面前群众约有300万亿个公开可用的高质地文本检修标识。但跟着像ChatGPT这类大模子的快速发展，对检修数据的需求呈指数级增长，展望在2026年之前，这些现存数据将被消耗。在此配景下，合成数据成为了关节的替代有打算。
磋议东说念主员闪耀探索了两种合成数据类型，即正向数据和负向数据。正向数据是由高性能大模子，如GPT - 4和Gemini 1.5 Pro生成的正确问题处分有打算，为模子提供处分数常识题的轨范。但是，单纯依靠正向数据进行检修存在昭着局限。其一，这种口头可能无法让模子信得过清爽问题处分背后的逻辑，仅仅通过模式匹配来学习；其二，跟着检修数据量的加多，模子可能会学到伪善的关连性，导致在处理新问题时泛化才略缩短。
有鉴于此，磋议东说念主员引入了负向数据，也等于过程考据为失实的问题处分圭臬。这能匡助模子识别并幸免失实，从而增强其逻辑推理才略。尽管使用负向数据存在挑战，因为失实圭臬可能包含误导性信息，但磋议东说念主员借助班师偏好优化（DPO）门径，见效让模子从失实中学习，并强调每个问题处分圭臬的迂回性。
DPO门径会为每个问题处分圭臬分拨一个上风值，以反馈其相对于理念念处分有打算的价值。磋议发现，高上风圭臬是正确处分问题的关节，而低上风圭臬可能意味着模子推理存在问题。基于这些上风值，模子大概在强化学习框架内动态一样战术，更高效地从合成数据中学习和改革。
为考据合成数据的有用性，磋议团队选择DeepSeek - Math - 7B和LLaMa2 - 7B等模子，在GSM8K和MATH数据集上开展了全面测试。禁止令东说念主惊喜，过程正向和负向合成数据预检修的大模子，在数学推理任务上的性能擢升了八倍。这一磋议充分彰显了合成数据在增强盛模子逻辑推理才略方面的重大后劲开云体育，为大模子的发张开导了新的地点。（Suky）