划重点:
⭐️ RHO-1方法通过选择性语言建模，专注训练与所需分布一致的有用token。
⭐️ RHO-1的 SLM 方法可显著提高数学任务的准确性，表现优异于传统训练方法。
⭐️ 未来工作包括将 SLM 推广至其他领域，提高可扩展性，探索多个参考模型减少过拟合等。
4月12日 消息:微软研究人员挑战了语言模型(LM)预训练的传统方法，该方法在训练语料库中的所有token上均匀应用下一个token预测损失。相反，他们提出了一种新的语言模型称为 RHO-1，该模型利用选择性语言建模(SLM)。
RHO-1方法通过选择性训练与所需分布一致的有用token，而不是尝试预测每一个下一个token。他们引入了 Rho-Math-v0.1模型，其中 Rho-Math-1B 和 Rho-Math-7B 在 MATH 数据集上分别实现了15.6% 和31.0% 的少样本准确率，仅使用预训练token的3% 与 DeepSeekMath 相匹配。
Rho-Math-1B-Interpreter 是第一个在 MATH 数据集上实现超过40% 准确率的1B LLM。
Rho-Math-7B-Interpreter 在 MATH 数据集上实现52% 的准确率，仅使用69k 个样本进行微调。
RHO-1的 SLM 方法涉及使用参考模型对预训练token进行评分，并使用更加专注的损失对具有更高多余损失的token进行语言模型训练。这种选择性过程使 RHO-1能够在持续预训练15B OpenWebMath 语料库时，将9个数学任务的少样本准确率提高高达30%。
该模型在微调后在 MATH 数据集上实现了最先进的结果，并且在80B 通用token预训练时，在15个不同任务中平均提升了6.8%。
传统的训练方法通常使用启发式和分类器在文档级别上过滤数据，以提高数据质量和模型性能。然而，即使高质量的数据集可能包含对训练产生负面影响的嘈杂token。
SLM 方法直接解决了这个问题，通过专注于token级别，并在预训练期间消除不需要的token损失。
在研究中，SLM 在预训练期间选择的token与数学相关，有效地调整了模型对原始语料库的相关部分。研究人员在各个检查点中调查了token过滤，发现后续检查点选择的token倾向于在训练的后期具有更高的困惑度，并在早期具有更低的困惑度。
讨论部分强调了未来的工作，包括将 SLM 推广至数学领域以外的领域，将该技术扩展至更大的模型和数据集，以及探索在评分token时是否需要训练参考模型。
对 SLM 的改进可能包括重新加权token而不是选择它们，以及使用多个参考模型减少过拟合。
SLM 可以扩展到监督微调，以解决数据集中的噪声和分布不匹配，并通过训练一个强调帮助性、真实性和无害性的参考模型来获得在预训练期间获得本地对齐的基本模型。
rho:https://github.com/microsoft/rho
