Allen AI开源微调模型OLMo-7B-Instruct

Allen AI开源微调模型OLMo-7B-Instruct

Allen AI最近宣布开源了微调模型OLMo-7B-Instruct,这是一个真正意义上的开源项目。该模型是基于AI2的Dolma数据集构建的,该数据集包括了用于语言模型预训练的三万亿标记的开放语料库,还包括生成训练数据的代码。

image.png

官网:https://allenai.org/olmo

项目页:https://top.aibase.com/tool/olmo

此外,OLMo框架还包括四种7B规模模型变体的完整模型权重,每个模型至少训练了2T个标记。推理代码、训练指标和训练日志也都已提供,让用户可以轻松复刻微调过程。

为了帮助用户更好地评估模型性能,Allen AI还发布了用于开发中使用的评估套件。每个模型在训练过程中每1000步都有500多个检查点,并且提供了在Catwalk项目框架下的训练和评估代码。

这一系列的开源内容将使用户能够全面了解从预训练模型到RLHF微调模型的整个过程,为他们的研究和实践提供了强大的支持。Allen AI的举措为开源社区提供了更多可能性,促进了模型研究和应用的发展。

元宇宙投融邦 元宇宙投融邦
0
0
发布评论
后可评论
0/1000
全部评论

暂无评论,来抢沙发

猜你喜欢 换一批
数据加载中,请稍候...