本项目是学习大模型时进行开发的一个从零开始构建一个拥有千万参数的大模型，包括预训练(Pretrain)、有监督微调(SFT)以及使用R1数据进行蒸馏三个阶段，逐步打造的一个能够流畅进行对话问答的大模型基座。
从0搭建类似LLaMA3前沿模型结构，从0实现RMSNorm、RoPE位置编码等。
使用匠数大模型数据集作为基础数据集，包括Pretrain阶段的数据以及SFT阶段的数据。
-
Notifications
You must be signed in to change notification settings - Fork 0
License
th1u/HappyDog
About
No description, website, or topics provided.
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published