学习自己训练一个语言模型

很久之前就看到了这个项目:https://github.com/jingyaogong/minimind,直到今天才有时间来玩一玩。

魔搭社区中,notebook有免费实例可以用。

cpu不用试了,速度太慢了。开GPU环境玩吧,按照minimind的基础配置,预训练大约需要1个小时,蛮不错的。