MiniMind: 64M 파라미터 언어 모델을 처음부터 직접 학습해 보는 교육용 프로젝트
MiniMind는 작은 언어 모델을 사전 학습부터 SFT, DPO, 강화 학습까지 GPU 한 장으로 직접 돌려 보며 LLM이 만들어지는 과정을 익히게 해 주는 오픈소스 프로젝트예요.
MiniMind는 작은 언어 모델을 사전 학습부터 SFT, DPO, 강화 학습까지 GPU 한 장으로 직접 돌려 보며 LLM이 만들어지는 과정을 익히게 해 주는 오픈소스 프로젝트예요.