MiniMind: 64M 파라미터 언어 모델을 처음부터 직접 학습해 보는 교육용 프로젝트
MiniMind는 6,400만(64M) 파라미터짜리 작은 언어 모델을 사전 학습부터 대화 튜닝, 강화 학습까지 직접 처음부터 학습해 보게 해 주는 교육용 오픈소스 프로젝트예요. 쓸 만한 챗봇을 얻는 것보다 “LLM이 어떤 단계를 거쳐 만들어지는지”를 내 GPU 한 장으로 따라가 보는 데 가치가 있어요.
무엇을 해 주나요
작은 모델 구조를 그대로 보여 줘요. 현재 주력인 minimind-3는 디코더만 쓰는 트랜스포머로, RMSNorm, SwiGLU, RoPE(YaRN으로 길이 확장) 같은 요즘 모델의 기본 부품을 갖췄어요. 층 8개, 숨은 차원 768, 어휘 6,400개 규모이고, README는 구조를 Qwen3 계열에 맞췄다고 설명해요. 전문가 4개 중 1개만 고르는 MoE 버전(minimind-3-moe, 전체 1억 9,800만, 활성 약 6,400만)도 있어요.
학습 단계마다 스크립트가 따로 있어요. trainer 폴더에 사전 학습(다음 토큰 예측), SFT(여러 턴 대화와 도구 호출 데이터), 지식 증류, LoRA, DPO(선호 쌍 학습), PPO·GRPO 같은 강화 학습, 그리고 도구를 여러 번 부르며 나중에 보상을 받는 에이전트형 강화 학습(train_agent.py)까지 나뉘어 있어요. LoRA는 peft 라이브러리 없이 직접 구현해서 원리를 읽어 보기 좋다고 해요.
추론 모드를 켜고 끌 수 있어요. 대화 템플릿의 open_thinking 스위치로 모델이 생각 과정을 출력할지 정해요.
학습한 모델을 바로 써 볼 수 있어요. OpenAI 호환 API 서버, Streamlit 웹 화면이 들어 있고, llama.cpp, vLLM, Ollama, MNN 형식으로 내보내는 방법도 안내해요.
설치와 사용
저자가 쓴 환경은 Ubuntu 20.04, CUDA 12.2, Python 3.10.16, RTX 3090이에요. 먼저 GPU가 PyTorch에서 보이는지(torch.cuda.is_available()) 확인하라고 안내해요. CPU나 Mac(MPS)에서도 돌아가지만 훨씬 느리다고 해요.
git clone --depth 1 https://github.com/jingyaogong/minimind
cd minimind && pip install -r requirements.txt
# 공개된 가중치로 대화해 보기
python eval_llm.py --load_from ./minimind-3
README의 설치 명령에는 중국 미러 주소(-i https://mirrors.aliyun.com/pypi/simple)가 붙어 있는데, 국내에서는 빼고 기본 PyPI를 써도 돼요. 직접 학습하려면 pretrain_t2t_mini.jsonl과 sft_t2t_mini.jsonl 두 데이터 파일을 ./dataset에 넣고 순서대로 실행해요.
cd trainer
python train_pretrain.py
python train_full_sft.py
# GPU 여러 장
torchrun --nproc_per_node N train_pretrain.py
# 끊긴 학습 이어 하기
python train_pretrain.py --from_resume 1
숫자는 어떻게 읽어야 하나요
저장소 설명에 따르면 “2시간 만에 64M 모델을 처음부터 학습”할 수 있어요. 그런데 README 본문의 비용 표를 보면 이 2시간은 RTX 3090 한 장 기준이고, minimind-3의 사전 학습 약 1.21시간과 SFT 약 1.10시간을 합치면 약 2.31시간이에요. 비용 “약 3위안”도 3090을 시간당 1.3위안에 빌린다는 가정으로 계산한 값이에요. 모두 저자가 직접 잰 값이고, 데이터는 최소 구성인 mini 파일 기준이에요. MoE 버전은 약 3.23시간으로 더 걸린다고 해요.
성능 쪽은 README가 스스로 한계를 밝혀요. C-Eval, CMMLU 같은 객관식 평가에서 minimind-3 점수는 대략 24~28점으로, 네 개 중 하나를 찍는 수준과 비슷해요. 표본이 500개인 평가는 오차 범위가 ±1.9점 정도라 작은 차이는 의미가 없다고도 적었어요. 모델 비교에 GPT-5.4를 채점자로 쓴 결과는 저자도 “엄밀한 벤치마크가 아니다”라고 설명해요.
누구에게 쓸모 있나요
LLM 학습 과정을 글로만 읽다가 직접 손으로 돌려 보고 싶은 학생과 개발자에게 좋아요. 코드 양이 작고 단계별로 파일이 나뉘어 있어서 사전 학습, SFT, DPO, GRPO가 실제로 어떤 손실 함수와 데이터로 돌아가는지 비교하며 읽기 쉬워요. 실제 서비스용 모델을 찾는다면 맞지 않아요. 사실 관계 오류와 반복이 많다고 README가 직접 밝히고 있어요.
쓰기 전에 알아 둘 점
- 학습 데이터와 예시가 중국어 위주예요. 영어·한국어 품질은 기대하지 않는 게 좋아요.
- 강화 학습 단계는 작은 모델이라 보상이 거의 0에 머물러 신호가 사라지기 쉽다고 해요. 에이전트용으로 튜닝한 모델은 도구 사용 수학 문제는 나아졌지만 열린 질문에서 환각이 늘었다고 적혀 있어요.
- MoE는 PyTorch 기본 연산을 써서 학습이 밀집 모델보다 약 50% 느려요. 도구 호출과 생각 출력을 함께 쓰면 추론이 잘 나오지 않는다는 점, 롤아웃이 비동기가 아니라는 점도 아직 남은 과제예요.
- 2025년 4월 26일 이전에 만든 모델은 새 코드에서 바로 불러올 수 없어요. 열린 이슈에는 Mac에서 그냥 실행하면 GPU 대신 CPU로만 돈다는 보고도 있어요.
- 학습 기록은
--use_wandb옵션을 줄 때 외부 서비스(wandb, README는 중국 사용자에게 SwanLab을 권해요)로 전송돼요. 따로 켜는 옵션이라 쓰지 않으면 기록이 나가지 않는 구조로 보여요.
저장소 상태
- 별 66.3k, 포크 8.7k (확인 시점 기준)
- 열린 이슈 31개, 열린 PR 31개
- 언어: Python (GitHub 트렌딩 페이지 표시 기준)
- 라이선스: Apache-2.0
- 마지막 커밋: 2026년 11월 18일 (에이전트 학습 보상에서 숫자 정답을 값으로 비교하도록 고친 PR 병합 등)
- 최신 릴리스: “MiniMind Docs”(태그 v2, 10월 21일, 페이지에 연도 표시 없음). 문서 링크만 담긴 릴리스이고, 모델 업데이트는 README의 변경 기록으로 알려요. 가장 최근 큰 업데이트는 2026년 4월 1일의 minimind-3 공개예요.
- 최상위 폴더:
dataset,model,trainer,scripts,eval_llm.py등 README 설명과 맞아요.
확인 범위
2026년 11월 18일에 GitHub 웹 페이지로 확인(API 미사용)했어요. 읽은 페이지는 저장소 첫 화면과 README, 릴리스 목록, 최근 커밋 목록, 열린 이슈 목록이에요. 별도 문서 사이트와 영어판 README는 읽지 않았어요. 저장소 첫 화면에는 언어 비율이 보이지 않아 트렌딩 페이지 표시로 대신 확인했어요. 코드 분석, 설치와 학습 실행은 하지 않았어요.