본문으로 건너뛰기

DeepSeek-R1 논문 분석 — 순수 강화학습만으로 추론 능력이 싹튼 순간

arXiv 2501.12948 DeepSeek-R1 논문을 구조를 따라가며 해설합니다. SFT 없이 강화학습만으로 등장한 R1-Zero의 emergent behavior, GRPO와 4단계 파이프라인, 증류, MIT 라이선스와 API 가격이 주는 충격까지 정리한 분석 기록.

· 7분 읽기
share

DeepSeek-R1 논문 분석 — 순수 강화학습만으로 추론 능력이 싹튼 순간

들어가며: 왜 이 논문인가

2025년 1월 20일, DeepSeek가 DeepSeek-R1을 공개했습니다. 논문 제목은 “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning”(강화학습으로 LLM의 추론 능력을 이끌어내기, arXiv:2501.12948)입니다. OpenAI o1이 보여준 “길게 생각하는 모델”을 전혀 다른 방식으로 재현했다는 주장이었습니다.

이 논문을 주목한 이유는 성능보다 질문에 있습니다. 추론 모델의 상식은 “사람이 만든 훌륭한 사고 과정(chain-of-thought)을 대량으로 모아 가르친다”였습니다. 이 논문은 지도 학습(SFT) 데이터 없이 보상만으로 추론 능력이 자라난다는 결과를 낸 첫 공개 연구입니다. 논문 구조를 따라가며 무엇을 증명했고 무엇이 남는지 정리해봤습니다.

기술 배경 한 줄: R1 계열은 DeepSeek-V3-Base(총 671B, 활성 37B의 MoE) 위에 학습되었습니다.

방법론 1: GRPO — 값 모델을 버린 강화학습

학습 알고리즘은 GRPO(Group Relative Policy Optimization)입니다. DeepSeek가 DeepSeekMath 논문(arXiv:2402.03300)에서 처음 제안한 PPO의 변형으로, 핵심은 critic(값) 모델을 없애는 것입니다.

PPO는 policy와 같은 크기의 값 모델을 따로 학습해야 해서 비용이 거의 두 배입니다. GRPO는 대신 같은 질문에 대한 여러 응답을 한 그룹으로 샘플링하고, 그룹 내 보상의 평균을 baseline으로 삼아 각 응답의 상대적 우위(평균을 빼고 표준편차로 나눈 값)를 advantage로 씁니다. “이 문제에서 다른 후보들보다 잘했는가”만 보는 셈이라, 신경망이 아닌 규칙 기반 보상과 궁합이 좋습니다.

방법론 2: 보상 설계 — 정확도와 형식, 단 둘

R1-Zero의 보상은 화려하지 않습니다. 딱 두 가지입니다.

  • 정확도 보상: 수학은 최종 답을 지정된 형식(박스 안)에 쓰게 해 규칙으로 채점. 코드는 컴파일러와 사전 정의된 테스트 케이스로 검증.
  • 형식 보상: 사고 과정을 <think> 태그 안에 넣도록 강제.

신경망 기반 outcome/process 보상 모델은 의도적으로 배제했습니다. 대규모 RL에서 신경망 보상 모델은 보상 해킹(reward hacking)에 취약하고, 재학습 비용 때문에 파이프라인이 복잡해진다는 것. 훈련 프롬프트도 시스템 프롬프트 없이 “사고 과정은 <think> 안, 답은 <answer> 안에”라는 구조 요구 하나뿐이고, 반성하라는 식의 힌트는 일절 없습니다. 어떤 행동이 저절로 등장하는지 관찰하기 위해서였습니다.

R1-Zero: 등장해버린 행동들 (Emergent Behavior)

이 미니멀한 설정에서 흥미로운 일이 벌어집니다.

첫째, 응답 길이가 학습이 진행될수록 계속 늘었습니다. 모델이 “더 오래 생각할수록 보상이 높아진다”는 사실을 스스로 발견한 겁니다. 수백에서 수천 토큰에 이르는 추론이 보상 신호만으로 자라났습니다.

둘째, 자기검증(self-verification)과 반성(reflection) 이 등장했습니다. 풀이를 되돌아보고, 다른 접근을 시도하고, 스스로 틀렸음을 인정하고 다시 푸는 행동입니다. 누구도 가르쳐주지 않았습니다.

셋째, 논문이 “aha moment”라고 부른 장면입니다. 중간 체크포인트가 풀이 도중 이렇게 말하는 것을 관찰했습니다. “Wait, wait. Wait. That’s an aha moment I can flag here.” 그리고선 처음부터 단계별로 재평가에 들어갑니다. 논문은 “이건 모델의 aha moment이자 지켜보던 연구자들의 aha moment이기도 했다”고 씁니다.

성능은 AIME 2024 pass@1이 **15.6%에서 71.0%**로 올라갔고, 64개 응답의 다수결(cons@64)을 쓰면 **86.7%**로 o1-0912(74.4%)를 넘어섭니다. MATH-500은 95.9%, GPQA Diamond 73.3%. “SFT 없이 여기까지 왔다”는 사실 자체가 결과입니다.

다만 R1-Zero에는 값진 한계가 있었습니다. 가독성이 나쁘고, 중국어-영어가 뒤섞이는 언어 혼합이 일어났으며, 무한 반복에 빠지기도 했습니다. 이 한계를 고치는 과정이 곧 R1입니다.

R1: 콜드스타트 SFT와 RL을 섞은 4단계 파이프라인

R1은 “콜드스타트 데이터를 조금 넣으면 어떻게 되나?”라는 질문에서 출발한 4단계 파이프라인입니다. 각 단계가 명확한 역할을 가진 게 이 설계의 미덕입니다.

1단계 — 콜드스타트 SFT. 수천 건의 긴 CoT 데이터로 V3-Base를 파인튜닝합니다. 데이터는 few-shot 프롬프팅, 반성·검증을 유도하는 프롬프트, R1-Zero 출력을 다듬은 것 등으로 수집했고, 응답 마지막에 요약을 붙이는 읽기 좋은 포맷을 강제했습니다. RL 초반의 불안정한 구간을 건너뛰는 완충재입니다.

2단계 — 추론 중심 RL. R1-Zero와 같은 규칙 기반 보상으로 학습하되, 언어 혼합을 막기 위해 언어 일관성 보상(CoT에서 대상 언어 단어의 비율)을 추가합니다. 흥미롭게도 이 보상을 넣으면 일부 벤치마크 성능이 살짝 떨어지는 트레이드오프를 논문은 솔직히 공개합니다. 성능보다 가독성, 즉 사람의 선호를 택한 것입니다.

3단계 — 거부 샘플링과 SFT. 2단계 체크포인트에서 여러 응답을 뽑아 맞는 것만 남기는 거부 샘플링으로 약 60만 건의 추론 데이터를 만들고, 작문·사실 QA·번역 등 비추론 데이터 약 20만 건을 합쳐 총 약 80만 건으로 V3-Base를 다시 학습합니다. 이 단계에서 추론 능력과 일반 능력이 한 체크포인트로 합쳐집니다.

4단계 — 전 시나리오 RL. 추론 데이터엔 규칙 기반 보상을, 일반 데이터엔 인간 선호 reward model을 결합해 유용성과 무해성을 맞추는 두 번째 RL을 돌립니다.

평가 결과 읽기: 어디까지 o1에 닿았나

최종 R1의 성적(GitHub README의 전체 표 참고)에서 중요한 숫자만 뽑으면 이렇습니다.

벤치마크              DeepSeek-R1   OpenAI o1-1217
AIME 2024 (pass@1)     79.8          79.2
MATH-500               97.3          96.4
Codeforces 퍼센타일     96.3          96.6
GPQA Diamond           71.5          75.7
MMLU                   90.8          91.8

수학·코드 경쟁 문제에서는 o1-1217과 대등하거나 살짝 앞섭니다. Codeforces 2029 Elo는 참가자 상위 3.7% 수준입니다. 반면 대학 수준 지식(GPQA, MMLU)에서는 o1이 여전히 앞섭니다. 논문은 뒤지는 지표도 숨기지 않는데, 그 솔직함이 결과 표의 신뢰도를 높입니다. 추론 밖 영역에서도 AlpacaEval 2.0 승률 87.6%, Arena-Hard 92.3%로 강합니다.

증류: 큰 모델의 추론을 작은 모델에 부으면

논문의 또 하나 축은 증류(distillation)입니다. R1이 생성한 앞선 80만 건 샘플로 Qwen2.5와 Llama3 계열 밀집 모델(1.5B~70B)을 SFT만 학습했습니다.

결과가 인상적입니다. DeepSeek-R1-Distill-Qwen-32B는 AIME 2024 72.6%, MATH-500 94.3%, LiveCodeBench 57.2%로 o1-mini(63.6%/90.0%/53.8%)를 넘어섭니다. 증류된 14B조차 QwQ-32B-Preview를 전 지표에서 앞질렀습니다.

핵심 질문은 “작은 모델에 RL을 직접 돌리면 안 되나?”였습니다. 논문은 Qwen-32B-Base에 1만 스텝 이상 RL을 돌려 비교했습니다. AIME 47.0%로 QwQ-32B-Preview(50.0%)급에 그친 반면 증류 모델은 72.6%. 결론은 작은 모델 자체 RL보다 큰 모델의 추론 패턴을 증류하는 편이 훨씬 싸고 좋다는 것. 단, 지능의 경계를 넘으려면 결국 더 강한 베이스와 더 큰 RL이 필요하다는 단서도 붙습니다.

실패 기록의 가치

논문은 실패한 시도도 공개합니다. 프로세스 보상 모델(PRM)은 단계 정의와 중간 채점이 어렵고 보상 해킹을 유도한다는 이유로, MCTS는 토큰 생성의 넓은 탐색 공간에서 국소 최적에 빠지기 쉽고 가치 모델 학습이 어렵다는 이유로 폐기했습니다. “안 되는 길”이 정리되어 후속 연구가 규칙 기반 RLVR(검증 가능한 보상에 대한 RL)로 모이는 계기가 됐습니다.

생태계 충격: MIT 라이선스와 API 가격

R1의 파장은 논문 밖에서 더 컸습니다. 모델과 코드가 MIT로 공개되어 상업적 사용, 수정, 파생 모델 제작, R1 출력으로 다른 LLM을 증류 학습하는 것까지 허용됩니다(증류 모델은 베이스의 원래 라이선스를 따름). 가중치는 Hugging Face에서 받을 수 있습니다.

가격도 확인했습니다. DeepSeek API 가격표에 따르면 deepseek-reasoner(R1)는 1백만 토큰당 입력 $0.55(캐시 미스 기준, 캐시 히트 $0.14), 출력 $2.19이고, CoT 토큰도 출력에 포함해 과금됩니다. deepseek-chat(V3)은 입력 $0.27/출력 $1.10입니다. 주요 경쟁 추론 모델 공식 가격과는 자릿수가 다른 수준이라, 추론 모델의 원가 구조를 바꿔놓았다는 평가가 나온 이유입니다.

남는 질문들

읽고 나서도 남는 지점입니다. 검증 가능한 도메인(수학·코드) 중심의 RLVR이 일반 추론으로 얼마나 확장되는지는 열린 문제이고, 벤치마크 최적화와 일반화된 추론의 구분도 여전히 어렵습니다. 논문이 스스로 인정하듯 소프트웨어 엔지니어링 데이터가 부족해서 SWE-verified 49.2%는 Claude 3.5 Sonnet-1022(50.8%)보다 낮습니다.

마치기

이 논문의 진짜 기여는 “o1급 모델을 만들었다”가 아니라 추론 능력이 데이터의 양이 아니라 보상 설계로도 이끌어낼 수 있음을 공개 검증 가능한 형태로 보였다는 점이라고 생각합니다. 방법론이 전부 공개되어 있으니 32B 증류 모델을 직접 돌려보며 원리를 체감할 수도 있습니다. 실습기는 별도 포스트로 정리해보겠습니다.

레퍼런스

Related