---
title: "MoE(전문가 혼합) — 모델이 커지는데 왜 계산량은 그만큼 안 느는가"
url: https://blog.tyrano.dev/moe-%EC%A0%84%EB%AC%B8%EA%B0%80-%ED%98%BC%ED%95%A9-%EB%AA%A8%EB%8D%B8%EC%9D%B4-%EC%BB%A4%EC%A7%80%EB%8A%94%EB%8D%B0-%EC%99%9C-%EA%B3%84%EC%82%B0%EB%9F%89%EC%9D%80-%EA%B7%B8%EB%A7%8C%ED%81%BC-%EC%95%88-%EB%8A%90%EB%8A%94%EA%B0%80
lang: ko
site: Tech AI News - 테카이
category: "작동 원리"
tags: ["AI","인공지능","MoE","전문가 혼합","LLM","모델 아키텍처","Mixtral","DeepSeek"]
published: 2026-11-09T00:30:24.188Z
updated: 2026-11-09T00:30:24.188Z
sources:
  - https://huggingface.co/blog/moe
  - https://arxiv.org/abs/2401.04088
  - https://huggingface.co/papers/2412.19437
  - https://arxiv.org/abs/2101.03961
---

# MoE(전문가 혼합) — 모델이 커지는데 왜 계산량은 그만큼 안 느는가

> MoE를 "모델이 크면 다 그만큼 무겁고 느리다"는 상식으로만 이해하면, 같은 품질을 내는 모델 두 개 중 왜 하나는 훨씬 가볍게 돌아가는지 설명할 수 없습니다.

---

## 배경 / 왜 지금 이 용어인가

최근 공개되는 대형 언어 모델 소개 글에는 "전체 파라미터는 수백억~수천억 개지만, 추론 때는 그중 일부만 쓴다"는 설명이 자주 등장합니다. 모델을 키울수록 품질은 올라가지만 연산 비용(그리고 서빙 비용)도 같이 올라가는 것이 당연한 전제였는데, 이 설명은 그 전제를 벗어난 것처럼 들립니다.

이 구조의 이름이 MoE, 전문가 혼합(Mixture of Experts)입니다. 아이디어 자체는 1991년 Jacobs 등의 논문에서 처음 제시됐고, 2017년 구글의 "희소하게 게이팅된(sparsely-gated)" MoE 레이어 연구로 현대적인 형태를 갖췄습니다. 이후 2024년 [미스트랄 AI의 Mixtral](https://arxiv.org/abs/2401.04088)이 공개 가중치 모델로 이 구조를 대중화했고, 같은 해 말 [딥시크의 DeepSeek-V3](https://huggingface.co/papers/2412.19437)가 극단적인 비율로 이 구조를 밀어붙이면서 "전체 파라미터 수"와 "실제로 쓰는 파라미터 수"를 구분해서 읽어야 하는 모델이 일반적인 선택지가 됐습니다.

## 핵심 데이터 & 현황

| 구분 | 덴스(Dense) 모델 | MoE(희소) 모델 |
|---|---|---|
| 토큰당 연산에 쓰이는 파라미터 | 전체 파라미터를 모두 사용 | 라우터가 고른 일부 전문가만 사용 |
| 메모리(VRAM) 요구량 | 전체 파라미터 기준 | 전체 파라미터 기준 — 동일하게 전부 올려 둬야 함 |
| 연산량(FLOPs) | 전체 파라미터 수에 비례 | 활성 파라미터 수에 비례 |

- **Mixtral**: 전체 약 470억 개 파라미터 중, top-2 라우팅으로 토큰당 실제 연산에 쓰이는 건 약 130억 개 수준입니다 ([미스트랄 AI 연구팀 논문](https://arxiv.org/abs/2401.04088), 2024년 1월).
  > 해석: 저장(메모리)은 470억 개짜리 모델만큼 필요하지만, 연산 속도는 130억 개짜리 덴스 모델에 가깝습니다.
- **DeepSeek-V3**: 전체 6,710억 개 파라미터 중 토큰당 활성 파라미터는 370억 개로 보고됐습니다 ([딥시크 기술 보고서](https://huggingface.co/papers/2412.19437), 2024년 12월).
  > 해석: 전체/활성 비율이 Mixtral보다 훨씬 커서, 저장 비용과 연산 비용의 격차가 더 두드러지는 사례입니다.
- **Switch Transformer**: 같은 연산량(FLOPs) 조건에서 T5-XXL 대비 사전학습 속도가 약 7배 빠르다고 보고했습니다 ([구글 연구팀 논문](https://arxiv.org/abs/2101.03961), 2021년).
  > 해석: MoE가 "같은 비용으로 더 많은 파라미터를 가질 수 있다"는 효과를, 품질이 아니라 학습 속도로 먼저 증명한 사례입니다.

## 심층 분석

### 1) MoE는 정확히 무엇인가

트랜스포머의 각 블록에는 어텐션 층과 피드포워드(FFN) 층이 있습니다. MoE는 이 피드포워드 층 하나를 통째로 쓰는 대신, 같은 역할을 하는 여러 개의 작은 FFN(이를 "전문가"라고 부릅니다)으로 나누고, 토큰마다 그중 몇 개만 골라 쓰게 합니다. 어느 전문가를 쓸지 고르는 역할은 라우터(게이트)라는 작은 신경망이 맡는데, 입력을 보고 각 전문가에 점수를 매긴 뒤 점수가 가장 높은 상위 k개(top-k, 흔히 1개나 2개)만 실제로 실행합니다. 선택되지 않은 전문가는 그 토큰에 대해서는 아무 연산도 하지 않습니다. 어텐션 층이나 임베딩 같은 나머지 부분은 보통 그대로 공유되는 덴스 구조를 유지합니다.

### 2) 흔한 오해 — 왜 그렇게 읽게 되나

가장 흔한 오해는 "총 파라미터 수가 크면 무조건 더 무겁고 느리다"는 것입니다. 덴스 모델에서는 맞는 말이지만, MoE 모델에서는 그렇지 않습니다. 비유하자면, 방대한 백과사전을 통째로 갖추고 있는 사람이라도 질문 하나에 답할 때 책 전체를 다시 읽는 게 아니라 관련된 몇 개 항목만 펼쳐 보는 것과 비슷합니다. 책장에 책을 꽂아 두는 공간(메모리)은 전체 분량만큼 필요하지만, 답을 찾는 데 걸리는 시간(연산)은 실제로 펼쳐 본 분량에만 좌우됩니다. "총 파라미터"는 저장 비용과 묶여 있고, "활성 파라미터"는 연산 비용과 묶여 있다는 점을 나누어 읽어야 이 구조가 왜 효율적인지 이해할 수 있습니다.

### 3) 실제로 판단하는 기준

MoE 모델을 평가할 때 섞어서 보면 안 되는 지표가 몇 가지 있습니다.

- **전체 파라미터 vs 활성 파라미터**: 전체 파라미터는 모델을 메모리에 올려 두는 데 드는 비용을 결정하고, 활성 파라미터는 토큰 하나를 처리하는 데 드는 연산 비용을 결정합니다. 둘은 별개의 숫자이며, 어느 하나만 보고 "이 모델이 더 가볍다"고 단정할 수 없습니다.
- **top-k 라우팅의 선택**: 토큰마다 전문가를 1개만 쓸지(top-1), 2개를 쓸지(top-2)는 품질과 연산량 사이의 트레이드오프입니다. 적게 쓸수록 연산은 가볍지만 품질 손실 위험이 커지고, 많이 쓸수록 그 반대입니다.
- **로드 밸런싱(load balancing)**: 라우터를 그대로 학습시키면 인기 있는 소수 전문가로 선택이 몰리는 경향이 있고, 몰리지 않은 전문가는 충분히 학습되지 않습니다. 이를 막기 위해 전문가별 선택 비율을 고르게 맞추는 보조 손실(auxiliary loss)을 함께 학습시키는 것이 일반적입니다.

### 4) 언제 쓸모 있고 언제 무의미한가

MoE는 대규모 분산 학습이나, 처리량(throughput)이 중요한 대규모 서빙 환경에서 강점이 뚜렷합니다. 같은 연산 예산으로 더 많은 파라미터(더 많은 "지식 용량")를 가질 수 있기 때문입니다. 반면 VRAM이 제한된 단일 GPU나 로컬 환경에서는 오히려 불리할 수 있습니다. 토큰당 연산이 가벼워도, 전문가를 전부 메모리에 올려 둬야 하는 건 변하지 않기 때문입니다. 파인튜닝도 덴스 모델보다 까다로운 편인데, 라우터를 건드리면 전체 로드 밸런스가 흔들리기 쉬워서 더 작은 배치 크기나 다른 학습률 설정이 필요한 경우가 많습니다.

## 실전 — MoE를 제대로 읽는 N가지 원칙

1. "총 파라미터" 숫자만 보고 모델의 크기나 속도를 판단하지 않습니다. 활성 파라미터(토큰당 실제로 쓰는 양)를 함께 확인해야 연산 비용을 제대로 가늠할 수 있습니다.
2. 메모리(VRAM) 요구량은 활성 파라미터가 아니라 전체 파라미터를 기준으로 계산됩니다. "가볍다"는 표현은 연산에 한정된 말이지, 저장 공간에는 적용되지 않습니다.
3. MoE라는 이름이 붙었다고 전부 같은 구조는 아닙니다. 전문가를 몇 개 쓰는지(top-k), 로드 밸런싱을 어떻게 맞추는지에 따라 같은 "MoE"라도 실제 효율과 안정성은 꽤 다를 수 있습니다.
4. 로컬이나 단일 GPU 환경에서 MoE 모델을 돌릴 계획이라면, 연산이 가볍다는 점보다 전체 파라미터를 다 올릴 수 있는 메모리가 있는지를 먼저 따져야 합니다.

## 코멘트
