분산 학습 시스템 아키텍처

다섯 가지 병렬화와 그 자리

8장에서 scale-up과 scale-out의 차이가 「메모리를 읽느냐 메시지를 보내느냐」라고 했다. 그 결론이 여기서 지도로 정리된다.

파이프라인 병렬과 버블

파이프라인 병렬(PP)은 레이어 묶음을 단계별로 나눠 여러 GPU에 얹는다. 문제는 앞 단계가 일하는 동안 뒤 단계가 놀고, 뒤 단계가 일하는 동안 앞 단계가 논다는 것이다. 이 유휴를 버블(bubble) 이라 한다.

버블을 줄이는 방법은 배치를 잘게 쪼개 파이프라인을 채우는 것이다. 마이크로배치를 흘려보내면 각 단계가 항상 뭔가를 하고 있게 된다.

10장의 「겹치기」와 같은 발상이다. 기다림을 없앨 수 없다면 다른 일 뒤에 숨기는 것이 분산 시스템 최적화의 기본 문법이다.

Goodput — 실제로 쓸모 있게 쓰인 시간

클러스터를 운영할 때 「GPU를 몇 장 샀는가」보다 중요한 것은 그중 몇 장이 실제로 유용한 계산을 하고 있는가이다.

MoE 학습이 특히 까다로운 이유

MoE(Mixture of Experts)는 지금 대형 모델의 주류다. 그런데 학습 시스템 관점에서 보면 dense 모델과는 다른 종류의 문제를 만든다.

부하 불균형 — 가장 성가신 문제

라우터가 토큰을 전문가에게 배분하는데, 학습 초반에는 특정 전문가로 쏠리는 경향이 있다. 쏠린 전문가를 가진 GPU만 바빠지고 나머지는 논다. 동기 학습이므로 전체 속도는 가장 느린 GPU에 맞춰진다.

• Capacity factor — 전문가당 처리할 토큰 수에 상한을 둔다. 넘치는 토큰은 버리거나 다음 레이어로 그냥 통과시킨다. 균형은 잡히지만 품질에 영향.
• Auxiliary loss — 부하가 균등해지도록 손실 함수에 항을 추가한다. 학습 목표를 하나 더 얹는 셈이라 튜닝이 필요하다.
• 전문가 배치 최적화 — 자주 함께 활성화되는 전문가를 같은 노드에 두어 통신을 줄인다.

복원력 — 수만 GPU에서 고장은 상수다

4,096 GPU가 한 달을 돈다면, 그 동안 반드시 여러 번 고장 난다. 학습 시스템 설계에서 「고장이 안 나게」가 아니라 「고장이 나도 계속 전진하게」가 목표인 이유다.

프레임워크와 스케줄러

잡 스케줄링 — Slurm과 Kubernetes

여러 팀이 한 클러스터를 나눠 쓰면 누가 언제 얼마나 쓸지를 정하는 계층이 필요하다.

• Slurm — HPC의 표준. 대규모 배치 잡, 갱(gang) 스케줄링에 강하다.
• Kubernetes — 서비스 운영에 강하고 추론 서빙과 궁합이 좋다. 학습 잡을 위해 Volcano·Kueue 같은 확장이 붙는다.
• 토폴로지 인식 스케줄링 — 8장를 배웠으니 이제 이 말이 무슨 뜻인지 안다. 같은 잡의 GPU를 같은 랙 안에 몰아 배치해야 TP를 쓸 수 있다. 스케줄러가 토폴로지를 모르면 잡이 랙에 흩어져 성능이 무너진다.

실습 — 2대에서 FSDP를 돌리고 통신을 들여다보기

# 1대에서 먼저 돌려 기준을 잡는다
torchrun --nproc_per_node=1 train.py --model small --batch 8 --steps 50
# 기록: 스텝당 시간, GPU 메모리, 처리량(samples/s)

# 1번 장비
torchrun --nnodes=2 --node_rank=0 --master_addr=10.0.0.1 --master_port=29500 \
         --nproc_per_node=1 train.py --model small --batch 8 --fsdp

# 2번 장비
torchrun --nnodes=2 --node_rank=1 --master_addr=10.0.0.1 --master_port=29500 \
         --nproc_per_node=1 train.py --model small --batch 8 --fsdp

# Nsight Systems 로 타임라인 수집
nsys profile -t cuda,nvtx,osrt -o step_profile \
     torchrun --nnodes=2 ... train.py --steps 20

# 확인할 것
#   - NCCL 커널이 차지하는 시간
#   - 그것이 계산 커널과 겹쳐 있는가, 따로 서 있는가
#   - 스텝 사이에 비어 있는 구간(데이터 로딩 대기)이 있는가

참고 자료

• Narayanan et al., Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM (SC 2021)
• NVIDIA Technical Blog — Megatron 병렬화 : 이 페이지 도해 출처
• PyTorch FSDP 문서 · TorchTitan 저장소
• MLPerf Training 결과 — 실제 대규모 학습의 구성 사례