클러스터 운영·관측·토큰 경제성

관측 — 무엇을 봐야 하는가

클러스터가 「잘 돌고 있다」를 판단하려면 무엇을 봐야 하는가? 대시보드에 흔히 뜨는 GPU 사용률은 생각보다 쓸모가 적다.

대시보드를 여러 개 띄우는 것은 쉽다. 어려운 것은 그중 무엇을 벽에 걸 것인가다. 아래 세 장은 90년 간격의 관제실인데, 벽에 걸린 것의 종류가 같다.

GPU를 나눠 쓰기

• MIG (Multi-Instance GPU) — 하나의 GPU를 하드웨어 수준에서 격리된 조각으로 나눈다. 여러 사용자의 작은 잡을 안전하게 태울 때.
• 시분할 공유 · MPS — 격리는 약하지만 유연하다.
• 교육 기관에서는 수업용 소규모 잡이 대부분이므로 분할이 가동률을 크게 올린다. 아래 경제성 계산과 직결된다.

장애를 전제로 한 운영

수만 개의 부품으로 이루어진 시스템에서 아무것도 고장 나지 않는 시간은 없다. 운영의 목표는 「고장을 막는 것」이 아니라 「고장이 나도 서비스와 학습이 계속되게 하는 것」이다.

Goodput을 실제로 계산해 보기

한 달(720시간) 동안 4,096 GPU 클러스터를 돌렸다고 하자.

  예약된 시간                       720 h
  - 계획 정비                      -  8 h
  - 장애로 인한 정지               - 22 h
  - 체크포인트 쓰기 (동기 부분)    -  6 h
  - 재시작 후 되감기로 날린 시간   - 14 h
  - 낙오 노드로 인한 감속 손실     - 30 h  (환산)
  ─────────────────────────────────────────
  유효 학습 시간                    640 h
  Goodput = 640 / 720 ≈ 89 %

  같은 조건에서 Goodput 이 70% 라면?
  → 장비를 27% 더 사는 것과 같은 효과. 운영 개선이 곧 예산이다.

여러 사용자가 나눠 쓰는 클러스터

학교나 연구기관의 클러스터는 대개 여러 팀이 나눠 쓴다. 이때 생기는 문제는 기술이 아니라 정책에 가깝다.

토큰 경제성 — 성능을 돈으로 환산하기

「3배 성능 = 랙 수 1/3」이 성립하려면

새 세대가 3배 빠르다는 발표를 보고 랙 수를 3분의 1로 줄일 수 있다고 계산하는 것은 위험하다. 다음 조건이 전부 맞아야 성립한다.

1. 그 3배가 내 워크로드에서도 3배인가 — 정밀도·모델·배치가 발표 조건과 같은가?
2. 랙 전력도 3배가 안 늘었는가 — 성능이 3배인데 전력도 3배면 전력비는 그대로다.
3. 부하가 그만큼 있는가 — 랙을 3분의 1로 줄여도 그 랙을 꽉 채울 수요가 있어야 한다.
4. 그 사이 다른 것이 병목이 되지 않는가 — GPU가 3배 빨라지면 스토리지·네트워크가 먼저 막힐 수 있다.

벤치마크 읽는 법

MLPerf는 현재 가장 신뢰할 만한 공개 벤치마크다. 조건이 규정돼 있고, 결과가 검증을 거치며, 제출 구성이 공개된다.

체크리스트 — 어떤 성능 수치를 만나든

• 무엇 대비 몇 배인가? 기준선이 구세대인가, 경쟁사인가, 최적화 전인가?
• 정밀도는? FP4와 FP8을 비교하면 당연히 2배가 나온다.
• 희소성(sparsity)을 가정했는가? 가정하면 숫자가 2배가 된다.
• 칩 단위인가 랙 단위인가? 랙에 칩이 더 많으면 랙 성능은 당연히 높다.
• SLO 조건이 있는가? 지연 제약 없이 잰 처리량은 서비스에 쓸 수 없다.
• 전력과 칩 수가 명시되어 있는가? 없으면 tokens/W를 계산할 수 없다.

Hot Chips 등에서 제3자 추론 벤치마크의 방법론을 두고 논쟁이 벌어지는 것은 위 항목들에 대한 합의가 아직 없기 때문이다. 수치를 못 믿겠다는 뜻이 아니라, 조건을 함께 읽어야 한다는 뜻이다.

실습 — 우리 학교 미니 AI데이터센터 운영비 모델링

참고 자료

• MLCommons — MLPerf Training · MLPerf Inference
• NVIDIA DCGM 문서 — 클러스터 관측 지표
• SemiAnalysis — AI 데이터센터 TCO 분석
• 과기정통부 · NIPA GPUaaS 사업 공고 — 국내 사업 모델 사례