AI 팩토리와 LLM 워크로드의 해부

AI 팩토리 — 전력을 넣어 토큰을 뽑는다

NVIDIA가 데이터센터를 「AI 팩토리」라고 부르기 시작한 것은 마케팅 수사가 아니라 회계 단위의 변경이다. 전통적인 데이터센터의 산출물은 저장 용량이나 가상머신 시간이었다. AI 팩토리의 산출물은 토큰이고, 투입물은 전력이다.

이 관점이 실무에서 유용한 이유는, 서로 비교하기 어려운 선택지를 같은 저울에 올려주기 때문이다. HBM을 더 넣을 것인가 SRAM을 키울 것인가, NVLink를 살 것인가 이더넷으로 갈 것인가, 액체냉각 설비에 투자할 것인가 — 전부 「토큰당 비용이 얼마나 내려가는가」로 답이 나온다.

두 사진의 격차가 이 과목의 실질적 주제다. 랙 하나가 먹는 전력이 10배 이상 늘어나면 건물의 배전, 냉각, 바닥 하중, 심지어 부지 선정 기준까지 전부 다시 설계해야 한다. 11장에서 이 연쇄를 추적한다.

계보 — AI 팩토리는 슈퍼컴퓨터에서 무엇을 물려받았나

AI 데이터센터는 갑자기 나타난 것이 아니다. 수천 대의 계산 노드를 빠른 네트워크로 묶고, 전력과 냉각을 통째로 설계하고, 장애를 전제로 운영하는 방식은 과학 계산용 슈퍼컴퓨터가 수십 년 동안 다듬어 온 것이다. 이 과목에서 배울 계층 구조도 상당 부분 거기서 왔다.

규모의 다양성 — 모두가 세계 1등을 짓는 것은 아니다

뉴스에 나오는 것은 최상위 시스템이지만, 실제로 세계에서 돌아가는 계산 시설의 대부분은 중소 규모다. 우리 학교가 지을 만한 것도 이쪽에 가깝다. 규모가 다르면 설계 원칙도 달라진다 — 17장 설계 프로젝트에서 이 점이 평가 대상이 된다.

그리고 물려받지 못한 것

계보가 있다고 해서 그대로인 것은 아니다. AI 팩토리가 슈퍼컴퓨터와 결정적으로 다른 점이 셋 있다.

LLM 워크로드의 세 가지 얼굴

「LLM을 돌린다」는 말 안에는 하드웨어 요구가 전혀 다른 세 가지 작업이 섞여 있다. 이것을 구분하지 못하면 제품 비교표를 읽을 수 없다.

최근 몇 년의 가장 큰 변화는 사후학습과 추론의 경계가 흐려진 것이다. 강화학습 기반 사후학습은 모델이 스스로 답을 생성(추론)하고 그 결과로 다시 학습하기 때문에, 한 클러스터 안에서 학습 워크로드와 추론 워크로드가 동시에 돌아간다. test-time scaling(추론 시점에 더 오래 생각하기)과 에이전틱 워크로드도 같은 방향으로 압력을 준다 — 추론이 전체 연산량에서 차지하는 비중이 계속 커진다.

프리필과 디코드 — 이 과목에서 가장 중요한 한 장

모델에 프롬프트를 넣고 답을 받는 과정은 두 단계로 나뉜다.

1. 프리필(prefill) — 입력 프롬프트 전체를 한 번에 읽어 KV 캐시를 만든다. 첫 토큰이 나올 때까지의 시간(TTFT)을 결정한다.
2. 디코드(decode) — 토큰을 하나씩 순차적으로 생성한다. 토큰 간 시간(TPOT)을 결정한다.

두 단계는 같은 가중치로 같은 연산을 하는데도 하드웨어 입장에서는 완전히 다른 일이다. 그 이유는 연산 강도(arithmetic intensity), 즉 「메모리에서 1바이트 읽어올 때마다 몇 번 계산하는가」가 다르기 때문이다.

숫자로 확인하기

70B 모델을 FP8로 서빙한다고 하자. 가중치는 약 70GB다. 토큰 하나를 만들려면 이 70GB를 전부 HBM에서 읽어야 한다(MoE가 아니라면).

배치 1 · 디코드 1스텝
  읽어야 할 바이트   ≈ 70 GB   (가중치 전체)
  해야 할 연산       ≈ 2 × 70e9 = 140 GFLOPs
  연산 강도          = 140e9 / 70e9 ≈ 2 FLOPs/byte

HBM 대역폭이 8 TB/s 라면
  1스텝 소요시간     ≈ 70 GB / 8 TB/s ≈ 8.75 ms
  → 초당 약 114 토큰이 이론 상한. 연산 유닛은 거의 놀고 있다.

배치 256 · 디코드 1스텝
  읽어야 할 바이트   ≈ 70 GB   (똑같다! 가중치는 한 번만 읽으면 된다)
  해야 할 연산       ≈ 256 × 140 GFLOPs = 35.8 TFLOPs
  연산 강도          ≈ 512 FLOPs/byte   → 이제서야 연산 한계에 접근

MoE(Mixture of Experts) 모델은 이 계산을 한 번 더 비튼다. 토큰마다 일부 전문가만 활성화되므로 읽는 바이트가 줄어들지만, 그 대신 어느 전문가가 어느 GPU에 있느냐에 따라 네트워크 통신이 발생한다. 메모리 문제를 네트워크 문제로 바꾼 셈이다 — 12장 전문가 병렬화(EP)에서 다룬다.

시스템 계층 — 칩에서 사이트 간까지

AI 팩토리는 다섯 계층으로 분해된다. 각 계층은 서로 다른 인터커넥트로 묶이며, 계층을 하나 내려갈 때마다 대역폭은 약 10배씩 줄고 지연은 약 1,000배씩 늘어난다. 이 비대칭이 분산 학습·서빙 설계의 모든 것을 결정한다.

여기서 반드시 짚어야 할 개념이 scale-up과 scale-out의 구분이다.

숫자는 2026년 상용 제품 기준의 대략적 규모다. 제품별 정확한 값은 4~6장, 패브릭 기술의 상세는 8~9장에서 다룬다.

산업 지형 — 왜 이렇게 빨리 바뀌는가

이 과목이 매년 갱신을 전제로 설계된 이유는 NVIDIA가 2023년경부터 연간 케이던스로 전환했기 때문이다. 과거 2년 주기였던 아키텍처 교체가 1년으로 줄었다.

Blackwell → Blackwell Ultra → Rubin → Rubin Ultra → Feynman
   (GB200)      (GB300)        (VR200)    (Kyber NVL576)

케이던스가 짧아진 결과는 단순히 「칩이 자주 나온다」가 아니다. GPU 세대가 바뀔 때마다 랙 전력, 냉각 방식, 네트워크 세대, 심지어 배전 아키텍처까지 함께 바뀐다. 11장에서 보겠지만 Hopper(약 40kW) → GB200(약 120kW) → VR200(약 190~230kW)의 변화는 건물 설계를 매번 다시 하게 만든다.

판이 커지면서 생긴 두 번째 변화

• 하이퍼스케일러 자체 실리콘 — Google TPU, AWS Trainium, Microsoft Maia, Meta MTIA. 구매력이 충분히 크면 자기 워크로드에 맞춘 칩을 직접 만드는 편이 싸진다 (6장).
• 개방형 규격 진영 — UALink, Ultra Ethernet, OCP 랙 규격. NVLink 독점에 대응해 AMD·Broadcom·하이퍼스케일러가 뭉쳤다 (5장, 8장).
• 추론 전용 하드웨어 — 디코드가 대역폭에 묶인다는 사실을 정면으로 노린 설계들 (7장).

이 커리큘럼이 다루는 제품 사양·출하 시점·계약 규모는 강의 준비 시점의 공개 자료에 근거한다. 특히 아직 출하 전인 제품의 수치는 벤더 발표값이므로, 수업에서 인용할 때는 반드시 원문 슬라이드·블로그를 함께 확인하고 갱신하기 바란다. 5절의 갱신 캘린더를 참고할 것.

실습 — 손계산과 실측을 맞춰보기

# 장비 메모리 대역폭 확인
nvidia-smi --query-gpu=name,memory.total --format=csv

# 서빙 후 TTFT / TPOT 측정 (예: vLLM 벤치마크 스크립트)
#   - 짧은 프롬프트 / 긴 프롬프트 각각
#   - 배치 1 / 배치 8 / 배치 32
# 기록할 값: TTFT(ms), TPOT(ms), 처리량(tok/s), GPU 사용률(%)

참고 자료

• NVIDIA Technical Blog — GB200 NVL72 : 이 페이지의 랙·트레이 사진 출처
• Williams, Waterman, Patterson, Roofline: An Insightful Visual Performance Model (CACM 2009) — 루프라인 모델 원논문
• NVIDIA Dynamo Docs — Disaggregated Serving : 프리필/디코드 분리의 실제 구현 (13장 예습)
• vLLM 문서 : 실습에 사용할 서빙 엔진