AI데이터센터 LLM 학습·추론 시스템 아키텍처

칩 하나에서 시작해 노드·랙·클러스터를 거쳐 「전력을 넣어 토큰을 뽑는 공장」에 이르기까지, AI 인프라를 계층으로 분해해 읽는 법을 배운다. 제품 이름을 외우는 과목이 아니라, 왜 그 제품이 그렇게 생겼는지 워크로드에서 역산하는 과목이다. 마지막 두 장에서는 그 전부를 책상 위 10인치 랙 두 대로 실제로 지어 운영한다.

학습 목표

1. LLM 학습과 추론이 하드웨어에 요구하는 것이 어떻게 다른지(연산 중심 vs 메모리 대역폭 중심) 설명하고, 그것이 제품 설계에 어떻게 반영되는지 읽어낼 수 있다.
2. 칩 → 노드 → 랙(scale-up) → 클러스터(scale-out) → 사이트 간(scale-across)의 계층으로 AI 팩토리를 분해해 설명할 수 있다.
3. 주요 제품군(NVIDIA Vera Rubin, AMD Helios, Google TPU 8, AWS Trainium3/4, 하이퍼스케일러 자체 칩, 국산 NPU)의 아키텍처를 비교 평가할 수 있다.
4. 네트워크·스토리지·전력·냉각이 GPU 세대 교체에 따라 어떻게 재설계되는지(NVLink 6, UALink, CPO, 800 VDC, 액체냉각) 이해한다.
5. 학습·추론 소프트웨어 스택(병렬화 프레임워크, Dynamo/vLLM/SGLang, P/D 분리 서빙)을 실제로 구동하고, 토큰 경제성 관점에서 시스템을 설계할 수 있다.
6. 미니 데이터센터를 직접 구축하고 운영하면서, 앞의 계산들이 실물에서 그대로 성립하는지 전력·냉각·네트워크·용량·사고 대응으로 확인할 수 있다.

모듈 구성

장별 계획

전 19장이 본문·그림·실습 지시까지 작성돼 있다. 각 장은 앞 장의 결론 위에 쌓이도록 이어져 있으니 순서대로 읽는 편이 좋다. 18·19장은 앞의 열일곱 장을 손으로 확인하는 자리이므로 마지막에 읽는다.

평가

「최신」을 유지하는 방법

이 과목은 다루는 대상이 1년 주기로 바뀐다. 아래 행사 직후 해당 장 자료를 갱신하는 것을 전제로 설계했다.

핵심 참고 자료

축소 운영안

• 8장 압축형 — 1, 2, 4, 5, 6, 8+9(통합), 11, 13 → 최신 제품과 네트워크·전력 중심
• 실습 중심형 — 1, 3, 8, 11, 12, 14 → 18, 19 → 이론은 최소로, 손으로 짓고 운영하는 데 시간을 쓴다
• 자기주도 속성 과정 — 모듈 A(1주) → 모듈 B(1주) → 모듈 C(1주) → 13장 실습(1주) → 모듈 E(2주)

이 사이트에 대하여