종합 설계 프로젝트 발표
14주 동안 계층별로 뜯어본 것을 하나의 설계서로 되돌린다. 평가의 핵심은 「좋은 제품을 골랐는가」가 아니라 「왜 그 제품인지 워크로드에서 논증했는가」이다.
이 장을 마치면
- 워크로드 요구사항에서 출발해 제품 선정을 논증할 수 있다.
- 칩부터 건물까지 계층별 병목을 식별하고 설계에 반영할 수 있다.
- 차세대 제품으로의 확장성을 고려한 설계를 제시할 수 있다.
- 설계 결정의 근거와 불확실성을 함께 제시할 수 있다.
과제 — 둘 중 하나를 고른다
교내 100-GPU급 AI데이터센터
우리 학교가 실제로 지을 수 있는 규모. 제약(예산·전력·공간)이 현실적이므로 타협의 논리를 보여주기 좋다.
국가AI컴퓨팅센터급 1,000-GPU 클러스터
7장 중간 과제의 확장판. 제품 선정 근거, scale-up/out 설계, 전력·냉각, SW 스택, TCO를 모두 포함한다.
- 이 시설은 무엇을 위한 것인가? 사전학습 / 사후학습 / 추론 / 교육 실습 — 비중과 근거.
- 그 워크로드가 하드웨어에 요구하는 것은 무엇인가? 연산인가 대역폭인가 용량인가.
- 그래서 무엇을 고르는가? 제품 선택마다 위 요구와의 연결을 명시.
- 계층별 병목은 어디인가? 칩 · 노드 · 랙 · 클러스터 · 스토리지 · 전력 · 냉각 · SW.
- 얼마인가? 취득가와 운영비, 그리고 tokens/$ 또는 시간당 단가.
- 2~3년 뒤에도 쓸 수 있는가? 세대 교체 대비 확장성.
설계서 구성 — 각 장이 어느 장에서 나오는가
14주 동안 배운 것이 그대로 목차가 된다. 각 장을 쓸 때 해당 장로 돌아가면 된다.
| 장 | 내용 | 근거가 되는 장 |
|---|---|---|
| 1. 요구사항 정의 | 누가 무엇을 얼마나 돌릴 것인가 · SLO | 1장 · 13장 |
| 2. 워크로드 분석 | 연산/대역폭/용량 요구를 수치로 | 1장 · 2장 |
| 3. 가속기 선정 | 제품 비교와 선택 근거 | 2 · 4 · 5 · 6 · 7장 |
| 4. 노드·랙 구성 | CPU 결합 · 랙 종류와 수량 | 3장 · 4장 |
| 5. 네트워크 설계 | scale-up 도메인 크기 · 리프–스파인 계산 | 8장 · 9장 |
| 6. 스토리지 설계 | 데이터 파이프라인 · 체크포인트 · KV 계층 | 10장 |
| 7. 전력·냉각 | 배전 방식 · 냉각 용량 · 부지 조건 | 11장 |
| 8. 소프트웨어 스택 | 학습 프레임워크 · 서빙 · 스케줄러 | 12장 · 13장 |
| 9. 용량 산정 | 동시 요청 수 · 메모리 예산 · 필요 GPU 수 | 14장 |
| 10. 운영과 경제성 | 관측 지표 · TCO · tokens/$ | 15장 |
| 11. 부지와 입지 | 전력·냉각·네트워크 여건 · 국내 사례 참조 | 16장 |
| 12. 확장성과 위험 | 세대 교체 대비 · 가정의 불확실성 | 전 장 |

설계서가 최종적으로 만들어 내는 것
이 사진 한 장 안에 이 과목의 모든 장이 들어 있다 — 랙 안의 칩(2장), 노드 구성(3장), 랙을 묶는 패브릭(8장), 랙 사이 네트워크(9장), 바닥 아래의 전력과 냉각(11장), 그리고 그 위에서 도는 소프트웨어(12·13장). 설계서는 이 사진을 짓기 위한 문서다.
출처: Trower, NASAPublic domain평가 기준
| 항목 | 비중 | 무엇을 보는가 |
|---|---|---|
| 제품 선택의 워크로드 근거 | 35 % | 「좋아 보여서」가 아니라 「이 워크로드가 이것을 요구하므로」로 논증했는가. 1장의 연산/대역폭 구분이 선택에 실제로 반영됐는가 |
| 계층별 병목 식별 | 30 % | GPU만 보고 끝내지 않았는가. 스토리지·네트워크·전력 중 어디가 먼저 막히는지 짚었는가 |
| 세대 교체 대비 확장성 | 20 % | Kyber NVL576, UALink 2.0, Trainium4 등 2027년 이후를 고려했는가. 전력·냉각 여유를 어느 기준으로 잡았는가 |
| 근거와 불확실성 제시 | 15 % | 수치에 출처가 있는가. 추정한 것을 추정이라고 밝히고 그것이 결론에 미치는 영향을 적었는가 |
- 출처 없는 수치 — 특히 벤더 발표값을 검증된 사실처럼 쓰는 것
- 워크로드 정의 없이 제품부터 고르는 것
- GPU만 계산하고 네트워크·스토리지·전력을 빠뜨리는 것
- 「최고 사양으로」 식의 결정 — 제약 조건 안에서의 선택이 설계다
- 모르는 것을 아는 척하는 것. 모른다고 쓰고 그 영향을 밝히는 편이 점수가 높다
잘 쓴 설계서와 못 쓴 설계서
매년 반복되는 패턴이 있다. 미리 알고 피하자.
| 못 쓴 설계서 | 왜 문제인가 | 잘 쓴 설계서 |
|---|---|---|
| 「최신 VR200 NVL72를 도입한다」로 시작 | 워크로드 정의가 없으니 왜 그것인지 알 수 없다 | 「우리 워크로드는 X이고, X는 Y를 요구하므로 Z를 고른다」 |
| GPU만 계산하고 끝 | 실제로는 네트워크·스토리지·전력이 먼저 막힌다 | 계층별로 병목을 짚고, 가장 먼저 막히는 곳을 지목 |
| 벤더 발표 수치를 그대로 인용 | 조건이 다르면 그 숫자는 성립하지 않는다 | 조건(정밀도·배치·SLO)을 함께 적고, 필요하면 보정 |
| 「예산은 넉넉하다고 가정」 | 제약 없는 설계는 설계가 아니다 | 제약을 명시하고 그 안에서 우선순위를 정함 |
| 모든 항목을 확신에 차서 서술 | 모르는 것을 아는 척한 것이 드러난다 | 「이 값은 추정이며 ±30%까지 볼 수 있다」고 명시 |
| 2026년 기준으로만 설계 | 완공 시점에 이미 낡는다 | 세대 교체 시나리오와 그때의 여유를 계산 |
발표를 듣는 사람이 가장 알고 싶은 것은 「이 팀이 얼마나 많이 아는가」가 아니라 「이 팀이 자기 결정의 이유를 아는가」다.
그래서 모르는 것을 모른다고 하고, 그 불확실성이 결론에 어떤 영향을 주는지 밝힌 설계서가 모든 것을 확신에 차서 서술한 설계서보다 점수가 높다. 실무에서도 그렇다 — 가정이 명시된 제안서라야 검토가 가능하다.

바닥 아래 — 설계서가 다루는 보이지 않는 절반
설계서의 모든 표와 계산이 최종적으로 향하는 곳이다. 건물, 변전 설비, 냉각탑, 케이블 경로가 전부 설계 대상이며, 그중 어느 하나가 빠지면 나머지가 무용지물이 된다. 11장의 전력·냉각 계산이 설계서의 필수 장인 이유다.
출처: Elizabeth K. JosephCC BY 2.0
이중바닥 아래 — 케이블과 배관이 지나는 길
랙 위에서 보이는 것은 절반이다. 바닥 아래로 전력, 네트워크, 냉각수가 지나간다. 이 공간의 높이와 경로가 미리 확보돼야 하며, 나중에 랙을 늘리려면 여기에 여유가 있어야 한다. 설계서에서 자주 빠지지만 실제 증설 가능성을 결정하는 항목이다.
출처: AdamantiosCC BY-SA 3.0
1장의 Titan 을 다시 — 이번에는 통로와 바닥을 본다
캐비닛 열이 안쪽으로 이어지고 그 앞에 사람 한 명이 지나갈 만한 통로가 남아 있다. 오른쪽 아래에 이중바닥 타일의 격자가 보인다. 통로 폭·케이블 경로·정비 동선은 나중에 바꿀 수 없다 — 캐비닛은 옮길 수 있어도 바닥과 배관은 못 옮긴다. 설계서에 배치도를 요구하는 이유이며, 15장의 「정리되지 않은 서버실」이 되지 않으려면 처음부터 계획해야 한다.
출처: Oak Ridge National LaboratoryCC BY 2.0
이중바닥 위 — 타일을 들어내면 아래가 나온다
타일 한 장씩 들어낼 수 있어 배선 변경이 가능하다. 공랭 시대에는 이 아래로 찬 공기를 보냈다. 액체냉각으로 가면 이 공간의 역할이 「기류」에서 「배관」으로 바뀐다.
출처: OntariodatacenterCC BY-SA 4.0
아래에서 위를 본 모습
지지 기둥과 그 사이의 케이블 트레이가 보인다. 바닥 하중이 여기서 결정된다 — 랙 하나가 1톤을 넘어가면 이중바닥이 버티는지 확인해야 하고, 못 버티면 슬래브 직치로 가야 한다. 11장 실습의 「가장 먼저 막히는 항목」 점검표에 넣어야 할 항목이다.
출처: Marco d'Itri from Milano, ItalyCC BY-SA 2.0발표
- 시간 — 팀당 15분 발표 + 5분 질의
- 슬라이드 — 12장 이내. 표와 계산을 보여주고, 결정의 이유에 시간을 쓸 것
- 반드시 포함 — ① 워크로드 정의 ② 계층별 구성도 ③ 병목 분석 ④ 비용 계산 ⑤ 확장성
- 질의 대비 — 「왜 A가 아니라 B인가」, 「이 수치의 출처는」, 「가정이 틀리면 어떻게 되는가」에 답할 수 있어야 한다
제품 이름과 사양은 1년이면 낡는다. 실제로 이 자료도 매년 갱신해야 한다.
남기고 싶은 것은 읽는 방법이다 — 새 제품 발표를 보면 「이건 어느 병목을 노린 것인가」를 먼저 묻고, 성능 수치를 보면 「어떤 조건인가」를 먼저 확인하고, 시스템을 보면 「어느 계층이 먼저 막히는가」를 먼저 찾는 습관.
그 습관이 있으면 2027년의 Kyber도, 2030년의 무엇도 같은 방식으로 읽을 수 있다.
참고 자료
- 1–16장 전체 자료 및 각 장의 참고 자료
- NVIDIA DSX AI Factory 레퍼런스 디자인 — 설계서의 형식 참고
- OCP Global Summit 발표 자료 — 실제 데이터센터 설계 사례
- 국가AI컴퓨팅센터 관련 공개 자료 — 선택 B의 근거 자료