AI데이터센터 시스템 아키텍처 그림 출처
모듈 D · 소프트웨어·운영·17장·이론 2h / 실습 1h

종합 설계 프로젝트 발표

14주 동안 계층별로 뜯어본 것을 하나의 설계서로 되돌린다. 평가의 핵심은 「좋은 제품을 골랐는가」가 아니라 「왜 그 제품인지 워크로드에서 논증했는가」이다.

이 장을 마치면

  1. 워크로드 요구사항에서 출발해 제품 선정을 논증할 수 있다.
  2. 칩부터 건물까지 계층별 병목을 식별하고 설계에 반영할 수 있다.
  3. 차세대 제품으로의 확장성을 고려한 설계를 제시할 수 있다.
  4. 설계 결정의 근거와 불확실성을 함께 제시할 수 있다.

과제 — 둘 중 하나를 고른다

선택 A

교내 100-GPU급 AI데이터센터

우리 학교가 실제로 지을 수 있는 규모. 제약(예산·전력·공간)이 현실적이므로 타협의 논리를 보여주기 좋다.

선택 B

국가AI컴퓨팅센터급 1,000-GPU 클러스터

7장 중간 과제의 확장판. 제품 선정 근거, scale-up/out 설계, 전력·냉각, SW 스택, TCO를 모두 포함한다.

어느 쪽을 골라도 답해야 할 것
  1. 이 시설은 무엇을 위한 것인가? 사전학습 / 사후학습 / 추론 / 교육 실습 — 비중과 근거.
  2. 그 워크로드가 하드웨어에 요구하는 것은 무엇인가? 연산인가 대역폭인가 용량인가.
  3. 그래서 무엇을 고르는가? 제품 선택마다 위 요구와의 연결을 명시.
  4. 계층별 병목은 어디인가? 칩 · 노드 · 랙 · 클러스터 · 스토리지 · 전력 · 냉각 · SW.
  5. 얼마인가? 취득가와 운영비, 그리고 tokens/$ 또는 시간당 단가.
  6. 2~3년 뒤에도 쓸 수 있는가? 세대 교체 대비 확장성.

설계서 구성 — 각 장이 어느 장에서 나오는가

14주 동안 배운 것이 그대로 목차가 된다. 각 장을 쓸 때 해당 장로 돌아가면 된다.

장내용근거가 되는 장
1. 요구사항 정의누가 무엇을 얼마나 돌릴 것인가 · SLO1장 · 13장
2. 워크로드 분석연산/대역폭/용량 요구를 수치로1장 · 2장
3. 가속기 선정제품 비교와 선택 근거2 · 4 · 5 · 6 · 7장
4. 노드·랙 구성CPU 결합 · 랙 종류와 수량3장 · 4장
5. 네트워크 설계scale-up 도메인 크기 · 리프–스파인 계산8장 · 9장
6. 스토리지 설계데이터 파이프라인 · 체크포인트 · KV 계층10장
7. 전력·냉각배전 방식 · 냉각 용량 · 부지 조건11장
8. 소프트웨어 스택학습 프레임워크 · 서빙 · 스케줄러12장 · 13장
9. 용량 산정동시 요청 수 · 메모리 예산 · 필요 GPU 수14장
10. 운영과 경제성관측 지표 · TCO · tokens/$15장
11. 부지와 입지전력·냉각·네트워크 여건 · 국내 사례 참조16장
12. 확장성과 위험세대 교체 대비 · 가정의 불확실성전 장
설계서가 최종적으로 만들어 내는 것

설계서가 최종적으로 만들어 내는 것

이 사진 한 장 안에 이 과목의 모든 장이 들어 있다 — 랙 안의 칩(2장), 노드 구성(3장), 랙을 묶는 패브릭(8장), 랙 사이 네트워크(9장), 바닥 아래의 전력과 냉각(11장), 그리고 그 위에서 도는 소프트웨어(12·13장). 설계서는 이 사진을 짓기 위한 문서다.

출처: Trower, NASAPublic domain

평가 기준

항목비중무엇을 보는가
제품 선택의 워크로드 근거35 %「좋아 보여서」가 아니라 「이 워크로드가 이것을 요구하므로」로 논증했는가. 1장의 연산/대역폭 구분이 선택에 실제로 반영됐는가
계층별 병목 식별30 %GPU만 보고 끝내지 않았는가. 스토리지·네트워크·전력 중 어디가 먼저 막히는지 짚었는가
세대 교체 대비 확장성20 %Kyber NVL576, UALink 2.0, Trainium4 등 2027년 이후를 고려했는가. 전력·냉각 여유를 어느 기준으로 잡았는가
근거와 불확실성 제시15 %수치에 출처가 있는가. 추정한 것을 추정이라고 밝히고 그것이 결론에 미치는 영향을 적었는가
감점 요인
  • 출처 없는 수치 — 특히 벤더 발표값을 검증된 사실처럼 쓰는 것
  • 워크로드 정의 없이 제품부터 고르는 것
  • GPU만 계산하고 네트워크·스토리지·전력을 빠뜨리는 것
  • 「최고 사양으로」 식의 결정 — 제약 조건 안에서의 선택이 설계다
  • 모르는 것을 아는 척하는 것. 모른다고 쓰고 그 영향을 밝히는 편이 점수가 높다

잘 쓴 설계서와 못 쓴 설계서

매년 반복되는 패턴이 있다. 미리 알고 피하자.

못 쓴 설계서왜 문제인가잘 쓴 설계서
「최신 VR200 NVL72를 도입한다」로 시작워크로드 정의가 없으니 왜 그것인지 알 수 없다「우리 워크로드는 X이고, X는 Y를 요구하므로 Z를 고른다」
GPU만 계산하고 끝실제로는 네트워크·스토리지·전력이 먼저 막힌다계층별로 병목을 짚고, 가장 먼저 막히는 곳을 지목
벤더 발표 수치를 그대로 인용조건이 다르면 그 숫자는 성립하지 않는다조건(정밀도·배치·SLO)을 함께 적고, 필요하면 보정
「예산은 넉넉하다고 가정」제약 없는 설계는 설계가 아니다제약을 명시하고 그 안에서 우선순위를 정함
모든 항목을 확신에 차서 서술모르는 것을 아는 척한 것이 드러난다「이 값은 추정이며 ±30%까지 볼 수 있다」고 명시
2026년 기준으로만 설계완공 시점에 이미 낡는다세대 교체 시나리오와 그때의 여유를 계산
평가자가 실제로 보는 것

발표를 듣는 사람이 가장 알고 싶은 것은 「이 팀이 얼마나 많이 아는가」가 아니라 「이 팀이 자기 결정의 이유를 아는가」다.

그래서 모르는 것을 모른다고 하고, 그 불확실성이 결론에 어떤 영향을 주는지 밝힌 설계서가 모든 것을 확신에 차서 서술한 설계서보다 점수가 높다. 실무에서도 그렇다 — 가정이 명시된 제안서라야 검토가 가능하다.

바닥 아래 — 설계서가 다루는 보이지 않는 절반

바닥 아래 — 설계서가 다루는 보이지 않는 절반

설계서의 모든 표와 계산이 최종적으로 향하는 곳이다. 건물, 변전 설비, 냉각탑, 케이블 경로가 전부 설계 대상이며, 그중 어느 하나가 빠지면 나머지가 무용지물이 된다. 11장의 전력·냉각 계산이 설계서의 필수 장인 이유다.

출처: Elizabeth K. JosephCC BY 2.0
이중바닥 아래 — 케이블과 배관이 지나는 길

이중바닥 아래 — 케이블과 배관이 지나는 길

랙 위에서 보이는 것은 절반이다. 바닥 아래로 전력, 네트워크, 냉각수가 지나간다. 이 공간의 높이와 경로가 미리 확보돼야 하며, 나중에 랙을 늘리려면 여기에 여유가 있어야 한다. 설계서에서 자주 빠지지만 실제 증설 가능성을 결정하는 항목이다.

출처: AdamantiosCC BY-SA 3.0
1장의 Titan 을 다시 — 이번에는 통로와 바닥을 본다

1장의 Titan 을 다시 — 이번에는 통로와 바닥을 본다

캐비닛 열이 안쪽으로 이어지고 그 앞에 사람 한 명이 지나갈 만한 통로가 남아 있다. 오른쪽 아래에 이중바닥 타일의 격자가 보인다. 통로 폭·케이블 경로·정비 동선은 나중에 바꿀 수 없다 — 캐비닛은 옮길 수 있어도 바닥과 배관은 못 옮긴다. 설계서에 배치도를 요구하는 이유이며, 15장의 「정리되지 않은 서버실」이 되지 않으려면 처음부터 계획해야 한다.

출처: Oak Ridge National LaboratoryCC BY 2.0
이중바닥 위 — 타일을 들어내면 아래가 나온다

이중바닥 위 — 타일을 들어내면 아래가 나온다

타일 한 장씩 들어낼 수 있어 배선 변경이 가능하다. 공랭 시대에는 이 아래로 찬 공기를 보냈다. 액체냉각으로 가면 이 공간의 역할이 「기류」에서 「배관」으로 바뀐다.

출처: OntariodatacenterCC BY-SA 4.0
아래에서 위를 본 모습

아래에서 위를 본 모습

지지 기둥과 그 사이의 케이블 트레이가 보인다. 바닥 하중이 여기서 결정된다 — 랙 하나가 1톤을 넘어가면 이중바닥이 버티는지 확인해야 하고, 못 버티면 슬래브 직치로 가야 한다. 11장 실습의 「가장 먼저 막히는 항목」 점검표에 넣어야 할 항목이다.

출처: Marco d'Itri from Milano, ItalyCC BY-SA 2.0

발표

  • 시간 — 팀당 15분 발표 + 5분 질의
  • 슬라이드 — 12장 이내. 표와 계산을 보여주고, 결정의 이유에 시간을 쓸 것
  • 반드시 포함 — ① 워크로드 정의 ② 계층별 구성도 ③ 병목 분석 ④ 비용 계산 ⑤ 확장성
  • 질의 대비 — 「왜 A가 아니라 B인가」, 「이 수치의 출처는」, 「가정이 틀리면 어떻게 되는가」에 답할 수 있어야 한다
이 과목이 끝나고 남았으면 하는 것

제품 이름과 사양은 1년이면 낡는다. 실제로 이 자료도 매년 갱신해야 한다.

남기고 싶은 것은 읽는 방법이다 — 새 제품 발표를 보면 「이건 어느 병목을 노린 것인가」를 먼저 묻고, 성능 수치를 보면 「어떤 조건인가」를 먼저 확인하고, 시스템을 보면 「어느 계층이 먼저 막히는가」를 먼저 찾는 습관.

그 습관이 있으면 2027년의 Kyber도, 2030년의 무엇도 같은 방식으로 읽을 수 있다.

참고 자료

  • 1–16장 전체 자료 및 각 장의 참고 자료
  • NVIDIA DSX AI Factory 레퍼런스 디자인 — 설계서의 형식 참고
  • OCP Global Summit 발표 자료 — 실제 데이터센터 설계 사례
  • 국가AI컴퓨팅센터 관련 공개 자료 — 선택 B의 근거 자료