전력·냉각 — 랙 밀도가 바꾸는 건물
랙 하나가 40kW에서 1MW로 가는 동안, 바뀌는 것은 랙이 아니라 건물이다. 배전 방식, 냉각 루프, 부지 선정 기준까지 전부 다시 설계된다. 이 장은 「칩 이야기가 결국 토목·전기 이야기가 되는」 지점이다.
이 장을 마치면
- 세대별 랙 전력 추이와 그에 따른 배전·냉각 방식의 변화를 설명할 수 있다.
- 800 VDC 아키텍처가 도입되는 기술적 이유를 전류·손실·급변 세 가지로 설명할 수 있다.
- 액체냉각의 구성 요소와 온수 루프의 이점을 설명할 수 있다.
- 실측 전력을 랙 스케일로 외삽해 전력·냉각 용량을 산정할 수 있다.
25배가 되는 동안 무엇이 바뀌었나
세대별 랙 전력과 그때 함께 바뀌는 것. 오른쪽 열이 곧 건물 공사 목록이다.
직접 제작 도해 · 자유 사용1장에서 「AI 팩토리」를 전력을 넣어 토큰을 뽑는 공장이라 했다. 이 장은 그 「전력을 넣는」 쪽의 이야기다. 그리고 여기서 확인할 것은 하나다 — 칩 세대 교체는 건물의 전기실과 기계실을 다시 짓는 일이다.
하이퍼스케일 데이터센터 항공사진. 건물보다 그 주변의 변전 설비와 냉각 장치가 차지하는 면적을 보라. 실제로 규모를 결정하는 것은 그쪽이다.
출처: en.wikipedia.org© en.wikipedia.org (교육 목적 인용)
전통적인 데이터센터 내부. 랙당 수 kW 시절의 공랭 구조다. 이 방식으로는 130kW 랙을 식힐 수 없다.
출처: en.wikipedia.org© en.wikipedia.org (교육 목적 인용)800 VDC — 전기를 랙까지 끌고 오는 방식이 바뀐다
전통적 교류 배전과 800 VDC 직류 배전의 계통 비교.
직접 제작 도해 · 자유 사용왜 지금 바뀌는가 — 세 가지 압력
| 압력 | 무슨 일이 생기는가 | 800 VDC가 하는 일 |
|---|---|---|
| 전류 | 같은 전력을 낮은 전압으로 보내면 전류가 커진다. 구리 단면적과 발열은 전류의 제곱으로 는다 | 전압을 높여 전류를 낮춘다 → 구리 사용량과 발열이 준다 |
| 변환 손실 | AC→DC→AC→DC로 네 번 변환하며 단계마다 몇 %씩 잃는다 | 고체 변압기(SST)로 단계를 줄인다 |
| 전력 급변 | 수만 GPU가 동시에 연산을 시작·정지하면 계통에 큰 출렁임이 전달된다 | ESS(에너지 저장 장치)로 흡수한다 |
800 VDC 배전을 적용한 AI 데이터센터의 전력 설비 구상. GaN·SiC 전력반도체가 고체 변압기의 핵심 부품이며, 사이드카 랙 형태로 연산 랙 옆에 배치되기도 한다.
출처: blogs.nvidia.com© blogs.nvidia.com (교육 목적 인용)
전통적인 변전 설비 — 부피와 이격 거리가 곧 부지 면적
큰 부피와 무게, 그리고 안전을 위한 넓은 이격 거리가 필요하다. 고체 변압기(SST)가 노리는 것이 바로 이 면적이다. 반도체 스위칭으로 변압하면 철심과 구리 코일이 필요 없어져 크기가 크게 줄고, 그러면 연산 랙 옆에 「사이드카」로 붙일 수 있게 된다.
출처: Rept0n1xCC BY-SA 3.0
1930년대 배전 조작반 — 계통도와 목적지 이름이 벽에 적혀 있다
모자를 쓴 사람들이 조작반 앞에 서 있고, 그 위 패널에 「TRANSFORMER 2」 「THREE BRIDGES」 「EASTBOURNE」 같은 설비와 목적지 이름이 회로 기호와 함께 그려져 있다. 손잡이 하나가 회선 하나에 대응한다. 전력 계통 조작의 본질은 이 사진에서 바뀌지 않았다 — 「어디서 받아 어디로 보내는가」를 그림으로 걸어 두고, 그 위에서 끊고 잇는다. 오늘날 SCADA 화면이 하는 일도 같다.
출처: Ministry of Information Photo Division PhotographerPublic domain
변전 설비와 개폐기가 함께 놓인 모습
변압기 옆의 개폐기(switchgear)는 회로를 끊고 잇는 장치다. 전력 계통은 「변환」과 「차단」이 한 세트로 다녀야 한다 — 고장이 났을 때 빠르게 끊지 못하면 사고가 커지기 때문이다. 800 VDC 전환에서 기술적으로 까다로운 부분 중 하나가 바로 이 직류 차단이다.
출처: Bob HarveyCC BY-SA 2.0
소규모 시설의 배전반 — 우리 학교 서버실에 가까운 규모
차단기 여러 개가 회로별로 늘어서 있다. 교내 서버실에 랙을 추가할 때 가장 먼저 확인할 것이 이 배전반의 여유 용량이다. 11장 실습 5단계에서 「가장 먼저 막히는 항목」을 찾으라고 하는데, 대개 여기이거나 냉각이다.
출처: Marco d'Itri from Milano, ItalyCC BY-SA 2.0
슈퍼컴퓨팅 센터의 UPS 캐비닛
정전 시에도 전력을 유지하기 위한 설비다. AC 배전 계통에서는 이 단계에서 AC→DC→AC 변환이 한 번 더 일어나며, 그때마다 몇 %씩 손실이 생긴다. 위 도해 ①의 「손실」 표시 중 하나가 이것이다.
출처: Derrick Coetzee from Berkeley, CA, USACC0
이중 변환 UPS의 원리도
들어온 교류를 직류로 바꿔 배터리와 연결한 뒤 다시 교류로 만든다. 항상 변환을 거치므로 정전 시 전환 시간이 0이지만, 평상시에도 손실이 있다. 800 VDC 방식에서는 배전 자체가 직류이므로 이 왕복이 사라지고, 배터리(ESS)를 직류 버스에 그대로 붙일 수 있다.
출처: Vid GáborCC BY-SA 4.0이 전환에는 Vertiv · Schneider · Siemens · ABB · Delta 등 전력 설비 업체가 깊이 관여한다. CoreWeave · OCI 등이 800 VDC를 전제로 한 설계를 도입하고 있다. AI 인프라 시장이 반도체 회사만의 것이 아니라는 점을 여기서 확인할 수 있다.
냉각 — 공기로는 안 되는 지점
공기는 열을 나르는 매체로서 물보다 훨씬 나쁘다. 같은 부피로 나를 수 있는 열이 수천 배 차이 난다. 랙이 40kW를 넘어가면 공기를 아무리 세게 불어도 감당이 안 된다.
| 방식 | 어떻게 | 적용 구간 | 특징 |
|---|---|---|---|
| 공랭 | 찬 공기를 밀어 넣고 뜨거운 공기를 뺀다 | ~40 kW | 설비가 단순하지만 밀도 한계가 명확 |
| 후면 도어 열교환기 | 랙 뒷문에 물 코일 | ~50 kW | 기존 시설에 얹기 쉬운 과도기 방식 |
| 직접 액체냉각 (D2C) | 칩 위 콜드플레이트에 물을 직접 흘린다 | 현재 표준 | CDU · 매니폴드 · 콜드플레이트가 세트 |
| 침수 냉각 | 장비를 절연 액체에 담근다 | 특수 용도 | 밀도는 높지만 유지보수 방식이 완전히 달라짐 |
냉각탑. 데이터센터가 최종적으로 열을 버리는 곳이며, 물 소비량 때문에 부지 선정의 제약이 되기도 한다.
출처: AloofmanishCC BY-SA 4.0
산업용 냉각수 설비. AI 데이터센터의 기계실은 이 규모에 가까워지고 있다.
출처: CoolingtowerrCC0액체냉각에서 흔한 오해가 「물이 차가울수록 좋다」는 것이다. 실제로는 40°C 정도의 미지근한 물로도 충분히 식힐 수 있다. 칩 온도가 훨씬 높기 때문이다.
그리고 물이 미지근해도 된다면 냉동기(chiller)를 안 돌려도 된다. 외기만으로 식히는 자연 냉각(free cooling) 시간이 크게 늘어난다. PUE가 좋아지는 가장 큰 요인이 여기에 있다.
침수 냉각 설비 — 장비를 절연 액체에 담근다
밀도는 매우 높지만 장비 교체·정비 방식이 완전히 달라진다. 서버를 꺼내려면 액체를 털어내야 하고, 케이블과 커넥터도 액체에 견뎌야 한다. 대규모 상용 배치가 아직 제한적인 이유는 성능이 아니라 이 운영 문제다.
출처: Submer Immersion CoolingCC BY-SA 4.0
침수 냉각 탱크의 내부 — 기판이 액체에 잠긴 상태
사용하는 액체는 전기가 통하지 않는 유전체다. 공기보다 열전도와 열용량이 훨씬 좋아 같은 부피로 훨씬 많은 열을 나른다. 다만 액체의 가격, 증발 손실, 환경 규제가 도입 판단에 함께 들어간다.
출처: Stealth2021CC BY 4.0
단상 침수 냉각의 원리
액체가 끓지 않고 대류로만 열을 나른다. 펌프로 순환시켜 열교환기로 보낸다. 구조가 단순하고 액체 손실이 적어 실제 도입 사례는 대부분 이쪽이다.
출처: SubmerCC BY-SA 4.0
2상 침수 냉각의 원리
액체가 칩 위에서 끓어 증발하고, 위쪽 응축기에서 다시 액체가 되어 떨어진다. 상변화에 쓰이는 잠열 덕분에 열을 아주 많이 가져갈 수 있지만, 액체가 비싸고 밀폐가 까다로우며 일부 냉매는 환경 규제 대상이다.
출처: SubmerCC BY-SA 4.0PUE(Power Usage Effectiveness) 는 「전체 소비 전력 ÷ IT 장비 소비 전력」이다. 1.0에 가까울수록 냉각·배전에 낭비가 적다는 뜻이다. 다만 PUE가 좋아도 절대 전력량이 크면 의미가 제한적이므로, 15장에서는 PUE보다 tokens/W 로 보는 법을 다룬다.
실습 — 실측에서 랙 스케일로 외삽하기
목표: DGX Spark의 전력을 부하별로 실측해 W/token을 구하고, 이를 랙 스케일로 외삽해 필요한 전력·냉각 용량을 산정한다.
1단계 — 부하별 전력 실측
# GPU 전력 (샘플링)
nvidia-smi --query-gpu=power.draw,temperature.gpu,clocks.sm \
--format=csv -l 1 > power_log.csv
# 측정할 상태
# (a) 유휴
# (b) 추론 서빙 - 배치 1
# (c) 추론 서빙 - 배치 32
# (d) 학습 (가능하면)
# 가능하면 벽면 전력계로 시스템 전체 전력도 함께 측정한다2단계 — 기록표
| 상태 | GPU 전력 (W) | 시스템 전력 (W) | 처리량 (tok/s) | W / token |
|---|---|---|---|---|
| 유휴 | — | — | ||
| 추론 · 배치 1 | ||||
| 추론 · 배치 32 | ||||
| 학습 | — | — |
3단계 — 랙 스케일 외삽
- 측정한 W/token을 기준으로, 초당 100만 토큰을 내려면 몇 W가 필요한가?
- 그 전력을 VR200 NVL72(약 210 kW/랙)로 환산하면 랙 몇 대인가? (주의: Spark와 랙 제품은 효율이 다르다. 그 차이를 어떻게 보정할 것인가?)
- 배치 1과 배치 32의 W/token 차이는 몇 배인가? 이것이 13장에서 배치를 키우려는 이유와 어떻게 연결되는가?
4단계 — 냉각 용량 산정
랙 전력의 대부분이 열이 된다고 보고, 다음을 계산하라.
- 랙 1대(210 kW)를 식히는 데 필요한 냉각수 유량 (물 비열 4.18 kJ/(kg·K), ΔT는 10K와 20K 두 경우)
- 랙 20대 규모라면 CDU 용량과 배관 규격은 어느 정도가 되어야 하는가
- 냉각탑에서 버려야 할 총 열량과, 그에 따른 물 소비량(증발 손실)의 대략적 규모
5단계 — 우리 학교에 적용
교내 서버실에 이 랙을 넣는다고 가정하고 전력 · 냉각 · 바닥하중 · 소음 · 소방 각 항목에서 무엇이 부족한지 점검표를 만들어라. 가장 먼저 막히는 항목은 무엇인가?
제출물
측정 로그 + 계산 시트 + 점검표 (A4 4장 이내). 외삽에 쓴 가정은 전부 명시하고, 가정이 틀렸을 때 결론이 얼마나 달라지는지 함께 적을 것.
- 40°C 온수로 식힌다는 발상이 왜 직관에 반하는가? 어디서 오해가 생기는가?
- 800 VDC 전환의 걸림돌은 기술인가, 표준인가, 아니면 인력과 규정인가?
- 7장의 국가AI컴퓨팅센터가 해남에 지어지는 이유를 이 장의 내용으로 설명해 보라.
- PUE가 1.1인 100MW 센터와 PUE가 1.3인 30MW 센터 중 무엇이 「더 친환경적」인가? 질문 자체에 어떤 함정이 있는가?
참고 자료
- NVIDIA — 800 VDC 전력 아키텍처 : 이 페이지 그림 출처
- OCP Global Summit — 랙·전력·냉각 세션 자료
- Vertiv · Schneider Electric 백서 — 고밀도 랙 전력·냉각
- ASHRAE 데이터센터 열 관리 가이드라인