- Published on
AI 데이터센터 비용 폭등, 하이퍼스케일러가 풀어야 할 2026년 숙제
- Authors
- Name
솔직히 2024년만 해도 AI 데이터센터는 "돈만 대면 다 된다"는 식의 optimism이 지배적이었다. 엔비디아 H100 GPU 몇 개만 사서 띄우면, 그게 곧 AI 슈퍼컴퓨팅이었다. 그런데 2026년 현재, 상황이 완전히 달라졌다. 단순히 GPU를 사는 문제가 아니라, 그 GPU를 돌리는 데 드는 비용이 폭발하고 있기 때문이다.
문제는 생각보다 훨씬 근본적이다. 2026년 하이퍼스케일 데이터센터 시장은 2,054억 8천만 달러(약 270조 원) 규모로 성장할 전망이다. 2024년 583억 달러에서 불과 2년 만에 3.5배 늘어난다. 그런데 정작 이 시장을 선도하려는 기업들이 하나둘씩 "이건 좀 심하다"는 반응을 보이고 있다.
가장 먼저 터진 문제는 메모리 가격이다. 마이크론이 최근 실적 발표에서 "2026년 HBM 생산량은 이미 선약으로 다 팔렸다"고 밝혔다. 공급 부족이 2026년까지 이어진다는 뜻이다. 이미 2024년 4분기부터 메모리 가격은 50% 넘게 뛰었고, 2026년 1분기에도 40~50% 추가 상승이 예상된다. HBM은 말 그대로 AI 서버의 핵심 부품인데, 이걸 못 구하면 아무리 GPU가 많아봤자 소용이 없다.
삼성전자와 SK하이닉스 입장에서는 기회 같지만, 하이퍼스케일러 입장에서는 재앙에 가깝다. HBM 점유율을 보면 SK하이닉스 62%, 마이크론 21%, 삼성전자 17%(2025년 2분기 기준)인데, 이 3사가 공급을 못 따라주면 AI 서버 확보 자체가 불가능하다. 실제로 구글, MS, 아마존 같은 빅테크들이 HBM 확보 전쟁을 벌이고 있다는 소문이 돌 정도다.
두 번째 문제는 전력 인프라다. AI 데이터센터의 전력 밀도가 빠르게 증가하고 있는데, 기존 배전 방식으로는 감당이 안 된다. GPU 기반 워크로드가 확산되면서, 데이터센터 한 곳에 몰리는 전력 소비가 과거와 비교가 안 될 정도로 커졌다. 액체 냉각(liquid cooling) 도입이 GPU 밀도를 높이고, 클러스터 크기를 키우고, 랙 레벨 전력 설계 효율을 개선하지만, 그만큼 전력 인프라 비용도 같이 뛴다.
데이터센터 임대료 자체도 오르고 있다. 글로벌 데이터센터 임대료는 2030년까지 연평균 5%씩 상승할 것으로 예상된다. 미주 지역은 공급 제약이 심각해서 연간 7% 상승이 전망된다. 용량은 2배로 늘어나는데, 비용은 그 이상으로 뛰는 셈이다.
이쯤 되면 "그럼 그냥 안 하면 되지 않나?"라는 생각이 들 수도 있다. 실제로 국내 대기업들의 하이퍼스케일러 계획이 비용 상승으로 줄줄이 철회되고 있다는 보고도 있다. 하지만 글로벌 빅테크들은 못 그런다. AI는 이제 선택이 아니라 생존 문제다.
구글만 해도 2026년 데이터센터와 AI 인프라에 CAPEX 1,7501,850억 달러(약 230조240조 원)를 쏟아붓고 있다. GPU 가격이 폭등해도, 전력 비용이 터져나와도, 어쩔 수 없이 투자한다. 안 하면 도태되기 때문이다.
여기서 기이한 paradox가 생긴다. 비용이 너무 많이 드니까 투자를 줄이고 싶은데, 안 하면 경쟁에서 밀리니까 어쩔 수 없이 투자한다. 그러다 보니 한 번 투자하면, 그 인프라를 최대한 질럴(heap)해야 수지가 맞는다. 그러니까 더 투자하게 된다. 악순환이다.
GPUaaS(GPU as a Service) 시장이 급성장하는 것도 이런 맥락이다. 2026년에 60억 달러(약 8조 8천억 원) 규모에서 2033년에는 259억 달러(약 38조 원)로 4배 넘게 성장할 전망이다. 직접 데이터센터를 짓고 GPU를 사기엔 비용이 너무 들어서, 클라우드 형태로 빌려 쓰는 수요가 폭발하는 것이다.
HPE 같은 회사는 2026년 데이터센터 설계의 출발점이 컴퓨트가 아니라 네트워크 패브릭이 될 것이라고 분석한다. 조 단위 파라미터 모델이 확산되면서, 하이퍼스케일러들의 AI 학습 요구가 폭발하고 있기 때문이다. 이걸 어떻게 효율적으로 연결하느냐가 핵심이 되고 있다.
한국 입장에서는 이게 기회이자 위기다. 삼성전자와 SK하이닉스는 HBM 공급 부족으로 수혜를 입고 있지만, 동시에 하이퍼스케일러들이 비용 상승으로 투자를 줄이면 공급 계약 자체가 줄어들 위험도 있다. 마이크론의 2026년 HBM 생산량이 이미 다 팔렸다는 건, 지금 확보해둔 계약이 마지막 기회일 수도 있다는 뜻이다.
내 생각에는 2026년은 AI 인프라 비용 위기가 본격화되는 해가 될 것 같다. "돈만 있으면 AI를 할 수 있다"는 시대는 끝났다. 이제는 "돈이 있어도 HBM이 없고, HBM이 있어도 전력 인프라가 부족하다"는 시대가 오고 있다. 그렇다고 AI를 안 할 수도 없고. 이게 바로 지금 하이퍼스케일러들이 직면한 딜레마의 핵심이다.