최태원 SK 회장 “AI 시대, GPU 다음 병목은 메모리”

AI 생태계 핵심요소 ‘HBM’, 글로벌 공급 요청 쇄도
추론 시대 본격화로 메모리 수요 기하급수 증가
“규모를 넘어선 AI 효율 시대, SK가 만들어갈 것”

“인공지능(AI) 발전에 그래픽처리장치(GPU) 확보는 큰 병목이었습니다. 하지만 진짜 병목은 메모리입니다.”

최태원 SK그룹 회장의 말이다. 그는 3일 서울 코엑스에서 열린 ‘SK AI SUMMIT 2025’에서 앞으로 AI 시대에서 GPU보다 더 큰 병목은 고대역폭메모리(HBM)가 될 것으로 진단했다.

실제로 글로벌 AI 기업들의 HBM 확보 경쟁이 치열해지고 있다. 최 회장은 수많은 기업의 공급 요청이 쏟아지고 있다고 밝혔다. “우리가 공급을 못하면 그들이 아예 비즈니스를 못 하는 상황”이라며 HBM 공급이 AI 생태계의 생명줄이 됐음을 강조했다.

◇ “GPU 성능 좋아도 소용없다”… 메모리 병목의 역설

아무리 엔진 성능이 좋아도 연료 공급관이 좁으면 속도를 낼 수 없다. AI 시대의 아이러니가 여기에 있다. 계산 능력은 남는데 메모리가 부족해 제 성능을 발휘하지 못한다.

최 회장은 이날 “GPU 프로세서가 아무리 계산량을 빨리 처리해도 메모리 대역폭이 제약이 되고 있다”며 “실제로 프로세서의 계산 능력이 남더라도 이를 다 사용하지 못하는 상황이 생긴다”고 설명했다.

실제로 GPU 한 개당 탑재되는 HBM 개수가 급증하고 있다. 과거 1개였던 것이 현재 12개 이상으로 늘었다. 메모리 대역폭 제약을 해결할 유일한 방법이 HBM 탑재 개수를 늘리는 것뿐이기 때문이다.

상황을 더 악화시키는 건 추론(Inference) 시대의 본격화다. AI가 하나의 질문에 더 깊이 생각하고, 답을 스스로 평가·검증하며 다시 생각하는 과정을 반복하면서 필요한 메모리 용량이 기하급수적으로 증가하고 있다.

최 회장은 “메모리 칩 공급량이 전례 없이 빠른 속도로 소진되고 있다”며 “이제는 스마트폰이나 PC, 서버 등 기존 메모리 칩 시장 전체에 영향을 주고 있다”고 말했다. HBM 공급 자체가 병목이 된 것이다.

문제는 수요가 폭발적으로 늘고 있다는 점이다. 2020년 2300억달러(약 328조원)였던 글로벌 AI 데이터센터 투자는 올해 6000억달러(약 856조원)로 늘었다. 오픈AI의 스타게이트 프로젝트는 5000억달러(약 713조원), 메타는 2028년까지 6000억달러 투자를 예고했다.

최 회장은 “AI 수요는 폭증하는데 공급이 따라가지 못하고 있다”며 “특히 병목 지점이 명확해졌는데, 바로 메모리”라고 지적했다.

◇ 오픈AI의 HBM 월 90만장 요청의 의미

오픈AI의 월 90만장 HBM 요청은 단순한 구매 제안이 아니다. AI 패권 경쟁의 본질을 드러내는 상징적 사건이다.

월 90만장이라는 숫자는 현실적으로 불가능한 수준이다. 최 회장은 “한 기업이 현재 전 세계 전체 HBM 월 생산량의 2배인 규모를 요구하는 것”이라며 “오픈AI가 남보다 더 많은 HBM을 확보하는 것이 필요하다고 판단한 것”이라고 해석했다.

샘 올트먼 오픈AI CEO는 이날 영상 메시지를 통해 “미래를 지원하려면 세계가 본 적 없는 규모의 인프라가 필요하다”며 “각자가 자신만의 지능형 AI 어시스턴트를 갖는 미래를 실현하려면 대규모 협력이 필수”라고 강조했다.

실제로 SK하이닉스에는 수많은 기업의 메모리 칩 공급 요청이 쏟아지고 있다고 한다. 최 회장은 “요즘 너무 많은 기업으로부터 메모리 칩 공급 요청을 받고 있어서 이걸 다 어떻게 소화하나 하는 게 고민”이라며 “잘못해서 우리가 공급을 못하면 그들이 아예 비즈니스를 못하는 상황에 접어들 수도 있다”고 말했다. 이어 “우리가 돈을 좀 많이 번다는 차원을 넘어서 우리가 공급을 해야 하는 건 책임지고 공급을 해야하는 것이 고객을 계속해서 지키는 길이라고 생각한다”고 강조했다.

◇ SK의 해법… 생산량과 효율 동시 상승

SK하이닉스가 총력 대응에 나섰다. 전략은 생산능력 확대와 기술 혁신 두 축이다.

지난해 청주에 HBM 전용 공장인 M15X팹 가동을 시작했다. 원래 계획에 없었지만 수요 급증을 예측해 선제적으로 움직인 결과다. 내년부터 본격 생산에 들어간다.

핵심은 2027년 오픈 예정인 용인 클러스터다. 최 회장은 “용인에 지금으로서는 큰 팹이 4개 들어갈 수 있도록 설계되고, 그 한 팹 하나에 M15X와 같은 팹이 6개가 들어갈 수 있는 크기”라고 설명했다.

그는 “용인 클러스터가 다 완성된다면 제 개인적으로 어떻게 보면 24개의 청주 M15X팹이 동시에 들어가는 것이라고 생각한다”고 밝혔다. 공간을 먼저 확보한 뒤 수요에 맞춰 단계적으로 장비를 투입한다는 전략이다.

기술 혁신도 병행한다. SK하이닉스는 고용량 메모리 칩과 CXL(Compute Express Link) 같은 신기술 도입을 추진하고 있다. 최 회장은 “하이닉스의 기술력은 이미 업계에 어느 정도 증명됐다고 생각한다”며 “엔비디아조차 우리에게 더 이상 개발 속도 이야기를 하지 않는다”고 말했다.

SK는 엔비디아와 협력해 AI로 HBM 생산 효율을 높이는 프로젝트도 시작했다. 엔비디아의 옴니버스를 활용해 디지털 트윈 기반 가상 공장을 구축하고, 완전 자율화된 ‘자율 공장(Autonomous Factory)’를 만든다는 계획이다.

최 회장은 “메모리 칩 생산과 데이터센터 운영에 AI를 적용해서 효율과 품질을 높이고자 한다”며 “AI로 AI 문제를 푸는 것”이라고 설명했다. 이어 “우리는 옴니버스를 활용해서 생산 효율을 획기적으로 높일 것”이라면서 “그렇게 되면 엔비디아는 더 많은 칩을 공급받을 수 있으니 서로에게 도움이 된다”고 덧붙였다.

그는 앞으로 AI는 규모의 경쟁에서 벗어날 것으로 전망했다. 규모의 경쟁이 아닌 효율 경쟁으로 패러다임이 전환한다는 분석이다. “규모만 갖고 싸우게 되면 많은 돈이 소요되고 상당히 비효율이 일어난다”며 “효율성을 좀 더 만들어서 리소스가 적은 나라도 AI에 접근이 용이하고 그 나라도 AI의 혜택을 볼 수 있어야 한다”고 말했다. 또 “SK는 가장 효율적인 AI 솔루션을 찾기 위해 노력하겠다”고 강조했다.