인공지능(AI) 인프라 지원 거점인 광주광역시(시장 강기정)가 지원 영역을 초거대 AI로 확장했다. 이달부터 광주 국가AI데이터센터에서 엔비디아의 최신 고성능 그래픽처리장치(GPU) ‘H100’을 지원한다. 대형언어모델(LLM) 기반 생성형 AI 인기가 높아지자 국내 중소기업과 스타트업도 관련 기술 개발을 위한 인프라를 지원하기 위해서다. 해당 인프라는 광주 소재 기업뿐 아니라 다른 지역에 있는 기업 모두 활용할 수 있다.

7일 본지 취재에 따르면, 광주시는 엔비디아 H100을 국가AI데이터센터에 구축해 서비스하고 있다. 현재 H100 기반 성능을 기업에서 평가하고 있는 단계다. 내년 7월부터는 광주시가 보유한 고성능컴퓨팅(HPC)도 H100 기반으로 작동할 예정이다.

H100은 엔비디아가 현재 고성능 AI 개발에 주로 사용되는 A100 다음으로 내놓은 GPU 모델이다. 현재 상용된 GPU 중 최고 성능을 자랑한다. 이 GPU 20개가 모이면 전 세계 인터넷 트래픽과 동등한 성능을 유지할 수 있다는 말이 있을 정도다. 여러 개의 메모리 칩을 수직으로 연결해 기존보다 데이터를 혁신적으로 빠르게 처리할 수 있는 ‘HBM3’가 탑재돼 초당 3테라바이트(TB)의 메모리 대역폭을 갖췄고, 외부 접속은 초당 약 5TB로 가능하다.

H100은 최근 LLM과 같은 고성능 AI 개발과 연산에 적합하다는 평가다. LLM에는 기본적으로 많은 양의 데이터가 입력되는데 이 양을 빠르게 소화해 결괏값을 내기에 H100이 가장 효율적이기 때문이다. 이 탓에 현재 H100은 구하기도 어렵고, 사용하기도 어려운 품귀현상에 놓여 있다.

광주시는 국가AI데이터센터를 준비하며 H100을 미리 확보해 이달부터 서비스하기 시작했다. 국내에서 H100을 상용화한 건 광주시 사례가 처음이다. 광주시가 H100 상용화에 앞장선 건 국내 기업들의 초거대 AI 활용을 지원하기 위해서다. 초거대 AI는 대용량 연산이 가능한 컴퓨팅 인프라를 기반으로 대규모 데이터를 학습한 AI 모델이다. 기존의 AI가 특정 분야 데이터를 학습해 그 분야에 맞는 결과물만 낼 수 있었다면 초거대 AI는 방대한 양의 데이터를 학습한 만큼 범용적으로 사용할 수 있다. 최근 인기인 챗GPT와 같은 생성형 AI가 출현할 수 있었던 것도 초거대 AI라는 기반이 있었기 때문이다.

하지만 초거대 AI는 빅테크 기업만 가능하다는 한계가 있었다. GPU와 같은 컴퓨팅 자원 구축에만 조 단위의 금액이 투입돼서다. 일반 중소기업과 스타트업이 투자대비효과(ROI)가 확실시하지 않은 AI 서비스 확보를 위해 이 금액을 투자하긴 불가능하다. 이 때문에 광주시는 데이터센터에 H100을 미리 확보해 기업들의 초거대 AI 기반 서비스 지원에 나선 것이다.

채종환 광주광역시 AI반도체과장은 “지금 초거대 AI 기반 서비스를 하고 싶어하는 기업은 많지만 자본 등의 문제로 시도하지 못하고 있다”며 “네이버, KT와 같은 기업은 자체적으로 데이터센터를 구축해 경쟁력을 높일 수 있지만, 중소기업과 스타트업은 자원이 한정돼 있기 때문”이라고 말했다. 이어 “그동안 국내 AI 경쟁력 확보를 위해 관련 인프라를 지원해 온 광주시는 이달부터 H100 서비스를 지원해 국내 중소기업과 스타트업의 초거대 AI 경쟁력 확보를 돕고자 한다”며 “현재 일부 기업은 H100을 활용해 성능을 평가하고 있고, 이 작업이 성공적으로 완료되면 본격적으로 서비스를 확대할 계획”이라고 밝혔다.

국가AI데이터센터의 인프라는 광주시 소재 기업만 활용할 수 있는 것은 아니다. 전국 단위로 서비스된다. 광주시에 소재하지 않은 기업이더라도 해당 AI 인프라를 활용할 수 있는 것이다. H100 기반 인프라 역시 마찬가지다. 광주 소재 기업이 아니더라도 협력해 해당 인프라 활용이 가능하다. 단, 광주시 관계자는 광주시 소재 기업의 경우 인프라 사용이 더 유리한 부분은 있다고 밝혔다.

광주시 관계자는 “물리적으로 데이터센터와 가까우면 문제가 생기면 즉각적인 대응이 가능하다”면서 “광주시는 시 소재 기업들에 여러 지원프로그램을 함께 제공하며 AI 인프라 활용 역시 돕고 있다”고 말했다.