“인공지능(AI)은 하드웨어(HW)도 중요하지만 메모리·네트워킹·소프트웨어(SW) 스택이 진짜 경쟁력입니다”

김남승 일리노이대학교 교수는 27일 여의도 FKI타워 컨퍼런스홀에서 열린 ‘2025 AI대학원 심포지엄’ 기조 강연에서 한국의 AI 발전 전략에 대해 “AI는 HW도 중요하지만 메모리·네트워킹·SW 스택이 진짜 경쟁력”이라고 강조했다.

김 교수는 AI 모델의 파라미터 수가 급격히 증가하면서 메모리 용량이 가장 큰 병목현상이 되고 있다고 밝혔다. “메타의 라마3 405B 모델의 경우 파라미터 저장만으로 900GB가 필요하다”며 “이를 구동하려면 엔비디아 DGX 시스템 2대(약 78억원)가 필요하다”고 말했다. GPU 하나당 HBM 메모리 용량이 80~96GB 정도인데 대용량 모델을 돌리려면 단순히 메모리 용량 확보를 위해서만도 수십 개의 GPU가 필요하다는 설명이다.

김 교수는 GPU 간 데이터 교환을 담당하는 네트워킹 기술도 강조했다. “모델 훈련 시 GPU들이 서로 협업해야 하는데 네트워킹이 최적화되지 않으면 전체 훈련 시간의 70~90%가 데이터 교환 대기시간으로 낭비된다”고 언급했다. 이어 “한국에서는 AI 연구는 많이 하고 있지만 네트워킹 관련 연구는 상대적으로 부족하다”며 “NPU 상용화를 위해서는 네트워킹 관련 연구도 많은 투자가 필요하다”고 지적했다.

김 교수가 강조한 점은 SW 스택이다. HW 위에서 모델을 돌리기 위한 SW 스택이 잘 갖춰지지 않으면 데이터를 전송할 수 있는 속도가 잘 나오지 않아 HW 성능을 발휘할 수 없기 때문이다.

그는 “AMD 그래픽처리장치(GPU)가 HW 스펙상으론 더 우수함에도 불구하고 SW 최적화가 부족해 실제 엔비디아 보다 성능에서 크게 뒤처진다”고 설명했다. 이어 “엔비디아는 GPU 세대가 바뀔 때마다 1000명 이상의 인력을 투입해 SW를 최적화한다”며 “HW를 잘 만드는 것보다 그 성능을 최대한 끌어낼 수 있는 SW 스택이 더 중요해졌다”고 말했다.

김 교수는 한국 NPU 성공 조건도 메모리·네트워킹·SW 스택이 관건이라고 강조했다. “NPU 개발에만 집중할 것이 아니라 AI 파이프라인 전체를 고려한 균형 잡힌 투자가 필요하다”며 “칩 개발뿐만 아니라 전체 생태계를 아우르는 시스템적 사고가 필요하다”고 말했다.

하지만 현재 국내는 이러한 SW 스택 개발을 위한 연구와 투자, 인력 모두가 부족한 상황이라고 지적했다. “인력 문제는 머신러닝 등 AI를 최대한 활용해 부족한 인력을 보완해야 한다”며 “삼성 시스템 LSI 사업부가 퀄컴 개발 인력의 3분의 1로도 훌륭한 성과를 내고 있는 것처럼, 한국 엔지니어들의 역량은 충분하다”고 말했다. 이어 “제한된 인력으로 글로벌 경쟁에서 승리하려면 AI를 활용한 HW 설계와 SW 최적화가 필요하다”고 조언했다.

끝으로 그는 “전체 AI 파이프라인 관점에서 균형 있게 투자해야 한다”며 “국내는 HW 관점에서 벗어나 HW를 뒷받침할 SW 생태계 발전을 위해 전력을 다해야 글로벌 경쟁이 가능할 것”이라고 강조했다.

한편 ‘AI와 동행 AI대학원과 함께하는 미래 혁신’을 주제로 열린 이번 ‘2025 AI대학원 심포지엄’은 과학기술정보통신부가 주최하고 정보통신기획평가원(IITP)과 AI대학원협의회가 주관했다. 심포지엄에는 AI대학원 10개교(고려대, 성균관대, KAIST, 포항공대, GIST, 연세대, 한양대, UNIST, 서울대, 중앙대)와 AI융합혁신대학원 9개교(경희대, 이화여대, 충남대, 한양대ERICA, 인하대, 아주대, 동국대, 전남대, 부산대) 등 총 19개 대학원이 참여했다.