온디바이스 적응형 AI 소프트웨어 시스템을 세계 최초로 개발한 국내 연구진이 있다. 바로 박종세 KAIST 전산학부 교수 연구팀이다. 박 교수 연구팀이 만든 적응형 AI의 핵심인 연속학습을 가속화할 수 있는 신경망처리장치(NPU)와 온디바이스 환경에서 적응형 AI를 구현할 수 있는 소프트웨어 시스템은 글로벌 톱 학회에 인정을 받았다. 

지난 6월 29일부터 7월 3일까지 아르헨티나 부에노스아이레스에서 열린 컴퓨터 아키텍처 권위 학술대회인 ‘2024 국제 컴퓨터구조 심포지엄(ISCA 2024)’에서 최우수 연구 기록물상을 수상했다. 이 연구는 자율 시스템 환경에서 클라우드의 원격 컴퓨팅 자원 없이 기기 자체에 내장된 인공지능(AI) 칩을 활용한 적응형 AI를 실현하는 기술을 개발한 것이다.

적응형 AI는 높은 정확도와 연산 효율성으로 자율자동차, 로봇 등에서 높은 활용성을 가지고 있다. 환경 변화나 새로운 데이터에 적응해 지속적으로 성능을 향상하는 AI 시스템으로 고정된 모델을 사용하는 기존의 AI 시스템과 달리 실시간 학습과 변화에 맞춰 알고리즘을 조정할 수 있는 특징이 있다. 자율주행차 경우 계속해서 새로운 환경과 데이터에 적응해 대응하는 것이 중요하기 때문에 적응형 AI가 활용된다.

ISCA는 컴퓨터 아키텍처 분야에서 권위를 자랑하는 국제 학회로 올해는 423편의 논문이 제출됐다. 그중 최우수 연구 기록물 상은 학회에서 주어지는 특별한 상 중 하나로 연구 기록물의 혁신성, 활용 가능성, 영향력을 평가한다. 이번 학회에서는 83편 만이 채택됐고 소수의 논문 중 하나로 박 교수 연구팀의 ‘자율 시스템의 비디오 분석을 위한 연속학습 가속화 기법(DaCapo: Accelerating Continuous Learning in Autonomous Systems for Video Analytics)’ 논문이 채택됐다.

수상을 한 이번 연구는 적응형 AI의 기반 기술인 ‘연속 학습’ 가속을 위한 NPU 구조 및 온디바이스 소프트웨어 시스템을 최초 개발한 점이 높은 평가를 받았다. 오픈소스로 공개한 코드, 데이터 등 완성도 측면도 높다. 지금까지 적응형 AI 대한 연구에서 이론적인 부분은 많이 진행이 돼 왔지만 로봇·자율주행차 등 온디바이스 환경에서 AI를 운영할 수 있는 시스템까지 구축한 것은 박 교수 연구팀이 독보적이다.

적응형 AI의 핵심은 연속학습이다. 연속학습은 모델이 새로운 환경이나 데이터를 만나면서 필요로 하는 역할에 맞춰 지속적으로 학습하고 업데이트하는 학습 방법론을 말한다. 온디바이스 연속학습은 추론, 재훈련, 그리고 데이터 라벨링 작업이 필요하다. 연구팀은 이 세 가지 연산을 모두 온디바이스 자원만으로 수행할 수 있도록 하는 저전력 고성능 AI가속 하드웨어 구조 설계와 AI 가속기 자원을 효율적으로 관리·할당해 연속학습의 잠재력을 최대한 끌어낼 수 있도록 하는 런타임 소프트웨어 기술을 동시에 제안했다. 또 신경망 처리 장치(NPU; Neural Processing Unit)를 개발해 낮은 연산량을 요구하는 추론 작업에 최소한의 자원을 할당해 입력 데이터의 추론 작업을 보장했다.

이번 연구는 구글·메타와 긴밀한 협력으로 진행됐다. KAIST 전산학부 박종세 교수를 비롯해 김윤성, 오창훈, 황진우, 김원웅, 오성룡, 이유빈 학생들과 메타(Meta)의 하딕 샤르마(Hardik Sharma) 박사, 구글 딥마인드(Google Deepmind)의 아미르 야즈단바크시(Amir Yazdanbakhsh) 박사가 참여했다.

박종세 KAIST 교수는 “소프트웨어 개발, 데이터셋 수집, 워크로드 정의 등 많은 부분에서 자체 연구 개발을 했다”며 “ISCA에서 이러한 기여도와 가치를 인정받았다는 점에서 기쁘다”고 말했다.

박 교수는 이번 ISCA에서 “기하급수적인 AI 기술 발전 따라 이를 응용·활용하려는 시도가 늘어나고 있고, AI 연산을 효율적으로 할 수 있는 하드웨어-소프트웨어 시스템 수요가 매우 커지고 있다”며 “자동차는 하나의 컴퓨터가 되고 있다”고 말했다. 이어 “이번 연구를 확장해 소프트웨어 중심 자동차(SDV; Software-Defined Vehicles), 소프트웨어 중심 로봇(SDR; Software-Defined Robots)에서 온디바이스 시스템 기술을 지속적으로 연구할 계획”이라고 밝혔다. 그는 현재 연속학습과 MOE(Mixture of Experts)을 융합하는 연구를 하고 있다.

박종세 KAIST 교수와 이번에 수상한 연구, 온디바이스AI 시스템 기술에 대한 전망 등에 대한 자세히 이야기를 나눠봤다.

- 이번 연구에서 어려웠던 점은 무엇인가.

“로봇, 자동차 등 온디바이스 환경에서 적응형 AI를 운영할 수 있는 시스템을 구축하는 부분이 세계에서 저희 퓨터 구조 및 시스템 연구실(CASYS; Computer Architecture and System Laboratory)이 최초로 시도한 것이기 때문에 기반 소프트웨어 개발, 데이터셋 수집, 워크로드 정의 등 자체적으로 연구 개발했어야 하는 점이 어려웠다. 이번 ISCA에서도 이 점의 기여도와 가치를 높게 평가해 상을 주었다고 생각한다.”

- 적응형 AI의 고유한 특성은 무엇인가.

“적응형 AI는 높은 정확도·연산효율성을 동시에 얻을 수 있어 배터리 기반으로 운영돼 전력효율성 등이 매우 중요한 자동차, 로봇 등에서 높은 활용 가능성을 가지고 있다. 하지만 적응형 AI의 기반기술인 연속학습의 경우, 추론, 데이터 라벨링, 학습 등 다양한 연산을 필요로 하기 때문에 선행 연구에서는 데이터 라벨링과 학습 연산을 클라우드 등에 의존했다. 이번연구에서는 이 세 가지 연산을 모두 온디바이스 자원만으로 수행할 수 있도록 하는 저전력 고성능 AI가속 하드웨어 구조 설계와 AI 가속기 자원을 효율적으로 관리 및 할당해 연속학습의 잠재력을 최대한 끌어낼 수 있도록 하는 실행시간(런타임) 소프트웨어 기술을 동시에 제안했다.”

-연속학습이 자율주행에서 왜 중요한가. 현재 기술 수준은 완전자율주행 측면에서 어떤 수준인가.

“일반적인 경우에 AI모델은 한 번 학습되고 그 이후에는 추가 학습 없이 계속 사용하기만 하면 된다. 반면 연속학습은 모델이 만나게 되는 환경이나 새롭게 필요로 하는 역할에 맞춰 지속적으로 학습하는 방법론을 말한다. 예를 들어, 물체 인식 모델의 경우 날씨가 맑은 낮 시간 데이터에만 학습되었다고 가정하면 비가 오는 밤에 사용됐을 경우 급격하게 정확도가 떨어진다. 연속학습 사용하면 AI 모델은 변한 날씨와 조명도에 ‘적응’할 것이며, 높은 정확도를 유지할 수 있을 것이다. 현재 저희 연구는 컴퓨터비전 알고리즘에 집중하고 있고, 자율주행과 직접적인 관련성은 없다”

-자율주행차에서는 SDV(Software-Defined Vehicle) 시스템으로 변화하고 있는 것 같다. MCU(Microcontroller Unit) 시스템과 어떤 차이가 있나.

“최근까지 많은 자동차 회사 전장 시스템은 다양한 임베디드 시스템에서 사용되는 소형 컴퓨터 프로세서 MCU, 자동차 엔진을 제어하고 최적화하는 전자 장치 ECU(Engine Control Unit) 등 특수 목적을 가진 하드웨어들을 통합해 구성돼 있었다. 자동차 전장 시스템이 상대적으로 간단한 몇 가지 기능들만을 수행하던 때는 이런 방식이 유효했다. 하지만 수많은 AI 알고리즘과 센서들을 모두 운용해야 하는 현대의 자동차에서는 이러한 방식은 확장성이 부족하고 새로운 응용에 대한 유연성이 떨어진다. 이에 CPU, GPU 등 범용 프로세서 기반의 컴퓨팅 시스템을 자동차에 넣어서, 확장성, 유연성 등 확연히 개선된 자동차 전장 시스템을 구축하는 것이 SDV(Software-Defined Vehicle)이다. 평상시에 쓰는 데스크탑, 스마트폰, 태블릿PC 등 범용 컴퓨터에서는 이미 아주 오래전부터 공통으로 사용하던 방식의 컴퓨터 구조를, 자동차 전장 시스템에다가도 활용하자는 간단한 변화라고 볼 수도 있다. 단 자동차라는 기계가 가지고 있는 고유 특성이 기존 컴퓨터들과는 다른 점들이 많다 보니, 자동차 업계와 IT 업계의 많은 협력이 필요한 새로운 패러다임이다. 올해 초 CES에서는 삼성전자와 현대자동차의 협력 관계가 발표됐다. 삼성전자의 시스템 반도체 및 소프트웨어를 기반으로 현대자동차의 SDV 기술을 구축하는 것이 이 협력의 핵심이다. 테슬라는 애초에 SDV 기반 시스템을 도입했고, 최근까지도 많은 업계가 아직도 MCU 방식을 사용하고 있다는 게 놀라웠다.”

-현재 컴퓨터구조 시스템 분야 트렌드는?

“큰 트렌드 중 하나는 생성형AI이다. 현재 연구자들이 데이터센터에서 거대언어모델(LLM) 시스템 연구부터 많이 하고 있는 것 같다. 앞으로 언어모델 외 다양한 생성AI 모델들, 온디바이스AI 연구로도 많이 확장될 것이라고 보고 있다.”

-현재 진행하고 있는 연구는 무엇인가.

연구실에서는 생성형AI 가속을 위한 하드웨어-소프트웨어 연구를 주로 하고 있구요, 데이터센터와 온디바이스 환경 모두를 타겟으로 하고 있습니다. 하드웨어 측면에서는 NPU (또는 AI가속기) 구조, PIM (Processing-in-Memory) 구조 등을 연구하고 있고, 소프트웨어 측면에서는 런타임, 컴파일러, AI프레임워크 등 다양한 시스템SW 레이어들을 연구하고 있습니다.

-이번 ‘ISCA 2024 학회’에서 느낀 점은.

“컴퓨터구조 및 시스템 분야 학계 커뮤니티의 크기가 해마다 빠르게 커지고 있다. AI 발전에 다라 실제 응용에서 이를 활용하려는 시도가 늘어나고 있다. AI 응용 효율적 연산을 위한 하드웨어-소프트웨어 시스템 연구자에 대한 수요가 매우 커지고 있다. 특히, 이번 ISCA는 아르헨티나에서 열려 물리적으로 한국과 거리가 먼데도 삼성전자, SK하이닉스 등 대기업뿐만 아니라 국내 여러 AI 반도체 기업에서도 참석해 이 분야 내에서 한국 연구자들 위상이 점점 높아지고 있음을 느낀다. 정부 및 산업계에서 더 많은 투자를 통해 국내 컴퓨터구조 및 시스템 학계를 적극 지원한다면 더욱 크게 성장해 세계적인 경쟁력을 키워나갈 수 있을 것이라 믿는다”

-추후 연구 계획은.

우선, 이번 ISCA 연구를 확장해, SDV/SDR 등 차세대 모빌리티에서의 온디바이스AI 시스템 기술을 지속적으로 연구할 계획이다. 현재 MOE(Mixture of Experts)와 연속학습을 융합하는 연구를 하고 있다. 실시간 학습이 가능하지만 컴퓨팅 자원이 많이 드는 연속학습과 오프라인에서 전부 학습해 컴퓨팅 자원이 낮출 수 있는 반면 실시간 학습이 안 되는 MOE를 융합하려는 연구를 하고 있다. 또 AI 가속기, 메모리 내 데이터 처리 수행 기술인 PIM(Processing-In-Memory) 등 활용하는 데이터센터 생성형AI 추론 시스템 기술, AR/VR 등 3D 생성형AI를 위한 온디바이스AI 시스템 기술 등 현재 저희 연구실이 진행 중인 다양한 연구들 역시 잘 성장시켜, IT산업계를 이끌어 나갈 수 있는 원천기술 확보에 집중할 계획이다“

-앞으로의 목표는.

”학생들과 함께 연구에 매진해 AI을 위한 하드웨어-소프트웨어 시스템” 분야에서 세계 최고의 연구실이 될 수 있도록 최선을 다 하겠다.”