인간과 AI 소통 잇는 GIST 연구실

GIST 인간중심지능형시스템 연구소
인간과 컴퓨터의 자연스러운 상호작용 연구
“고품질 데이터 확보 위한 연구 활성화 지원 필요”

기술과 사람 이 둘 사이에도 이해와 신뢰가 필요하다. 이같은 연구를 하는 곳이 GIST(광주과학기술원) 인간중심지능형시스템(HCIS, Human-centered Intelligent Systems Laboratory) 연구실이다.

만약 완전 자율주행차 시대가 오면 탑승객들은 자율주행 차량을 신뢰하고 온전히 주행을 맡길 수 있을까. 사람들이 불안을 느끼는 순간 자율주행차가 내린 의사 결정과 주행 전략을 신속하고 알려준다면 탑승객이 자율주행차를 신뢰하고 안전한 주행을 유지하게 되지 않을까. GIST 인간중심지능형시스템 연구실은 이 물음에 대한 답을 구하는 연구를 진행하고 있다. 

HCI(Human-Computer Interaction)는 인간과 컴퓨터 사이 상호작용에서 문제가 되는 지점을 도출해 해결할 수 있는 방법을 연구하는 학문이다. 주로 인공지능(AI), 로보틱스, 웨어러블 센서, 사물인터넷(IoT), 확장현실(XR) 기술 등 융합된 지능형 물리 시스템과 사용자 간의 상호작용을 사람 중심으로 설계하고 검증하고 있다. 모니터 유저 인터페이스 버튼 구성을 어떻게 디자인할지에 대한 일상적인 부분도 이 분야 연구에 속한다.

AI 기술이 범용화되면서 설명 가능한 AI가 중요해졌다. 컴퓨터가 대량의 데이터를 스스로 학습하고 복잡한 연산을 거쳐 어떤 패턴을 만들어 추론의 영역까지 넘어가면서 AI가 내린 판단이 어떻게 나온 것인지 정확히 파악하기 어려워졌기 때문이다.

GIST HCIS 연구소는 컴퓨터와 인간이 친해질 수 있는 연구를 만든다. AI 결정 과정에 대한 명확한 설명을 제공해 편향·책임·신뢰 문제를 해결할 수 있는 방법, 가상환경 경험을 현실에 가깝게 제공하기 위한 방법 등 다양한 연구를 진행하고 있다. 연구소 대표를 맡고 있는 성민우 박사과정은 “인간 친화적인 기술에 대한 연구하고 있다”며 “컴퓨터 기술을 어떻게 하면 인간에게 잘 적용할 수 있는지, 인간이 더 편하고 자연스러운 지점을 탐구하는 학문”이라고 설명했다.

시각적인 가상 정보만을 주는 가상현실(VR)도 HCI의 주요 연구 분야다. 가상공간에서의 감각을 현실처럼 느끼게 하는 기술을 주로 연구한다. GIST HCIS 연구소에서 진행한 ‘가상환경 내 촉감각(온도, 압력) 재현 기술’ 연구는 가상환경에서 촉감(온·냉감)을 현실 디바이스를 통해 재현해 몰입경험을 높였다.

강성준 박사과정은 “온감과 냉감 사이 약 20℃를 0.45초 만에 조절할 수 있다는 점이 가장 큰 차별점”이라며 “주변 환경의 영향을 받는 온도를 컨트롤하기 어려웠다”고 말했다. 이어 “향후 몰입형 디바이스를 사람들이 하나씩 들고 다니는 시대가 왔으면 좋겠다”며 “후속 연구는 디바이스 크기를 줄이는 쪽으로 특허 계획이 있다”고 밝혔다.

◇ MIT와 공동 연구… 학제 간 융합 특화

HCIS 연구실의 장점은 모든 학생이 자신의 전문 분야 외에도 다양한 분야 연구를 함께 수행한다는 점이다. HCIS 연구실을 이끄는 김승준 GIST 융합기술원 지능형 로봇학과 교수는 “총 22명의 연구원이 서로의 연구에 대해 파트너로 활동하고 있다”며 “연구자들이 자신의 전문 연구 분야 외에도 다양한 분야 연구를 서로 협력·수행해 융합 인재로 성장하고 있다”고 말했다.

글로벌 학제 간 융합도 지향한다. HCIS는 2021년부터 매사추세츠 공과대(MIT) CSAIL(computer science AI LAB) 2개의 연구실과 공동연구를 수행해 왔다. 로봇·자율주행 이동체 전문성을 지닌 MIT 연구진은 GIST와의 협력에서 AI 알고리즘 검증을 주도하고 있다.

교류도 활발하다. 매달 온라인 미팅을 통해 소통과 협력을 이어가고 있고, 매년 GIST 학생들이 MIT CSAIL을 방문해 연구 교류하고 있다.

학생들의 만족감도 높다. MIT와 협력해 ‘설명 가능한 자율주행차량’ 연구를 주도한 김광빈 박사과정은 “MIT에서 알고리즘에 대한 검증 자문을 하고 시나리오, 연구는 GIST에서 주도했다”며 “자율주행차에서 탑승객이 불안을 느끼는 시점과 이러한 불안을 느낄 때 마다 적재적소에 인터페이스 그래픽 요소로 AI에 대한 판단을 알려주는 연구를 했다”고 설명했다. 이어 “자율주행차량에 대한 신뢰·수용도가 어떻게 높아지는 지를 확인했던 연구”라며 “VR 콘텐츠 자체를 직접 만들기도 해 뿌듯했다”고 말했다.

앞으로 GIST HCIS와 MIT는 XR 분야 연구를 지속적으로 협력할 계획이다. XR 기술은 가상현실(VR), 혼합현실(XR), 증강현실(AR)을 포괄하는 개념으로 현실 공간에서 감각을 가상공간으로 확장·구현하는 실감 기술이다. XR 기기 문제점으로 꼽히는 멀미, 주의 분산, 감각 불일치 문제를 해결하는 연구를 주로 추진한다.

김승준 교수는 “MIT와 XR 가상 공간 속 디지털 휴먼에 접목하는 연구를 2027년까지 3년간 진행할 예정”이라며 “가상공간에서 신체 감각이 마치 현실 공간에서의 자신의 신체 감각인 것처럼 경험하게 하는 시스템을 개발한다”고 했다.

그는 연구실의 궁극적인 목표도 밝혔다. “현실 세계에서만 가능했던 감각 경험을 가상현실에서도 이질감 없이 누릴 수 있도록 하는 것”이라며 “동시에 가상현실에서 축적된 감각 경험이 현실 세계에서도 긍정적인 피드백으로 작용하도록 하는 것이 연구실의 궁극적인 목표”라고 강조했다.

◇ 고품질 HCI 데이터 확보 어려워… 연구 활성화 지원 필요

김승준 교수는 인간-AI 상호작용 연구에서 고품질 데이터 수집을 위한 연구 활성화가 필요하다고 제언했다. 그는“AI 시스템의 성능 향상, 사용자 경험 개선, 공정성 확보, 연구개발 방향 설정, 실제 적용 가능성 등 여러 측면에서 고품질의 데이터 확보는 필수적”이라며 “하지만 인간-AI 상호작용 연구에서 고품질 데이터 수집을 위한 연구는 국내외 모두 초기 단계”라고 어려움을 내비쳤다.

지금까지 인간-AI 인터랙션 데이터는 주로 모바일 기기 센서, 컴퓨터 입출력, 환경 내 설치된 감지 기기를 통해 수집되는 시청각 데이터를 중심으로 이뤄졌다. 그는 “국내 연구진도 이러한 데이터를 활용해 인간 중심 AI 연구를 발전시키고 있다”며 “최근 생성형 AI 기반의 시청각 콘텐츠 제작과 사용자 인터랙션 데이터 수집 기술에서도 잠재력을 보이고 있다”고 설명했다.

GIST HCIS에서도 HCI 고품질 데이터 수집을 위한 연구를 진행하고 있다. ‘다중 센서 기반 멀티모달 배드민턴 데이터셋’ 구축을 위한 연구로 AI 기반 배드민턴 스윙 코칭 시스템 개발을 위한 고품질의 데이터를 수집하는 연구다. 인터뷰·데이터 수집만 7개월, 데이터 정제 과정만 1년이 걸렸다.성민우 박사과정은 “HCI 분야 문제를 설정하고 구축된 고품질의 데이터가 많이 없기 때문에 이러한 데이터 수집 연구를 진행하는 경우가 많다”며 “2년 동안 연구했고, 기간과 노력이 많이 드는 편”이라고 말했다. 현재는 이 데이터를 활용해 배드민턴 가이드 모션을 생성하는 연구도 계획 중이다.

이처럼 고품질 데이터 확보는 시간과 노력이 많이 드는 일이다. 이에 김승준 교수는 “인간-AI 상호작용 연구를 추진할 수 있는 기업, 전문 연구·교육 조직, 학제 간 협력 체계가 오랫동안 정착돼 있다”며 “국내에서 HCI 분야 고품질 데이터 연구 활성화를 위한 제도와 방안을 검토하고 추진해야 한다”고 강조했다.