국내 연구진이 스스로 가설을 세워 검증하는 뇌의 학습 방식을 모방한 인공지능(AI) 기술을 개발했다. 

KAIST(카이스트)는 이상완 뇌인지과학과 교수(신경과학-인공지능 융합연구센터장)와 정민환 생명과학과 교수(IBS 시냅스 뇌질환 연구단 부연구단장) 연구팀이 뇌 정보처리 과정을 모방해 스스로 가설을 세우고 검증하는 새로운 강화학습 이론을 제시하고 뇌과학적 원리를 규명했다고 27일 밝혔다. 이 기술은 챗GPT와 같은 대형언어모델(LLM) 할루시네이션(허위 정보 생성) 문제를 해결할 새로운 전략을 제시, 정신질환 연구에도 활용 가능성을 열었다.

현재 상황에 맞게 행동의 일관성과 유동성 사이의 적절한 균형점을 찾아가는 문제를 ‘안정성-유동성의 딜레마(Stability-flexibility dilemma)’라 한다. 이를 위해서는 현재 본인의 판단이 맞는지를 계속 검증하고 수정할 수 있어야 한하는데 뇌과학 및 인공지능 분야에서 다양한 연구가 있었으나 아직까지 완벽한 해법이 알려진 바가 없다.

공동 연구팀은 스스로 세운 가설을 바탕으로 다음 상황을 예측하고 확인하는 행동 패턴을 동역학적으로 프로파일링 할 수 있는 새로운 방식을 고안했고, 이를 바탕으로 전통적인 강화학습 이론과 최신 인공지능 알고리즘 모두 동물의 관련 행동을 제대로 설명하지 못한다는 것을 발견했다. 

연구팀은 동물의 현재 상황에 대한 가설을 세우고, 가설의 예측 오류를 바탕으로 행동 전략을 비대칭적으로 업데이트하는 새로운 적응형 강화학습 이론과 모델을 제안했다. 

기존 강화학습 이론과 최신 AI 알고리즘은 동물의 행동을 제대로 설명하지 못했으나 연구팀은 가설 기반 예측과 오류를 비대칭적으로 반영하는 새로운 모델을 개발했다. 이 모델은 동물이 예상치 못한 사건에 반응하는 행동을 예측했다. 네 가지 동물 실험 데이터(two-step task, two-armed bandit task, T-maze task, MSN 불활성화 실험)를 분석한 결과 기존 AI 대비 평균 15%, 최대 31% 더 높은 정확도를 보였다.

연구팀은 나아가 뇌의 중뇌 기저핵 내 선조체에서 중간크기 가시뉴런(MSN)이 이 과정에 핵심 역할을 한다고 밝혔다. 직접 경로 가시뉴런은 예상대로 진행된 사건 경험을, 간접 경로 가시뉴런은 예상 밖 사건을 부호화해 행동을 조절한다. 이는 뇌가 맥락을 추정하고 수정하는 방식이 챗GPT나 딥시크 같은 AI와 근본적으로 다르다는 점을 보여준다. 예를 들어, 챗GPT는 입력 데이터를 기반으로 맥락을 고정해 답변을 생성하지만, 뇌는 가설을 의심하고 빠르게 업데이트한다.

이 기술은 할루시네이션 완화 외에도 ‘뇌처럼 생각하는 AI’로 인간-인공지능 가치 정렬 (Value alignment) 문제 해결에 활용될 수 있다. 연구팀은 인간의 동역학적 행동 프로파일링을 통해 개인별 가설 수립 및 검증 능력을 분석할 수 있어, 맞춤형 교육 설계, 인사 관리 시스템, 인간-AI 상호작용 개선에 적용할 수 있다고 설명했다. 또 기저핵의 보상학습 회로와 연관된 중독, 강박증 등 정신질환의 뇌과학적 원인 규명에도 기여할 수 있다.

이상완 KAIST 교수는 “이번 연구는 뇌의 가설 기반 적응학습 원리를 밝힌 중요한 사례”라며 “이를 대규모 AI 시스템 설계에 반영하면 할루시네이션을 줄이고 신뢰성을 높일 수 있을 것”이라고 말했다. 정민환 KAIST 교수는 “동물 실험 데이터를 통해 뇌 학습 메커니즘을 모델화한 점이 의미 있다”고 덧붙였다.

이번 연구는 뇌인지공학 프로그램 양민수 박사과정 학생이 주도하고, 이상완·정민환 교수가 공동지도했다. 과학기술정보통신부, 한국연구재단 등의 지원을 받아 진행된 결과는 국제학술지 ‘네이처 커뮤니케이션스’에 지난 20일 게재됐다.