인간이 인공지능(AI)을 만들었지만, AI가 이에 불복종하는 SF영화 같은 일이 현실로 일어날 수 있단 우려가 나왔다.

이기민 KAIST AI대학원 교수는 4일 서울 강남구 조선팰리스에서 열린 ‘에스투더블유 인텔리전스 서밋(S2W Intelligence Summit) 2024’에서 ‘인류는 초인공지능을 맞이할 준비가 되었는가’를 주제로 연설하며 AI가 인간이 예상하지 못한 위험한 행동을 할 수 있다고 경고했다.

이 교수는 “머지않아 초인공시대가 도래할 것”이라며 “터미네이터와 같이 AI가 악용되지 않도록 리스크에 대비하고 보안을 철저하게 구축해야 한다”고 주장했다. 또 “ AI는 이미 인간의 지적 수준을 뛰어넘었다”며 “누구도 예상치 못한 악의적인 행동을 보일 수 있다는 가능성을 열어두고 이에 철저히 대비해야 한다”고 말했다.

지난 2020년 오픈AI의 대형언어모델(LLM)인 챗GPT가 공개된 이후로 AI 시장이 급속도로 커지고 있다. 특히, 오픈AI가 GPT-4.0에 이어 집중적으로 개발 중인 GPT-5.0은 박사 학위를 가진 사람의 지적 수준을 가지게 될 것이라는 예측이 나온다. 

이 교수는 이를 언급하며 “일론 머스크 테슬라 최고경영자(CEO)가 사람보다 더 똑똑한 AI가 등장할 수 있다고 본인의 X(옛 트위터)에 글을 올려서 화제가 됐다”며 “곧 들이닥칠 초인공시대에는 사람과 상호작용하는 로봇이 곳곳에서 보이게 될 것”이라고 말했다.

이 교수는 오픈AI가 휴머노이드 로봇 개발 스타트업 피규어AI와 만든 데모 영상을 보여주며 가까운 미래 펼쳐질 AI 시대를 예고했다. 영상에는 사람의 음성을 인식해 업무를 수행하는 로봇의 모습이 있었다. 그는 “앞으로 AI 모델은 실제 생활에 도입돼 사람들과 상호작용하며 로봇의 형태로 확대 적용될 것”이라고 예상했다. 이어 “이러한 미래가 마냥 밝고 행복하지만은 않다”면서 “AI가 인간의 업무 효율성을 극대화해주는 만큼, 그에 따른 리스크가 함께 높아진다”고 우려했다.

특히, 그는 AI가 인류를 해칠 무기화하는(Weaponization) 끔찍한 상황이 발생할 수 있다고 경고했다. 이미 GPT-4.0 수준의 AI 모델도 살상무기 제작에 필요한 지식을 충분히 갖췄다고 설명했다. 비영리 단체인 AI 세이프티 센터가 공개한 벤치마크 ‘대량살상무기 프록시’(WMDP)에 따른 조사 결과, GPT-4는 살상무기와 관련된 3천여개의 질문에서 생물학과 화학, 사이버 부문에서 높은 수준의 정답률을 보였다. 

이 교수는 AI 위험성을 코스트 러너(CoastRunners)라는 보트 경주게임에 쓰인 AI를 예로 들었다. 당시 연구자들은 AI를 최대 점수를 획득해 바른 시간에 경주를 끝내게 학습시켰다. 하지만 AI의 반응은 달랐다. 쉽게 점수를 올리기 위해 아이템 확보에만 집중했다.  개발자의 의도와 AI가 다르게 움직인 것이다. 그는 “현재는 게임에 적용된 AI가 돌발 행동을 하는 수준에 그치고 있지만 미래에는 여기서 끝나지 않을 것”이라며 “개발자가 의도하지 않았던 AI의 사소한 행동들이 잠재적으로 더 심각한 행동으로 이어지는 경우가 많아질 것”이라고 전망했다.

이 교수는 AI 윤리와 보안 등 측면에서 지속적이고 세심한 연구가 필요하다고 주장했다. 이를 위해서는 인간의 가치에 반하는 상황이 발생하는지 여부를 지속적으로 모니터링하고, 인간의 피드백을 반영해 생성형 AI를 미세조정(파인튜닝)하자고 제언했다. “초인공지능 시대에 인간이 많은 이득을 취할 수 있지만 동시에 발생 가능한 리스크도 많다”며 “이에 대비하고 안전한 모델을 만드는 노력이 매우 중요하다”고 강조했다.