토비 월시 교수 “AI 에이전트 위협, 군사 응용에 인간 통제 우선돼야”

AI 에이전트,자율적 문제 해결 시대 열다
강력해진 AI 군사적 활용, 윤리·안전 논쟁 가열
“한국, 국제 규범 정립에 중추적 역할해야”

인공지능(AI) 기술의 군사적 활용이 확산되면서 전쟁의 양상뿐 아니라 윤리적 논쟁도 본격화하고 있다. 특히 이스라엘과 가자 지역에서 AI가 표적 선정 과정에 관여한다는 사례는 이러한 위험성을 극명히 드러낸다. AI는 단순히 질문에 답하는 수준을 넘어 스스로 문제를 해결할 수 있는 강력한 에이전트로 발전하고 있다.

세계적인 AI 석학 토비 월시 교수는 26일 서울 영등포구 콘래드 서울 호텔에서 열린 ‘글로벌 초격차 테크 컨퍼런스’에서 기조연설을 마친 후 본지와의 인터뷰에서 "점점 강력해지는 AI 에이전트 기술이 인간 통제 없이 사용될 경우 위험한 세계로 이어질 수 있다"고 경고했다. 이어 그는 AI 에이전트의 군사적 활용의 위험성을 경고하며, 국제적 협력과 한국의 적극적인 참여가 필요하다고 강조했다.

AI 에이전트는 단순히 질문에 답하는 것을 넘어선 사람이 원하는 것을 스스로 해결할 수 있는 능력을 갖추고 있다. 월시 교수는 강연에서 “AI가 점점 더 에이전트 능력을 갖추게 될 것”이라며 “예를 들어 AI가 단순히 집 이사 후 필요한 절차를 알려주는 것을 넘어서 모든 서류와 데이터베이스를 실제로 업데이트해 주고 처리하는 능력을 갖추게 될 것”이라고 말했다.

그는 AI 에이전트가 앞으로 더욱 강력해질 것이라는 점을 주목해야 한다고 강조했다. 그는 “AI 기술이 로봇에 적용되면서 물리적 세계에서 변화를 불러올 수 있다”며 “AI는 로봇의 이동과 복잡한 환경 처리 능력을 훈련할 수 있다”고 말했다. 이어 “이는 로봇 지능을 훈련하는 데 혁신적인 진전이 될 것”이라고 덧붙였다. 하지만 동시에 AI는 추론의 한계를 가지고 있다고 꼬집었다. 그는 “AI는 뛰어난 텍스트 생성 능력을 갖추고 있지만 인간처럼 깊이 있는 추론 능력은 부족하다”고 했다.

군사적 분야에서 AI 에이전트의 사용은 더욱 민감한 문제로 부각되고 있다. 월시 교수는 군사적 응용에서 AI 에이전트 사용이 제기하는 가장 중요한 위험에 대한 본 기자의 질문에 “AI가 우리 삶의 많은 부분을 변화시키고 있지만, 특히 전쟁 방식에 미치는 영향이 가장 우려된다”며 “인간 통제 속에서 좋은 선택과 나쁜 선택을 구분해야 한다”고 말했다.

이어 그는 “지뢰 로봇을 개발하는 연구자는 AI를 인간의 생명을 보호할 수 있는 긍정적인 활용에 사용하고 있는 반면 군사적 생사 결정을 AI를 맡길 경우 매우 어둡고 위험한 세계로 이어질 수 있다”고 경고했다.

월시 교수는 이스라엘과 가자 지역에서 AI가 표적 선정 과정에 관여하고, 우크라이나에서 자율 드론 사용이 늘어나고 있는 사례를 언급했다. 킬러 로봇에 사용되는AI는 표적이 될 인물을 식별하고 공격 여부를 결정하는 데 중요한 역할을 하고 있으며, 심지어 인간의 개입 없이 자동으로 표적을 설정하기도 한다.

이에 월시 교수는 인간의 의미 있는 통제권 유지를 강조했다. 그는 “궁극적으로 인간이 의미 있는 통제권을 유지해야 하며, AI 시스템은 보조 역할에 그쳐야 한다”며 “이스라엘과 가자 지역에서의 사례는 AI의 위험성을 단적으로 보여준다”고 말했다.

월시 교수는 '군사에서의 AI 책임 있는 사용을 위한 글로벌 위원회(Global Commission on the Responsible Use of AI in the Military)'의 일원으로 활동하고 하며, 군사적 AI 사용에 있어 표준을 세우기 위한 국제적 논의를 주도하고 있다. 네덜란드 정부의 주도로 설립된 이 위원회는 한국 정부의 협력도 받고 있다. 위원회는 올해 9월에 서울에서 두 번째 회의를 열었고, 내년에는 남아프리카공화국에서 회의가 열릴 예정이다.

그는 “AI 사용의 실제 위험과 혜택이 어디에 있는지 그리고 군사에서 AI 사용에 있어 어떤 표준을 세워야 할지를 논의하고 있다”며 “AI는 윤리적이고 안전하게 사용될 수 있어야 하며, 이를 위해 국제적 기준 설정과 각국의 협력이 필수적”이라고 말했다. 이어 “한국은 주요 무기 제조국이자 북한과의 민감한 군사적 상황에 처해 있는 만큼, 이 문제에 있어 논의와 해결책에 중요한 역할을 해야 한다”고 촉구했다.

한편, 토비 월시 교수는 AI와 로봇공학이 사회에 미치는 영향을 연구하며 AI 자율 무기화 반대 운동에 앞장선 인물로, UN을 비롯한 국제 무대에서 킬러 로봇 금지 운동을 주도해왔다. 이러한 공로를 인정받아 지난해 THE AI가 주최하는 ‘Good AI 어워드 2023’에서 글로벌 특별상을 수상했으며, 책임감 있는 AI 사용을 촉구하는 연구와 활동으로 세계적으로 주목받고 있다.