서울대 장병탁 교수, '비디오 스토리를 이해하는 인공지능 기술' 공개

서울대학교 AI 연구원(원장 장병탁, 이하 'AI 연구원')이 비디오 튜링 테스트(Video Turing Test) 대회를 지난 26일 서울대학교 두례문예관 공연장에서 개최했다.

해당 대회는 과학기술정보통신부의 인공지능 부문 혁신성장동력프로젝트 (과제명 "비디오 튜링 테스트를 통과할 수준의 비디오 스토리 이해 기반의 질의응답 기술 개발", 이하 'VTT')의 연구 결과물인 VIP(Video Intelligence Platform) 및 비디오지능 평가방법을 비디오 튜링 테스트 포맷으로 공개 시연한 것으로, 개발한 인공지능의 비디오 이해 능력을 여러 연령층의 사람과 비교해보는 블라인드 테스트다.

주어진 드라마 비디오 클립과 관련된 문제에 대해 독립된 부스 안에 있는 인공지능 로봇과 다양한 연령대(만6세, 만9세, 만12세, 만18세)의 사람 4명이 제출한 답변만 보고 판정단들은 어느 참가자가 인공지능일지 맞추는 형태로 진행됐다.

대회는 인지능력 평가를 위해 주제별 (감정 인식, 지식기반 추론, 배경정보 기억, 대화맥락 이해, 행동의도 추론) 5라운드로 구성됐고, 각 라운드에는 해당 주제를 평가하기 위한 3개의 문항이 제시됐다. 35인의 평가단은 부스 안의 참가자들이 제출한 답변을 보고 각 라운드가 끝나면 어느 참가자가 인공지능일지 선택하여 투표를 진행했다.

판정단 투표 결과 인공지능 로봇이 5라운드 중 두 라운드(감정 인식, 행동의도 추론)에서 최다득표를 받아 비디오 튜링 테스트를 통과하지 못했고, 세 라운드(지식기반 추론, 배경정보 기억, 대화맥락 이해)에서는 비디오 튜링 테스트를 통과했다.

연구과제 총괄 책임자인 장병탁 서울대학교 교수는 "본 대회를 통해 비디오 이해 인공지능 수준을 인간의 인지능력 발달 단계와 비교하여 객관화하고 문제의 난이도 및 인지요소에 기반해 현재 인공지능의 성능을 다각적으로 분석하고자 했다"며, "인공지능의 현 주소와 나아가야 할 방향에 대해 고찰하는 기회가 됐기를 바란다"고 밝혔다.

한편, 대회에서 사용된 연구결과물들은 VTT과제의 결과물로서 공개소프트웨어로 개방형 연구 생태계 조성을 위해 공유될 예정이다.