소프트웨어(SW)를 개발·운영하다 보면 기대와 동떨어진 상황을 만날 수 있다. 대표적인 경우가 사건과 사고이다. 이것이 일어날 가능성을 ‘위험(risk)’이라고 부른다. 발생할 수 있는 위험들은 미리 찾아 제거하는 것이 중요하다. 만일 예방하지 못해서 난감한 상황이 발생한다면 신속히 발견하고 통제할 수 있어야 한다. 이러한 과정이 잘 이루어지면 SW는 신뢰를 얻는다.

지난해 8월 유럽연합(EU)은 인공지능법(AI Act)을 공표했다. 집행위원회가 제안한 최초 법안에는 AI를 ‘SW’라고 정의했다. SW로서 AI를 신뢰할 수 있도록 EU는 AI 윤리 가이드라인 제정을 출발점으로 꾸준히 고민해 왔다.

구글 역시 신뢰할 수 있는 AI에 대해 고민한 기업이다. 2022년 11월 30일. 오픈AI가 챗GPT를 공개한 후 엄청난 가입자 열풍이 일어나고 있음에도 구글은 공식적인 반응을 보이지 않았다. 그러다가 두 달이 지난 2023년 1월 26일 파이낸셜 타임즈와 인터뷰를 통해서 구글은 입장을 밝혔다. 구글은 “챗GPT보다 뛰어난 성능의 AI들을 이미 개발했다. 그러나 이들에게는 잠재적인 사회적 위험과 윤리적 위험이 존재한다. 불행히도 우리는 이들을 통제할 방법을 아직 찾지 못해서 아직 공개하지 않고 있다. 구글은 기업의 사회적 책임이 무엇인지 잘 알고 있다”고 밝혔다.

하지만 최고경영진과 주주 대부분은 이 인터뷰 직후 구글의 AI를 즉시 공개하기로 결정했다. 열흘 뒤에 등장한 AI가 ‘바드’(Bard)이었다. 불행히도 바드는 공개 당일 심각한 할루시네이션(hallucination) 현상을 보였다. 이날 구글 주식은 10% 이상 폭락했고, 그 뒤로 치열한 AI 전쟁이 막을 올려 지금에 이르렀다.

영국은 2023년 11월 ‘AI 정상회담’을 최초로 개최하면서 ‘안전(Safety)’이라는 키워드를 전면에 등장시켰다. 우연히 발생한 사건(incident)이든 의도적으로 발생한 사고(accident)이든 피해가 발생하지 않는 상태가 ‘안전’이다. 영국은 세계 최초로 AI 안전연구소(AI Safety Institute, AISI)를 세웠다. 영국은 소수 첨단 AI들을 대상으로 안전성 검사를 실시하고, 첨단 AI에 관한 안전성 보고서를 발간하는 등 글로벌 주도권을 가지고자 했다. 영국을 견제하려는 듯 미국은 같은 이름의 AISI를 바로 세웠다. 뒤이어 일본, 싱가포르, 캐나다 그리고 지난해 11월 세계에서 6번째로 우리나라도 설립했다.

지난해 5월 서울 AI 정상회의의 이어 올해 2월 프랑스에서 파리 행동 정상회의가 열렸다. 이 정상회의가 종료되자마자 영국은 AISI의 S를 안전(Safety)에서 보안(Security)로 바꾸었다. 보안은 안전과 달리 의도적인 악용으로 발생한 피해를 중심으로 다룬다. 연구소 약칭 명칭은 그대로 ‘AISI’를 유지하지만, 다른 나라들과 차별화해 ‘보안’에 선택과 집중해 글로벌 주도권을 여전히 가져가려 한다.

AI에서의 보안은 SW에서 보안과 다른 점이 있다. SW로서 AI 자체 취약성에도 관심을 두지만 이보다는 AI가 생성하는 콘텐츠를 악용할 위험을 더 중요하게 다룬다. 대형언어모델(LLM)이 학습한 전체 내용을 아는 사람은 아무도 없다. 오프라인 세상에는 인류가 지금까지 쌓아온 지식에 대해 나름대로 접근제한이 존재한다. 하지만 이것을 학습한 AI 속에서는 마치 민주화되듯 접근제한이 사라졌다. AI 개발자가 추가로 설치한 안전 가드에도 불구하고 탈옥은 언제나 가능하며 위험한 지식에 대한 접근도 마찬가지다.

대량살상무기 제조에 사용할 CBNR(화학·생물·핵·방사능) 지식, 사이버 테러와 디지털 범죄에 악용할 지식, 개인과 사회를 불행하게 만들 범죄 지식에도 접근할 수 있다. 이러한 위험 영역에 집중하는 것이 ‘AI Security’이다. 한글로는 보안, 안보, 보호, 보증 등 문맥에 따라 다양하게 번역될 수 있다. 집합관계로 표시하면, 안전 안에 보안이 포함된다. 안전 관심 대상 중에 ‘고의적 악용’에 한정해 다루는 것이 보안이기 때문이다.

국내 AI 안전연구소 역할은 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI 기본법)’에 이렇게 명시되어 있다. “인공지능과 관련하여 발생할 수 있는 위험으로부터 국민의 생명‧신체‧재산 등을 보호하고 인공지능사회의 신뢰 기반을 유지하기 위한 상태를 ‘인공지능 안전(AI Safety)’이라고 부른다. 이를 확보하기 위한 업무를 전문적이고 효율적으로 수행하기 위하여 ‘인공지능 안전연구소’를 운영한다(12조)” AI를 도입함에 따라 고의성 유무를 떠나 발생 가능한 모든 위험으로부터 국민을 보호하는 것이 국내 AI 안전연구소의 존재 목적이다.

김명주 서울여대 지능정보보호학부 교수는 지난해 11월 한국전자통신연구원(ETRI) 안에 설립된 인공지능안전연구소(AISI) 초대 소장을 맡고 있다. 컴퓨터공학 전공자이면서도 오랫동안 정보 보안 및 디지털 윤리 운동을 추진해 왔다. 2022년 ‘AI는 양심이 없다’라는 책을 통해 이용자 시민과 개발자, 사업자 모두를 위한 AI윤리를 소개했다. 국내에서 AI 윤리 ‘Seoul PACT’를 개발해 헌정한 공로로 근정포장을 수상했다. OECD GPAI(AI 글로벌 파트너십) 전문가, 국제인공지능윤리협회(IAAE) 회장, 한국저작권위원회 부위원장 등으로 활동하고 있다.