AI 기본법 시행 후, 기업이 가장 헷갈리는 ‘설명 책임’은 어디까지?
“이 정도면 설명한 것 아닌가요?”
지난달 22일 인공지능 기본법(인공지능 산업 육성 및 신뢰 확보에 관한 법률)이 본격 시행된 이후, 기업 실무자들이 가장 자주 던지는 질문이다. 법 조문에는 ‘설명 가능성’과 ‘책임’이 명시돼 있지만, 실제 실무자들 사이에서는 설명 책임의 경계선을 어디에 그어야 할지 여전히 모호하다는 반응이 나온다.
AI 기본법이 요구하는 설명 책임은 모든 AI 활용에 똑같이 적용되지 않는다. 핵심은 AI가 최종 판단에 얼마나 관여했는지, 그리고 그 판단이 개인의 권리·기회·안전에 실제 영향을 미쳤는지다.
설명 책임의 범위는 기술의 정교함보다, 결과가 미치는 영향의 크기에 따라 갈린다.
출처만 보여주면 충분할까?
현장에서 가장 흔한 오해는 ‘설명 책임(설명 가능성, Explainability)’을 단순한 출처 공개로 이해하는 것이다. AI가 어떤 답을 내놓았을 때 참고한 문서나 규정을 함께 제시하면 충분하다고 여기는 경우가 많다. 그러나 법이 요구하는 설명은 단순한 참고 자료 제시에 그치지 않는다.
예를 들어 대출 심사에서 ‘내부 규정에 따라 부적격’이라는 안내는 출처를 제시한 수준에 가깝다. 반면 소득 수준, 연체 이력, 적용된 규정이 어떻게 연결돼 결론에 이르렀는지를 설명할 수 있어야 비로소 설명 책임의 범위에 들어온다. 같은 결과라도 판단 과정이 드러나지 않으면 책임을 다했다고 보기 어렵다.
현장의 혼란을 지켜본 AI 솔루션 기업 인포시즈 탁정수 대표는 “출처 표기는 ‘무엇을 참고했는지’를 보여주는 수준이라면, 설명 책임은 ‘왜 그런 결론에 도달했는지’를 설명할 수 있는 구조를 요구한다”며 “판단 과정이 설명되지 않으면 책임의 요건을 충족했다고 보기 어렵다”고 말했다.
설명 책임의 1차 기준은 ‘고위험 영역’
설명 책임의 경계는 비교적 분명한 경우와 그렇지 않은 경우로 나뉜다. 법에서 규정한 ‘대출·채용·의료 등 고위험 영역 AI’ 여부가 일차적인 판단 기준이다. 이들 영역에서 AI가 최종 판단을 대신하거나 결정에 실질적으로 관여할 때는 설명 책임이 요구된다.
반면 AI가 참고 자료를 제공하거나, 사람이 최종 결정을 내리는 보조 도구에 그칠 때에는 법적 설명 의무가 직접적으로 발생하지 않는 경우도 많다. 예컨대 채용 과정에서 지원자를 자동으로 탈락시키는 AI는 설명 책임 대상이 될 수 있지만, 서류를 정렬하거나 점수를 참고용으로 제시하는 수준이라면 책임 범위는 달라진다.
문제는 이 경계가 기술 설명서에 명확히 적혀 있지 않다는 점이다. 같은 ‘보조’라는 표현을 쓰더라도, 실제 업무 흐름에서 AI의 영향력이 크다면 설명 책임이 발생할 수 있다.
‘보조’라도 책임이 발생하는 경우
실무에서 가장 헷갈리는 지점은 AI가 직접 결정을 내리지 않았음에도 책임이 발생할 수 있는 상황이다. AI의 결과가 사실상 판단을 좌우했다면, 책임을 피하기 어렵다. 사람이 형식적으로만 결정을 확인하는 구조라면 법적으로는 ‘사실상의 자동화된 결정’으로 해석될 여지도 있다.
예를 들어 AI가 95점 이상인 지원자만 통과하도록 자동 설정돼 있고, 담당자는 이를 확인만 하는 수준이라면 ‘보조 도구’로 보기 어렵다. 이 경우 설명 책임과 감독 의무는 여전히 기업에 남는다. 설명 책임은 기술의 문제가 아니라, 업무 구조의 문제라는 지적이 나오는 이유다.
설명 책임은 기술이 아니라 ‘구조’의 문제
AI 기본법이 던지는 질문은 ‘얼마나 똑똑한 AI를 쓰고 있느냐’가 아니다. ‘AI의 판단을 설명할 수 있는 구조를 갖추고 있느냐’에 가깝다. 설명 책임은 알고리즘 자체보다, 기업이 AI를 어떤 방식으로 업무에 편입시켰는지에 따라 달라진다.
법 시행 이후 기업들이 가장 먼저 점검 중인 지점도 결국 여기에 있다. AI가 어떤 결론을 내렸을 때, 그 이유를 내부적으로라도 설명할 수 있는가. 만약 그렇지 않다면, 기술을 고도화하기보다 운영 구조부터 다시 정리해야 한다는 신호일 수 있다.
AI 기본법은 새로운 기술을 얼마나 빨리 도입했는지를 묻는 법이 아니다. 이미 사용 중인 AI의 판단을 설명할 수 있는지, 그리고 그 책임을 감당할 구조가 있는지를 묻는 제도에 가깝다.