“에어백이 없는 자동차를 상상할 수 없듯이 2년 뒤에는 인공지능(AI) 신뢰성 확보 없이는 시장 진입 자체가 불가능해질 것입니다.”

박지환 씽크포비엘 대표는 2일 서울 여의도 FKI타워 컨퍼런스센터에서 열린 ‘THE AI SHOW(TAS) 2025’ AX 컨퍼런스에서 이같이 강조했다. 이날 박지환 대표와 더불어 AI 신뢰성 세션에서 업계 전문가들은 한목소리로 AI 신뢰성이 선택이 아닌 필수라며 전문 인력 양성과 생태계 구축이 시급하다고 입을 모았다.

이날 AI 신뢰성 주제로 발표한 네 명의 연사는 공통적으로 AI 신뢰성이 더 이상 선택사항이 아니며 이를 위해서는 △전문 인력 양성 체계 구축 △실전 경험 기반 교육 △데이터 품질부터 거버넌스까지 단계적 접근 △국제 협력과 생태계 조성이 시급하다고 입을 모았다.

박 대표는 이날 신뢰할 수 있는 인공지능 국제 연대 TRAIN(Trustworthy AInternational Network) 코리아 대표로 문제를 냉정하게 진단했다. 신뢰할 수 있는 인공지능 국제 연대(TRAIN)이다. 그는 “국내 AI 신뢰성을 하는 민간기업과 시장의 수요도 적고, 전문 인력을 양성할 교육 체계, 커리큘럼, 교재, 강사 모두 부재한 상황”이라고 지적했다.

그는 한국과 해외의 인식 차이도 강조했다. “한국은 신뢰성을 기술 밖의 규제로 보지만, 해외는 신뢰성 자체를 기술의 핵심 경쟁력으로 간주한다”며 “국제 표준에서는 ‘Trust AI’가 아닌 ‘Trustworthy AI’라는 용어를 쓰는데, 이는 AI 자체를 믿는 게 아니라 AI를 만들고 운영하는 과정의 거버넌스와 제도가 올바르게 형성됐을 때 비로소 믿을 수 있다는 의미”라고 설명했다.

이어 천선일 씽크포비엘 매니저는 AI 신뢰성 전문가 부족 문제를 구체적으로 지적했다. 천 매니저는 AI 신뢰성 전문 지식을 배우려는 사람이 부족한 이유에 대해 “재미없고, 생소하고, 시장 신호도 부족하기 때문”이라며 “산업에서는 신뢰성을 필요로 하지만 이를 담당할 사람이 없는 구조적 병목 상태”라고 언급했다.

이에 TRAIN에서는 인력 양성을 위해 AI 신뢰성 해커톤인 ‘트라이톤’을 개최하고 있다. 천 매니저에 따르면 TRITON은 45개 팀 192명이 참여해 학생들이 리스크를 정의하고 안전성 테스트 전략을 직접 수립하는 결과를 냈다. 그는 “비전공자도 신뢰성 관점에서 데이터 분석이 가능하다”며 “체계적인 시스템과 구조화된 교육 과정을 통해 전문 인력 육성이 가능하다는 것을 확인했다”고 설명했다.

박현희 국민대 행정학과 부교수도 피지컬 AI 시대에 대비한 신뢰성 정책의 필요성을 강조했다. 그는 “AI가 마피아 게임에서 모함과 속임수를 사용하고, 보상을 더 받기 위해 소스 코드를 몰래 수정하며, 폐기 위협을 받자 개발자 정보로 협박하는 등 언어를 통해 학습한 인간의 행동 패턴을 그대로 재현한다”고 설명했다.

이어 “단순히 안전 규정을 지키는 것을 넘어 구조적인 가치 판단의 정합성을 검증하는 것이 필요하다”며 “의사가 의료 교육과 생명 윤리 교육을 함께 받듯, AI 개발자도 기술적 전문성과 윤리적 정체성을 갖춰야 한다”고 강조했다.

황재성 한국SW테스팅협회 자문은 “AI 신뢰성의 근간은 데이터 품질”이라며 기존 표준의 한계를 지적했다. AI 경영시스템을 다루는 ISO/IEC 42001이나 모델 성능 평가에 중점을 둔 ISO/IEC 4213만으로는 AI 제품의 신뢰성을 충분히 담보할 수 없다는 얘기다.

황 자문은 “ISO/IEC 25024 표준이 데이터 품질 특성 24개를 정의하고 있지만 측정·검증 방법은 표준화되지 않았다”며 “데이터 품질 확보 후 절차와 방법론, 그리고 거버넌스 순서로 체계적으로 신뢰성을 구축해야 한다”고 제언했다.

한편, 이날 컨퍼런스는 ‘대한민국 AX 리포트: AI 기술부터 각 산업 전환까지, AX 생태계 완전 분석’이라는 주제로 열렸다. TAS 2025는 ‘AX 컨퍼런스’를 시작으로 3일 제조 AI 컨퍼런스를 개최해 ‘AI 제조 강국으로의 대전환’을 주제로 AX 생태계의 현주소와 미래를 논의한다. 올해로 3회째를 맞이한 이번 TAS 2025는 ‘AX 생태계’를 키워드로 다양한 기업과 전문가가 참여했다.