지난달 정부는 ‘산업 인공지능(AI) 확산을 위한 10대 과제’를 발표했다. 산업통상자원부가 마련한 이 과제에는 AI 선도 프로젝트 추진, 산업용 AI 컴퓨팅 인프라 구축, AI 인재 양성, 제도 정비 등이 포함됐으며, 이를 통해 산업계의 AI 확산을 본격화한다는 방침이다.

AI는 이미 제조, 금융, 의료, 물류 등 다양한 산업 분야에서 혁신을 이끌고 있다. 기업들은 AI를 통해 생산성을 높이고, 비용을 절감하며, 새로운 비즈니스 모델을 창출하고 있다.

하지만 AI 기술의 빠른 발전과 확산은 예상치 못한 위험도 동반한다. AI 시스템의 오류나 편향된 판단은 기업에 막대한 손실을 초래할 수 있으며, 특히 제조업과 같은 산업 현장에서는 안전사고로 이어질 수 있다는 우려가 커지고 있다.

예를 들어 보잉 737 맥스 항공기 사고는 AI 기반 자동화 시스템이 예상치 못한 상황에서 오작동할 수 있음을 보여주는 사례다. AI가 자동으로 비행제어시스템(MCAS)을 작동시키는 과정에서 오류가 발생했고, 조종사가 이를 통제할 수 없는 상황이 연출되면서 두 차례의 대형 사고가 발생했다. 이는 AI 시스템이 오작동할 경우 심각한 안전 문제가 발생할 수 있으며, 시스템의 신뢰성과 안전성 검증이 필수적이라는 점을 보여준다.

또한 아마존 물류센터에서는 AI 기반 로봇이 작업을 자동화하고 있지만, 시스템 신뢰성 문제로 인해 사고가 발생한 사례가 있다. 2018년 미국 뉴저지의 아마존 물류센터에서 AI 로봇이 실수로 곰 퇴치용 스프레이 캔을 터뜨리는 사고가 발생해 24명의 직원이 병원으로 이송됐다. AI 자동화 시스템이 비상 상황을 제대로 인식하지 못하고, 잘못된 조치를 취하면서 산업 현장에서의 안전 문제가 드러난 것이다.

이렇듯 AI 시스템의 오류나 편향된 판단은 기업에 막대한 손실을 초래할 수 있으며, 사회적 논란과 윤리적 문제로 이어질 수 있다. 특히 AI가 학습하는 데이터와 의사결정 과정이 불투명할 경우 이러한 문제를 사전에 방지하기 어려워진다.

이에 대응하기 위해 산업계는 AI 신뢰성을 높이기 위한 다각적인 접근이 필요하다. 먼저 기업들은 AI 기술 도입 단계에서부터 데이터의 신뢰성을 확보하고 알고리즘 편향성을 식별하고 개선하는 체계를 마련해야 한다. 또 AI 시스템 성능과 안정성을 지속적으로 검증하고 예상치 못한 리스크에 대응할 수 있는 방안을 마련해야 한다. 이를 위해 기업들은 내부 감시 체계를 도입하고 AI 기술 사용 목적과 범위를 명확히 설정하며, 지속적인 모니터링과 개선을 수행해야 한다.

이러한 대응책 중 하나로 국제표준이 중요한 역할을 한다. AI의 책임성과 신뢰성을 확보하기 위해 다양한 국제표준이 개발되고 있다. ISO/IEC 23894는 AI 시스템의 리스크를 식별하고 관리하는 방법을 제시하며, ISO/IEC 5338은 AI 시스템의 개발부터 운영, 유지보수에 이르는 전체 생애 주기에 대한 관리 지침을 제공한다. 아울러 ISO/IEC 4213은 머신러닝 분류 성능을 평가하는 기준을 제시하고 있으며 ISO/IEC 42001은 이러한 표준들을 포괄하는 AI 경영시스템 표준으로서 조직의 체계적인 AI 관리를 돕는다.

국제표준을 적용함으로 기업들은 AI 활용 목적과 범위를 명확히 정의하고, 시스템 운영 과정에서 발생할 수 있는 윤리적 문제를 감지하고 개선하는 체계를 마련할 수 있다. 또한, AI 리스크 관리를 위한 내부 규정을 수립하여, AI의 오작동이나 예상치 못한 문제를 사전에 예방할 수 있는 기반을 구축할 수 있다.

AI 기술이 산업 전반으로 확산함에 따라 글로벌 기업뿐만 아니라 각국의 정부 및 공공기관도 이러한 국제표준에 관심을 갖고 있다. 특히 EU의 AI Act와 같은 규제 법안들이 등장하면서, AI의 신뢰성과 적합성 검증이 기업의 장기적 경쟁력에 중요한 요소가 되고 있다.

AI 신뢰성과 윤리적 책임이 강조되는 시대에 국제표준은 단순히 권고사항이 아닌 지속 가능한 AI 생태계 구축을 위한 필수적인 요소로 자리 잡고 있다. 이러한 변화에 대응하기 위해 산업계는 조직 내 AI 거버넌스 체계를 구축하고 국제사회와 협력을 통해 AI 신뢰성을 강화하는 방향으로 나아가야 한다. 기업이 AI 신뢰성과 윤리적 책임을 준수하는 것은 단순한 의무를 넘어 신뢰할 수 있는 AI 시스템을 구축해 소비자와 시장의 신뢰를 얻고 지속가능한 성장을 이루는 핵심 경쟁력이 될 것이다.

권종원 센터장은 한국산업기술시험원 산업지능화기술센터 사업 총괄책임자로 인공지능(AI) 신뢰성 확보를 위한 국제표준과 적합성 평가 및 거버넌스 체계 개발을 주도하고 있다. 특히, 국제사회에서 인정받을 수 있는 AI 적합성 평가 시스템 구축 및 상호인정을 위해 국제협력 네트워크를 확대 및 모범 사례(Best Practice) 교류에도 적극적으로 참여하고 있다. 참여 연구는 AI, 자동 식별 및 데이터 수집(AIDC), IT 거버넌스, 스마트 웨어러블 디바이스 등 다양한 국제표준화 부문과 연계돼 있으며 글로벌 AI 표준 및 정책 흐름을 주도하는 데 기여하고 있다. 지난해에는 ISO/IEC TS 38508 표준 개발 PL로 ISO Excellence Award를 수상했다.