“인공지능(AI) 알람, 그냥 꺼버렸다.”

한 건설 현장의 실제 이야기다. 이 건설사는 최근 작업자의 안전을 확보하기 위해 비전 AI 기술을 도입했다. 현장에 설치된 CCTV 영상을 분석해 AI가 작업자가 사고 위험이 있는 경우 경고음 등을 울려 알려주는 기술이다. 안전모와 같은 안전 장비를 착용하지 않았을 경우, 혹은 작업하는 중장비 옆에 있는 경우 위험하다고 알려준다. 하지만 이 기술은 너무 많은 알람을 주는 나머지 있으나 마나 한 존재가 됐다. 현장 관계자는 “재난 문자가 너무 자주 울려 꺼놓는 사람들이 많듯이 AI 알람도 수시로 울려 아예 꺼버렸다”며 “위험한 상황도 아닌데 자주 울려 오히려 작업에 방해가 된다”고 토로했다.

이 문제는 ‘과탐지’와 ‘미탐지’에서 나온다. 과탐지는 엄격하게 탐지하는 것을 뜻한다. 위 사례를 예시로 들면 안전모를 착용하지 않아도 되는 상황에도 안전모를 써야 한다고 알람을 울리는 것이 과탐지다. 반대로 미탐지는 낮은 확률로 탐지하는 것을 의미한다. 위험한 현장에서 안전모를 쓰지 않았거나 중장비 옆에 있는 데도 알려주지 않는 것이 미탐지다.

과탐지와 미탐지는 AI 현장 적용의 오랜 숙제였다. 의료 분야에서 암을 판독할 때 AI 기술을 쓰는 경우가 대표 사례다. 의사는 환자에게 암이 맞는지, 아닌지를 정확히 알려줘야 한다. 암일 가능성을 과탐지하게 되면 환자는 암이 아닌데도 암으로 판정될 수 있다. 반대로 미탐지일 경우 암이 맞는데도 암이 아니라는 판정을 받을 수 있다. 피부암 질환 AI 솔루션을 개발하는 라이프시맨틱스 관계자는 “암이 아닌 환자에게 암이라고 판정을 내리게 되면 항암치료 등으로 인한 부작용이 발생할 수 있다”면서 “이 때문에 보수적이면서도 정확하게 기술을 만드는 것이 중요하다”고 말했다.

◇ AI 활용 신뢰성 좌우하는 탐지율

과탐지와 미탐지는 사용자가 AI 신뢰성을 평가하는 주요 지표가 될 수 있다. 작업자 안전을 도모하기 위해 AI 기술을 도입했지만 과탐지로 지속 알람이 울리는 경우 골칫거리로 전락할 수 있고, 반대로 실제 사고로 이어지는 상황을 탐지하지 못하게 되면 AI는 제 역할을 못 하는 허울뿐인 존재가 될 수 있어서다. 비용을 내고 AI를 도입한 수요 기업 입장에선 두 상황 다 돈만 낭비한 상황이 된다. 현장 관계자는 “챗GPT 이후 AI에 관심이 커졌는데 실제 현장에서는 AI는 엉터리로 취급하고 있다”며 “도입한 지 1년이 되어 가는데 솔직히 전혀 필요가 없다고 생각한다”고 지적했다.

익명을 요구한 건설사 관계자는 “중대재해처벌법이 발표된 이후 사업장 안전을 위해 AI나 센서를 활용한 사물인터넷(IoT) 기술 등을 도입하는 업체들이 많아졌지만, 이는 실질 활용보단 법적 책임을 회피하기 위한 수단으로 도입하는 경우가 많다”며 “기업 대표 입장에선 작업자 안전을 위해 비용을 써서 첨단 기술까지 도입하며 노력했는데 어쩔 수 없는 사고였다며 책임을 면피할 수 있기 때문”이라고 말했다. 이어 “AI가 책임 면피가 아닌 실제 작업자 안전을 보호하기 위해 쓰였으면 하지만 아직 그 정도로 기술이 발전했는지는 모르겠다”고 했다.

이 문제에 대해 AI 기업은 일부 기술적 오류일 뿐 과탐지와 미탐지는 고객사가 원하는 대로 맞춤 설정해 극복할 수 있다고 주장한다. 한 비전 AI 기업 관계자는 “중대재해처벌법 이후 시장 수요가 커지면서 큰 기술력 없이 오픈소스만 활용해 제품을 만든 후 판매하는 기업이 생겼다”며 “사실 AI는 제품을 만드는 것보다 현장에 적용하는 것이 더 중요한데, 모두 일괄적으로 모델을 만들고 판매하다 보니 발생하는 문제”라고 지적했다. 이어 “전체 AI 시장의 성장을 생각해서라도 사람들이 AI를 믿고 사용할 수 있도록 기술 개발을 해줬으면 좋겠다”고 희망했다.

비전 AI 기술을 활용해 작업장 안전 기술을 선도적으로 공급한 인텔리빅스는 AI 알람이 자주 울릴 경우 재난문자처럼 사용자가 끌 가능성은 있다고 보았다. 하지만 이는 처음 도입하거나 서비스하면서 극복할 수 있는 부분이라고 설명했다. 인텔리빅스 관계자는 “작업장마다 어떤 상황을 중점적으로 살필 것인지에 관한 내용이 모두 다르다”며 “우리는 고객사가 원하는 주요 이슈만 탐지할 수 있도록 기술을 커스터마이징할 수 있다”고 밝혔다. 이어 “모든 작업장에 동일하게 알람이 울리는 것은 문제가 될 수 있지만 우리는 제품을 고객사 요구사항에 맞춰 제공하고 불편한 점은 사후에 조정할 수 있어 과탐지와 미탐지 문제는 줄일 수 있다”고 했다.

◇ 공장 이상탐지와 표절 검사에도 적용되는 과탐지와 미탐지

과탐지와 미탐지 문제는 다른 산업 분야에서도 동일하게 적용된다. 제조업도 마찬가지다. 최근 제조 분야에선 예지보전 AI 기술 보급이 많아지고 있다. 공장 설비나 장비의 고장이나 교체 주기를 AI 기반으로 예측해 알려주는 기술이다. 장비 고장으로 공장이 멈춰서는 것을 방지하는 효과가 있다. 기존에는 장비를 수명이 다하기 전 일정 주기로 교체하거나 장비 이상 현상을 경험 많은 직원의 감에 의존했다면, 예지보전은 장비의 진동, 소음 데이터를 AI로 분석해 보다 과학적으로 이상 현상을 탐지한다.

예지보전도 과탐지와 미탐지의 균형을 찾는 것이 중요하다. 윤성호 마키나락스 대표는 “한 고객사에선 한 번 잘못 울리면 직원들의 신뢰가 떨어지기 때문에 엄격한 상황에서만 울릴 수 있도록 요청한 적이 있다”면서 “마키나락스는 제조 도메인에서 정말 많은 데이터를 보고 기술력도 있어 이러한 요청에 맞춰 기술을 공급한다”고 말했다. 이어 “한 고객사의 경우 AI 알람이 울려도 무시한 적이 있는데 이 때문에 큰 피해를 보기도 했다”며 “이런 사례가 두 번 이어지자 AI 기술에 대한 신뢰가 구축됐다”고 설명했다. 또 “AI가 내린 결정을 사람이 믿기 위해선 실제 성과가 중요하다고 생각해 제조 분야에서 이러한 성과를 만들어나가고 있다”고 했다.

시험이나 서류 등에서 표절 검사도 과탐지와 미탐지 영역에 해당한다. AI로 표절 여부를 검사할 때 서류 제출자가 표절하지 않았음에도 AI가 표절했다고 결론 내리면 억울한 상황이 발생할 수 있어서다. 논문표절 검사 서비스 ‘카피킬러’와 생성형 AI 챗GPT로 작성한 글을 탐지하는 서비스 ‘GPT킬러’를 개발한 무하유는 자사 솔루션의 경우 과탐지보단 미탐지에 무게를 둔다고 밝혔다. 신동호 무하유 대표는 “카피킬러는 10명이 봤을 때 대략 7명 이상이 표절이 맞다고 볼 수 있는, 쉽게 말해 누구나 표절이라는 데 공감할 수 있는 쪽에 탐지율 무게를 둔다”며 “GPT 킬러의 경우 누구나 생성형 AI를 사용한 것 같다고 생각할 정도의 글을 탐지한다”고 말했다. 이어 “과탐지보다 미탐지에 무게를 두는 이유는 혹시 모르는 억울한 상황을 방지하기 위한 방안”이라고 덧붙였다.