생성형 인공지능(AI)이 만들고 AI 자동검증까지 통과한 의료 교육자료에서도 전문가 검토 결과 배포를 막아야 할 수준의 중대 오류가 발견됐다. AI가 이러한 오류를 놓친 비율은 1.0%로, 연구진이 사전에 설정한 기준인 0.3%를 웃돌았다. 생성형 AI를 의료 교육자료 제작에 활용할 수 있지만, 현재 단계에서는 전문가의 최종 검증이 필요하다는 연구 결과다.

서울아산병원 융합의학과 김남국 교수·남유진 연구원과 삼성창원병원 영상의학과 홍파 교수 연구팀은 생성형 AI를 활용해 영상의학 전문의 시험 대비 교육자료를 제작하고 AI 자동검증과 의료진 평가 결과를 비교했다. 연구 결과는 국제학술지 ‘npj Digital Medicine’에 게재됐다.

연구팀은 생성형 AI를 활용한 7단계 교육 콘텐츠 제작 시스템을 구축해 영상의학 전문의 시험 대비 플래시 카드 6,000개와 인포그래픽 833개를 제작했다. 생성된 자료는 AI가 사실 정확성과 교육적 적절성 등을 점검하는 자동 품질 평가를 거쳤다.

연구진은 자동검증을 통과한 자료에서 AI가 중대 오류를 놓치는 비율을 0.3% 이하로 사전에 설정했다. 이는 의료 교육 분야에서 확립된 공식 안전기준이 아니라 연구진이 사전에 자체적으로 정한 임곗값이다.

이후 영상의학 전공의 9명과 전문의 11명 등 의료진 20명이 플래시 카드 1,284개를 평가했다. 분석 결과 AI 자동검증에서 통과 판정을 받은 자료에 대한 전문가 평가에서 중대 오류를 AI가 놓친 비율은 1.0%로 나타났다. 연구진이 사전에 설정한 0.3% 기준을 웃돌았다.

연구에서 중대 오류(blocking error)는 교육자료를 그대로 배포하기 어렵다고 판단할 수준의 오류를 의미한다. 다만 논문에는 해당 오류의 구체적인 의학적 사례가 상세하게 제시되지는 않았다. 또 1.0%는 전체 6,000개 교육자료 가운데 오류가 있는 자료의 비율이 아니라, AI 자동검증을 통과한 자료에 대한 전문가 평가에서 중대 오류를 놓친 비율이다.

AI의 자동검증 결과를 전문가에게 제공했을 때는 중대 오류 지적이 39건에서 54건으로 늘었고, 정확성과 교육 품질도 더 엄격하게 평가하는 경향을 보였다. 다만 단일군 연구여서 AI 피드백이 실제 오류 탐지 능력을 높인 것인지, AI의 판단을 확인한 데 따른 재검토나 평가 영향인지는 구분하기 어렵다.

이번 결과를 생성형 AI 의료 교육자료 전반에 일반화하기도 어렵다. 특정 생성형 AI 기반 시스템으로 제작한 영상의학 전문의 시험 대비 자료를 평가한 연구이며, 전문가 사이에서도 일부 평가의 일치도가 낮았다. 따라서 AI가 자동검증까지 수행하더라도 전문가 검토를 완전히 대체할 수 있는지는 추가 검증이 필요하다.

김남국 교수는 “사용 빈도가 높아진 생성형 AI를 실제 교육 현장에서 안전하게 활용하기 위해서는 전문가의 검증이 반드시 필요하다는 점을 대규모 연구를 통해 입증했다”며 “자동검증이 놓치는 오류를 체계적으로 관리하고 안전 기준을 마련하는 연구를 지속해 의학 교육 현장에서 안심하고 활용할 수 있는 생성형 AI 환경을 구축할 필요가 있다”고 말했다.

남유진 연구원은 “이번 연구는 생성형 AI가 의료 영상 교육자료를 대량으로 제작할 수 있다는 가능성을 확인한 동시에, 생성형 AI가 만든 학습 자료를 그대로 사용하기보다 어느 단계에서 어떤 오류가 생기는지 체계적으로 분석하고 걸러내는 과정이 중요하다는 것을 보여준다”고 말했다.