병원이나 의료진마다 약어와 서술 방식이 다른 흉부 X선 판독문 가운데 현재 영상과 의미가 유사한 기존 판독문을 찾아주는 거대언어모델(LLM) 기반 인공지능(AI) 모델이 개발됐다. 기존 모델보다 검색 정확도를 높이면서 서로 다른 형태의 판독문이 추가돼도 성능을 유지하거나 높인 것이 특징이다.

서울대병원 영상의학과 박창민·이동헌 교수 연구팀(제1저자 고한빈 연구원)은 공개 데이터와 서울대병원 임상 자료 등 약 160만건의 흉부 X선 영상·판독문을 학습한 영상-텍스트 검색 모델 ‘LLM2CLIP4CXR’을 개발했다고 26일 밝혔다.

흉부 X선 판독문은 의료기관과 의료진에 따라 표현 방식이 다르다. ‘양측 하폐야(BLLF)’, ‘기흉(PTX)’ 등 약어를 사용하기도 하고, 영상 소견을 상세하게 기술하거나 결론만 짧게 기록하는 등 서술 형식에도 차이가 있다.

기존에는 BERT 계열 텍스트 인코더를 이용해 판독문을 컴퓨터가 처리할 수 있는 수치로 변환하는 방식이 활용돼 왔다. 하지만 서로 다른 형태의 판독문이 학습 데이터에 추가되면 영상과 판독문을 연결하는 검색 성능이 떨어질 수 있다는 한계가 있었다.

연구팀은 이를 개선하기 위해 기존 BERT 대신 LLM을 판독문의 의미를 수치화하는 인코더로 활용했다. 문장의 앞뒤 문맥을 함께 반영하도록 구조를 변경하고, 원본 판독문과 AI로 만든 변형 문장 등을 포함한 약 110만건의 텍스트 데이터로 인코더를 학습했다.

이어 이를 영상 인코더와 결합해 흉부 X선 영상과 판독문을 동일한 수치 공간에서 비교하는 LLM2CLIP4CXR을 구축했다. 입력된 X선 영상과 의미상 가까운 기존 판독문을 검색해 제시하는 방식이다.

이번 연구는 후향적 데이터를 이용한 AI 모델 개발·검증 연구다. 최종 모델은 서울대병원 자료 약 114만건을 비롯해 MIMIC-CXR, CheXpert-plus, PadChest 등 공개 데이터를 합쳐 약 160만건의 흉부 X선 영상·판독문을 학습했다. 연구팀은 MIMIC-CXR을 이용한 자체 검증과 Open-I를 이용한 외부 검증을 진행했다.

서로 다른 특성의 데이터를 순차적으로 추가해 성능 변화를 비교한 결과, 약어가 많고 결론 중심으로 짧게 작성된 판독문 등이 추가돼 데이터의 이질성이 커져도 LLM 기반 모델의 성능은 유지되거나 일부 향상됐다. 기존 BERT 기반 모델에서는 데이터가 추가되면서 성능이 떨어지는 경향이 나타났다.

검증 결과, GREEN 점수는 자체 검증에서 0.308로 비교 모델 가운데 가장 높았고, 외부 검증에서는 0.618을 기록했다. GREEN은 검색된 판독문이 기준 판독문과 임상적으로 얼마나 같은 의미를 담고 있는지를 평가하는 지표로, 1에 가까울수록 일치도가 높다. 질환을 맞힌 비율을 나타내는 일반적인 진단 정확도와는 다른 지표다.

외부 검증에서 기준 판독문을 검색 결과 첫 번째에서 찾은 Top-1 검색 정확도는 4.9%로 검색 기반 비교 모델의 최고치인 2.9%를 웃돌았다.

사람과 LLM을 이용한 별도 평가에서도 연구팀 모델이 비교 모델보다 높은 평가를 받았다. Open-I 200개 증례를 의대생 3명과 LLM 4종이 평가했으며, 이 가운데 무작위로 추출한 72개 증례는 흉부영상 전문의 1명이 별도로 평가했다.

전문의 평가에서 연구팀 모델은 55건(76%)에서 1순위로 선택됐고 평균 순위는 1.29위였다. 비교 모델인 MAIRA-2는 11건(15%), BC2C는 6건(8%)에서 각각 1순위로 평가됐다.

연구팀은 이 같은 검색 방식을 향후 의료영상저장전송시스템(PACS)이나 방사선정보시스템(RIS)에 적용하면 현재 검사와 의미상 유사한 과거 영상과 판독문을 찾는 데 활용할 수 있을 것으로 내다봤다. 실제 자료를 찾아 제시하기 때문에 의료진이 검색 결과의 근거가 된 영상과 판독문을 직접 확인할 수 있다는 설명이다.

다만 이번 연구는 실제 진료 현장에서 모델을 사용해 판독 정확도나 업무 효율이 개선되는지를 평가한 연구는 아니다. 외부 검증 데이터도 다양한 의료기관과 장비, 실제 업무 환경을 충분히 대표하지 못할 수 있으며, 전문의 평가 역시 1명이 72개 증례를 평가해 전문의 간 평가 일치도는 확인되지 않았다. 연구진은 실제 임상 적용을 위해 다기관·전향적 검증과 업무 환경 통합, 안전성 평가 등이 추가로 필요하다고 밝혔다.

박창민 교수는 “의료 AI의 성능은 데이터양보다 문맥과 임상 지식을 얼마나 깊이 있게 이해하느냐에 달려 있다”며 “이런 검색 방식은 결과의 근거를 추적할 수 있다는 장점이 있다”고 말했다.

이동헌 교수는 “이번 연구로 비정형 판독문도 원형 그대로 활용할 수 있는 길을 열었다”며 “향후 흉부 CT 등으로 범위를 넓히고, 실제 진료 현장의 유용성을 확인하는 다기관 후속 검증 작업을 추진할 계획”이라고 말했다.

이번 연구는 국제학술지 ‘IEEE Journal of Biomedical and Health Informatics(JBHI)’에 온라인 선게재됐다. 과학기술정보통신부가 지원하는 한국연구재단과 정보통신기획평가원 연구비로 수행됐으며, 연구팀은 개발한 모델을 허깅페이스와 깃허브에 연구 목적으로 공개했다.