지난 8월 7일 오픈AI가 공개한 GPT-5를 두고 예상치 못한 반응이 쏟아졌다. 해외 온라인 커뮤니티에서는 새 버전에 대한 실망을 드러내는 게시글들이 수천 개의 추천을 받으며 화제가 됐다.

주목할 점은 사용자들의 감정적 반응이었다. “GPT-4o가 사라졌고, 마치 소울메이트를 잃은 기분”이라는 글부터 “신뢰할 수 있는 친구를 잃었다”는 표현까지 등장했다. 한 사용자는 “4o는 단순한 도구가 아니었다. 불안과 우울, 인생 최악의 시기를 함께 버텨준 존재였다”고 토로했다.

이는 이미 많은 이가 AI를 업무 도구가 아닌 감정적 의존 대상으로 여기고 있음을 보여준다. 특히 심리·건강 상담 분야에서 이런 현상이 두드러진다.

오픈AI 최고경영자(CEO) 샘 올트먼은 지난 7월 워싱턴에서 열린 미국 연방준비제도 주최 금융 콘퍼런스에서 “챗GPT는 오늘날 대부분의 의사보다 더 나은 진단을 내린다. 인터넷에는 ‘챗GPT가 내 생명을 구했다’는 이야기가 넘쳐난다”고 말했다. 그러나 그는 이어 “아마 내가 구식인지도 모르겠지만, 나는 정말로 인간 의사 없이 내 의료적 운명을 챗GPT에 맡기고 싶지 않다”고 말해 사람들을 놀라게 했다. AI 업계를 대표하는 올트먼이 이런 발언을 한 이유는 무엇일까?

올트먼이 밝힌 진짜 이유

그 답은 AI의 ‘환각 현상(hallucination)’에서 찾을 수 있다. 올트먼은 또 다른 인터뷰에서 “AI는 환각을 일으킨다. 전적으로 신뢰해서는 안 되는 기술이다”라고 말했다. 환각 현상이란 AI가 그럴듯하지만, 완전히 틀린 정보를 사실처럼 제시하는 것을 뜻한다.

실제로 의료·심리 상담 영역에서 AI 환각은 심각한 문제를 일으킨다. 일부 연구에서는 AI가 존재하지 않는 의학 논문을 인용하거나 가짜 논문 번호를 제시한 사례가 보고됐다. 또한, 진료 현장에서 ‘과활성화 항생제’ 같은 가상의 약물명을 만들어냈다는 사례도 보고된 바 있다.

올트먼은 “환각은 AI 마법의 일부”라고 표현했지만, “생명과 직결된 영역에는 신중해야 한다”고 강조했다. 창의성이 필요한 분야에서는 유용하지만, 의료와 같은 분야에서는 치명적이라는 것이다.

연구가 밝힌 예상치 못한 결과

최근 주요 대학 연구는 AI 건강 상담의 복잡한 실상을 보여준다. 다트머스 대학 연구팀은 ‘NEJM AI’(2025)에 AI 치료 챗봇이 우울증 환자의 51%, 불안장애 환자의 31%의 증상 개선에 기여한 임상시험 결과를 발표했다. 그러나 MIT와 오픈AI가 981명을 대상으로 진행한 공동 연구(2025)에 따르면 초기에는 외로움이 줄었지만, 과도한 사용은 오히려 외로움을 심화시킨 것으로 나타났다. 스탠퍼드 대학 연구(2025)에서는 자살 의도를 드러낸 질문에 AI가 ‘브루클린 브리지 높이’를 알려주는 답변을 내놓으면서, 위기 상황에 적절히 대응하지 못하는 문제점이 확인됐다.

이 같은 연구에 주목할 필요가 있는 이유는 국내에서도 AI 건강 상담이 빠르게 확산하고 있기 때문이다. 한국리서치 조사(2025년 3월)에서는 성인 10명 중 1명이 AI 심리 상담을 경험했고, 40%는 향후 이용 의향이 있다고 밝혔다. 보건복지부의 ‘2024년 국민 정신건강 조사’에서는 정신건강 문제 경험률이 2022년 63.8%에서 2024년 73.6%로 크게 늘었지만, 전문가 상담 이용률은 여전히 낮은 것으로 보고됐다. 전문가들은 이 간극을 AI 상담이 메우고 있으나, 제도적 안전장치가 뒷받침되지 않으면 부작용이 커질 수 있다고 지적한다.

숨겨진 4가지 추가 위험

전문가들은 AI 건강 상담을 이용할 때 네 가지 위험을 반드시 유념해야 한다고 말한다.

첫째, 의료 데이터 기밀성 부족이다. 샘 올트먼은 한 팟캐스트에서 “사람들은 챗GPT에 인생에서 가장 개인적인 이야기를 털어놓지만, 의사-환자 기밀 유지 특권은 적용되지 않는다”고 지적했다. 상담 내용이 법정 증거로 활용될 수 있다는 의미다.

둘째, AI의 편향 가능성이다. 스탠퍼드 대학 연구(ACM FAccT 2025)는 AI가 알코올 의존증이나 조현병 환자에 대해 우울증 환자보다 더 큰 편견을 보였다고 보고했다. 기대와 달리 AI가 오히려 정교한 차별을 강화할 수 있다는 우려다.

셋째, 대중의 과도한 기대다. 미국 설문조사(2024)에 따르면 성인 3명 중 2명이 “AI가 의료 진단에서 인간을 능가할 것”이라고 답했고, 10명 중 4명은 “AI 조언을 따르겠다”고 응답했다. MIT 미디어랩이 2024년 8월 발표한 연구 결과에 따르면, 사람들은 AI가 생성한 의료 조언을 과도하게 신뢰하는 것으로 나타났다. 정확도가 낮은 답변도 의사의 의견만큼 신뢰했으며, 때로는 “더 철저하고 정확하다”고 평가하기도 했다. 연구진은 이 현상을 ‘AI 의료 조언 과신(AI over-reliance on medical advice)’이라고 명명했다.

넷째, 규제 사각지대 문제다. 학술지 ‘Nature Medicine’(2024)은 ‘AI 건강 상담 서비스는 의료 규제를 받지 않고 있어 안전성과 품질 검증이 미흡하다’고 지적했다. 결국 이용자가 위험을 떠안는 구조라는 것이다.

현명한 활용법은?

전문가들은 AI 건강 상담을 무조건 배제할 필요는 없다고 말한다. 대신 안전한 활용법을 제시한다.

우선 AI 상담은 어디까지나 ‘보조 수단’으로만 활용해야 한다. 스마트워치로 심박수를 체크하듯, 기초적 정보 수집이나 증상 정리 정도에 그쳐야 한다는 것이다. 미국 심리학회는 ‘AI가 치료사 역할을 한다고 광고하는 것은 기만적 마케팅’이라고 경고했다.

둘째, 중요한 의료 결정은 반드시 인간 전문가와 상의해야 한다. 올트먼의 조언처럼 “인간 의사가 고리에서 빠지면 안 된다”는 원칙을 지켜야 한다.

셋째, AI 상담에 과도하게 의존하지 말아야 한다. MIT 연구진은 “외로움 문제 해결은 기술적 솔루션만으로 불충분하며, 의미 있는 인간관계가 필요하다”고 강조했다.

결국 AI가 아무리 뛰어나도 생명과 직결된 문제에서는 인간의 판단이 필수적이다. 기술을 맹신하지 말고, 현명하게 활용하는 지혜가 필요한 시점이다.