학교 과제와 기업 자기소개서 작성을 인공지능(AI)으로 했다면? 하반기부턴 조심할 필요가 있다. 생성형 AI 사용을 감지해내는 또 다른 AI ‘GPT 킬러’가 상용화되기 때문이다.

AI 기반 논문표절 검사 서비스 ‘카피킬러’를 개발한 자연어 기업 ‘무하유’는 한국어 기반 생성형 AI 감지 서비스 ‘GPT 킬러’를 올해 하반기 출시한다고 21일 밝혔다. 과제나 이력서, 논문 작성에 챗GPT와 같은 생성형 AI를 사용했는지 감지해내는 서비스다. 해외에 출시된 GPT제로, 카피릭스(Copyleaks) 등 디텍트(Detect)GPT의 한국어 버전으로 볼 수 있다.

챗GPT는 사람과 자연스럽게 대화하며 필요한 정보를 찾아주고 이를 텍스트로 알려주며 정보 검색, 텍스트 생성 등에 높은 편의성을 가져왔지만, 이로 인한 문제점도 양산했다. 대학 과제나 이력서 작성 등에 AI가 생성한 내용을 그래도 표절하는 경우가 발생해서다. 학생들이 과제나 시험을 볼 때 챗GPT가 생성한 내용을 그대로 복사·붙여넣기 하거나, 대부분 내용을 인용하는 경우 평가자가 이를 구분할 수 없어 형평성 문제가 생겼다. 성실하게 공부한 학생과 공부하지 않고 챗GPT를 이용해 답변한 학생 간 구분이 어려워진 것이다. 이 때문에 미국 뉴욕시 교육부는 지난 1월 초 모든 공립고에 챗GPT 사용을 금지했다. 시애틀 일부 공립고와 프랑스 명문대인 시앙스 포 대학도 챗GPT나 생성형 AI 사용을 막았다. 국내에서도 시험 시 챗GPT 사용을 금지하는 사례가 있었다.

이번에 무하유가 개발한 GPT 킬러는 챗GPT가 작성한 내용을 감지할 수 있어 이러한 형평성 문제를 줄일 수 있을 것으로 기대된다. 하지만 AI 생성한 글을 탐지하는 것은 여러 문제를 양산할 수 있다. AI로 작성하지 않았는데, 생성형 AI를 사용했다고 평가되는 억울한 일이 발생할 수 있고, 반대로 AI를 사용했어도 탐지되지 않아 또 다른 형평성 문제를 낳을 수 있다. 실제로 미국에서 공개한 GPT제로는 처음 공개됐을 때 낮은 정확도로 사용이 어렵다는 여론이 많았다. 생성형 AI 탐지 기술이 필요하지만, 관련 기술이 쉽사리 나오지 않은 이유도 이 때문이다.

이러한 이유가 발생하는 것은 AI 텍스트 생성은 확률에 근거하기 때문이다. 사람이 사용하는 용어를 워드임베딩 작업을 통해 컴퓨터가 알 수 있도록 숫자로 표현한 후 다음 숫자가 무엇이 나올지 확률적으로 계산해 높은 확률의 숫자를 제시하는 것이 AI가 글을 생성하는 방식이다. 일례로 ‘I am’ 다음엔 ‘boy’나 ‘girl’의 단어가 많이 나왔으니 확률적으로 이 단어를 생성하고, 반대로 ‘dog’, ‘cat’ 등의 단어는 많이 없으니 선택하지 않는 방식이다. 이 과정에서 AI는 새로운 규칙을 찾아낸다. 유사한 단어간 계산값이 유사하다는 공통점을 스스로 추론한다. 예를 들어 I am 다음 ‘girl’과 ‘women’의 확률적 계산값이 유사하다는 점을 찾는다. 많은 데이터를 학습한 대형언어모델(LLM)은 그 내부에 이러한 규칙이 많아 사람처럼 능숙하게 대화할 수 있는 챗GPT와 같은 생성형 AI를 탄생시키게 했다. 이러한 작업 탓에 AI로 생성한 글은 높은 확률을 갖고 사용하는 단어 쓰임도 많아져 탐지가 쉽지 않았다.

그렇다면 무하유는 이러한 문제를 어떻게 극복해 GPT 킬러를 내놓게 됐을까. 신동호 무하유 대표를 만나 자세한 이야기를 들어봤다.

- GPT 킬러는 무엇인가.

“자기소개서나 과제 제출물 등의 글을 분석해 사람이 쓴 것인지, 챗GPT와 같은 생성형 AI가 작성한 글인지 판별하는 서비스다. 지난 12년간 AI 기반 표절검사 서비스 ‘카피킬러’를 운영하며 축적한 문서 데이터와 우리만의 한국어 자연어이해(NLU) 노하우를 접목해 개발했다. 문장 속 단어와 어순 관계를 추적해 맥락과 의미를 학습하는 AI 신경망 모델인 ‘트랜스포머’를 기반으로 한다. 한국어 NLU를 학습한 AI가 검사 문서를 문단 단위로 분할한 후 각 문단에 대한 챗GPT 작성 확률을 분석해 입력된 값에 따라 그 결과를 참 또는 거짓 형태로 분류해 생성형 AI 작성 여부를 판단한다.”

- AI를 사용하지 않았는데 사용했다고 판정될 가능성은 없나. 억울한 일이 발생할 수 있을 것 같다.

“중요한 부분이다. 탐지율과 관련된 부분인데 파라미터 튜닝을 어떻게 하느냐에 따라 너무 엄격하게 탐지하는 ‘과탐지’, 낮은 확률로 탐지하게 되는 ‘미탐지’ 문제가 발생하게 된다. 암 진단을 예로 들어보자. 환자가 암이 아닌데 암이라고 진단하는 경우가 과탐지, 암세포가 있는데 암이 아니라고 진단하는 경우가 미탐지다. 그렇다면 의사는 과탐지와 미탐지 중 어디에 더 비중을 둬야할까. 사람의 생명이 연관된 분야기 때문에 과탐지에 비중을 둬야 하지 않을까 싶다. 반대로 카피킬러와 같은 논문표절 검사는 과탐지가 더 문제가 된다. 최근 여러 뉴스에서도 알 수 있듯 논문표절 사실이 밝혀지면 큰 사회적 이슈가 되곤 한다. 학자의 명예는 물론 여러 문제가 생긴다. 그래서 표절이 아닌데도 표절이라고 탐지하면 안 된다. 그래서 탐지율의 비중을 과탐지보단 미탐지에 둔다. 10명이 봤을 때 대략 7명 이상이 표절이 맞다고 볼 수 있는, 쉽게 말해 누구나 표절이라는 데 공감할 수 있는 쪽에 탐지율 무게를 둔다. GPT 킬러도 이와 마찬가지로 누구나 생성형 AI를 사용한 것 같다고 생각할 정도의 글을 탐지한다고 보면 된다.”

- 미국에서 GPT제로가 처음 나왔을 때 낮은 정확도로 사용이 어렵다는 의견이 있었는데.

“그래서 과탐지와 미탐지의 비율을 측정하는 것이 중요한 것이다. 사실 AI 모델은 확률인데, 여기서 정확도는 그 기준에 따라 다르다. 다 챗GPT가 쓴 글을 대상으로 한 뒤 탐지해 100%라고 할 수 있고, 글 전체 문단 중 AI가 생성한 문장은 하나만 넣고, 나머지는 사람이 채운 다음 이를 탐지해 정확도가 낮다고 할 수 있다. 미디어 쪽에 자주 나오는 정확도 비중보단 실제로 그 제품이 검사자와 검수자 간 피해를 최소화해 검사하는 것이 중요하다. 그래서 우리는 과탐지와 미탐지 중 어느 부분에 무게를 둬야 할 지를 초점에 맞추며 기술을 연구했다.”

- AI가 생성한 글을 탐지하는 원리가 궁금하다.

“챗GPT뿐 아니라 생성형 AI가 글을 만들어내는 방식은 같다. 키워드와 시퀀스를 분석해 다음에 나올 토큰을 예측해 만들어내는 방식이다. I am 다음에 무엇이 나올 것이냐를 확률적으로 계산해 보여준다. 대체적으로 통계적으로 나오는 키워드가 나오면 기계가 썼을 확률이 높고, 통계적으로 높지 않은 키워드가 나오면 사람이 썼을 확률이 높다. 토큰을 쓸 때 통계적으로 기계가 썼을 확률이 높은 것을 역으로 분석해 하이라이팅 해 몇 퍼센트나 되는지를 분석한다고 보면 된다. 통계적 산출이기 때문에 문장 단위보단 단락 단위로 분석한다. 단락에는 더 많은 키워드가 있고 이러한 데이터를 토대로 확률적 근거를 찾아낼 수 있기 때문이다.” 

- 챗GPT가 생성한 답변을 그대로 가져다 사용하지 않고 이를 응용해 사용하는 경우도 있다.

“맞다. 생성형 AI가 답한 내용을 그대로 사용하지 않고 이를 공부하거나 응용해 사용하는 경우도 있다. 그런데 이것을 표절이라고 봐야 할까. 어디까지 표절이라고 보면 될까. 우리도 이 부분을 정말 많이 고민했다. 생성형 AI가 생성한 글을 다소 바꿔 제출한 과제는 찾아낼 수 있다. 글과 어투가 어색하고 자연스럽지 않은 부분이 존재한다. 기계 어투 등도 보인다. 이러한 경우 생성형 AI를 사용했다는 것을 높은 확률로 찾아낼 수 있다. 이처럼 조금 바꾸지 않고 이를 응용해 새로운 글을 썼다면 팩트체크 여부가 중요할 것이다. 챗GPT와 같은 생성형 AI는 허언증처럼 맞지 않은 사실을 그럴싸하게 만들어내는 ‘할루시네이션(환각)’ 현상 문제를 안고 있다. 이를 찾아내는 것은 팩트체크로 가능하다. 어느 논문을 참조했는지, 그 논문이 진짜 있는 것인지를 분석하면 된다. 우리는 이를 위해 단기, 중기, 장기적인 계획을 갖고, 추후에는 팩트체크까지 가능한 기술을 선보이려고 준비하고 있다.”

- 단기, 중기, 장기 계획에 대해 알려달라.

“단기적으로는 올해 하반기부터 GPT 킬러 서비스를 과제, 시험 등 학교에서 사용할 수 있는 부문과 자기소개서 등 기업 채용 부문에서 사용할 수 있도록 출시할 계획이다. 과제물이나 자기소개서를 AI가 썼는지 등을 찾아내는 기능이다. 단 여기에는 억울한 사람이 발생되지 않도록 미탐지 분야에 무게 중심을 둬 안전한 분석이 될 수 있게 할 방침이다. 중기적으로는 팩트체크 기능을 넣을 예정이다. 데이터베이스(DB)를 분석해 해당 글이 실제 논문을 인용해서 썼는지, 그 문서는 실제 존재하는지 등을 확인할 수 있는 기술을 선보일 계획이다. 시기는 내년 상반기로 생각하고 있다. 장기적으로는 과제물이나 자기소개서 등에서 질문을 만들어낼 수 있는 기술을 접목할 계획이다. 학생이 과제물을 제출했으면 그 안에서 10개의 문제를 만들어 학생이 풀게 하는 것이다. 자신이 써낸 글이라면 맞출 확률이 높고, AI에 의존했다면 답을 모를 것이다. 이러한 과정은 지금 일부 교수와 교사는 하고 있지만, 학생 개인마다 문제를 맞추는 절차가 쉽지 않기 때문에 우리가 이러한 서비스를 제공할 계획이다.” 

- GPT 킬러를 개발한 이유는 무엇인가.

“현장에서 목소리가 많았다. 아무래도 우리가 오랜 기간 AI 기반 논문표절 검사를 해오다 보니 생성형 AI 표절 검사를 요청하는 이들이 많았다. 요청이 계속돼 시장 수요를 알고 싶었다. 이에 우리 고객사 담당자 9328명을 대상으로 챗GPT 탐지 프로그램이 필요한지에 대해 설문조사를 했다. 그 결과 응답자 중 78.7%가 탐지 프로그램이 필요하다고 답변했다. GPT 탐지 프로그램이 출시된다면 어디에 이용할 예정인 지에 관한 질문에는 학생들의 과제, 토론, 시험 등을 검사하거나 기업 채용 시 자기소개서 표절 여부를 검증하는 데 사용하겠다는 답변이 많았다. 또 사람의 창작 능력으로 경연하는 문예상과 같은 프로그램에도 필요하다는 답이 있었다. 사실 해외에서는 약 7개 정도의 생성형 AI 탐지 프로그램이 있다. 하지만 이중 한국어를 탐지하는 프로그램은 없었다. 이 프로그램들로 한국어를 탐지했을 때 그 탐지 수준은 마치 윷놀이처럼 복불복에 가까웠다. 이에 한국어 기반 생성형 AI 탐지 프로그램이 필요하다고 생각해 해당 기술을 개발하게 됐다.”

- 기술은 어떻게 서비스할 방침인가.

“현재 제공하고 있는 논문표절 서비스 ‘카피킬러’와 AI 서류평가 서비스 ‘프리즘’, AI 면접 서비스 ‘몬스터’ 등에 접목해 서비스할 계획이다. 카피킬러는 대학 등 교육기관에서 시험이나 과제 표절을 검출하는 데 이미 많이 사용하고 있고, 프리즘과 몬스터도 기업 인사채용 분야에서 많이 활용되고 있어 여기에 부가 서비스로 제공할 계획이다. 고객사는 우리 서비스를 이용하면 논문 표절부터 과제 표절, 심지어 AI 표절 여부까지 알 수 있는 것이다.”

- AI 사용에 있어 거부감도 있을 것 같은데.

“AI 기술이 발전되면서 AI를 잘 활용하는 것이 중요해졌다. 여기서 중요한 것은 AI를 ‘잘’, ‘옳게’ 사용하는 것이다. AI를 악용해서는 안 된다. 과제나 논문, 개인소개서를 AI에만 의존하는 것은 형평성 문제 등을 발생시킬 수 있다. 오픈북 시험처럼 시험을 치르는 동안 참조하고 공부하는 용도로 사용할 순 있지만, AI가 생성한 답을 그대로 가져오는 것은 문제 된다. 우리 기술은 AI 악용을 막고 사람들이 잘 활용할 수 있게 돕는 기술이라고 볼 수 있다. 최근 AI 윤리에 관한 이야기가 많은데, 이를 법적이나 제도적으로 방지하지 않고 기술로 풀어낸 사례라고 봐주면 좋겠다.”