인더스트리

다들 사용하는 생성형 AI, 나만 성과 다른 이유

기사입력 2026.01.27 17:27
같은 AI 사용해도 결과 달라… 핵심 경쟁력은 ‘질문력’
  • /일러스트=챗GPT
    ▲ /일러스트=챗GPT

    “인공지능(AI) 사용 가능”

    지난해 12월 서울 강남구의 한 글로벌 홍보대행사 한국지사 신입사원 필기시험장. 시험지 상단에는 이런 문구가 적혀 있었다. 50여 명의 지원자는 챗GPT를 켜고 문제를 풀기 시작했다. 이들에게 주어진 건 같은 문제, 같은 AI 모델이었다. 하지만 결과는 갈렸다. 누군가는 합격 통지를 받았고, 누군가는 탈락했다.

    “대체 무엇이 달랐을까요.” 인사 담당자는 “AI에게 어떤 질문을 던지느냐가 당락을 좌우했다”고 말했다.

    챗GPT가 출시되고 대중화된 지 3년이 넘었다. 오픈AI가 개발한 챗GPT는 전 세계에서 가장 널리 쓰이는 생성형 AI로 자리 잡았다. 검색엔진처럼 누구나 쉽게 접근할 수 있는 도구가 됐지만, 누구나 같은 효과를 보는 것은 아니다.

    직장인 A씨는 챗GPT를 활용해 3시간 걸리던 보고서를 30분 만에 끝낸다. 기획안 구성부터 데이터 정리, 참고자료 요약까지 AI가 맡는다. 반면 같은 팀 동료 B씨는 “별 차이가 없다”며 간단한 검색이나 문법 교정 수준에서만 활용한다. 한 IT 기업 마케터는 “AI를 단순 검색 도구로만 쓰는 사람과 업무 프로세스에 체계적으로 통합한 사람의 차이는 생각보다 크다”며 “AI는 어떻게 지시하느냐에 따라 3년 차 사원이 되기도 하고, 10년 차 베테랑이 되기도 한다”고 했다.

    같은 라면도 누가 끓이느냐에 따라 맛이 달라지듯, AI 역시 누가 어떻게 다루느냐에 따라 평범한 도구에 머물기도 하고 업무 혁신을 이끄는 ‘슈퍼 어시스턴트’가 되기도 한다. 이른바 ‘AI 활용 양극화’ 현상이다.

    문제는 이 격차가 개인 역량 차이만으로 설명되지 않는다는 점이다. 미국 라이프와이어(Lifewire) 등 외신이 인용한 조사에 따르면 직장인의 74%가 업무에 AI를 도입했다. 하지만 체계적인 활용 교육을 받은 비율은 33%에 그쳤다. 도구는 빠르게 보급됐지만, 제대로 된 사용법은 따라가지 못한 셈이다.

    대학생들 사이에서도 비슷한 반응이 나온다. 한 대학생은 “과제에 AI를 쓰긴 하지만 만족도가 높진 않다”며 “자료 정리에는 쓸 만한데, 리포트를 써보라고 하면 뻔한 내용만 나열한다. 친구들 리포트와 비슷해질 때도 있다”고 했다. 이에 업계 관계자는 “AI가 부족한 게 아니라, AI를 어떻게 활용해야 하는지 모르는 데서 오는 문제”라며 “스마트폰을 처음 쥔 사람이 전화와 문자 기능만 쓰는 것과 비슷하다”고 말했다.

    오픈AI 관계자는 “정밀한 지시(Precise instructions)의 유무가 답변의 품질을 가른다”고 했다. 오픈AI가 공개한 프롬프트 엔지니어링 가이드의 핵심은 “AI를 갓 입사한 똑똑한 신입사원처럼 대하라”는 것이다. 처음 온 직원에게 배경 설명 없이 “그 일을 처리해”라고 던지면 결과가 만족스럽기 어려운 것과 같다. 업무의 배경이 무엇인지, 목표는 무엇인지, 참고할 자료는 어디 있는지를 알려줘야 비로소 제 몫을 해낸다.

    챗GPT도 처음에는 사용자가 맥락을 상세히 입력해야 한다. 이 과정이 누적되면 AI는 ‘메모리(Memory)’ 기능 등을 통해 사용자의 업무 스타일과 취향을 반영해 답변을 정교화할 수 있다. 한 AI 컨설턴트는 “질문의 구조가 곧 답변의 품질”이라고 말했다. 단순히 팩트를 묻는 검색형 질문만으로는 모델의 힘을 끌어내기 어렵다. 반면 요약, 기획, 대안 도출처럼 사고를 요구하는 작업에서는 생산성 격차가 더 크게 벌어진다.

    ‘정밀한 지시’에 대해 오픈AI 관계자는 △어떤 역할을 맡길 것인지(페르소나) △목표는 무엇인지 △제약 조건은 무엇인지 △참고해야 할 데이터는 무엇인지 등 네 가지 핵심 요소를 제시했다.

    우선은 AI에게 어떤 전문가 역할을 맡길지 분명히 해야 한다. 예컨대 “너는 10년 차 마케팅 전문가야”, “너는 데이터 분석가야”처럼 설정하면 답변의 전문성이 달라진다는 설명이다. 이후 “보고서를 써줘”가 아니라 “경영진에게 제안할 신규 사업 아이디어를 A4 2장 분량으로 정리해줘”처럼 원하는 결과물을 구체적으로 제시해야 한다. 또한 분량, 형식, 톤 앤 매너 등을 미리 정해주면 품질이 좋아진다. “1000자 이내로”, “존댓말로”, “초등학생도 이해할 수 있게”처럼 조건이 구체적일수록 결과물의 품질이 안정적이라는 것이다. 아울러 참고 데이터를 제공함으로써 과거 보고서, 관련 자료, 통계 등을 함께 주면 정확도가 크게 올라간다. AI는 제공된 맥락 안에서 더 정교한 답변을 만들어낸다.

    오픈AI는 기업 현장에서도 변화가 이미 시작됐다고 분석했다. 과거에는 코딩 능력이나 특정 소프트웨어 숙련도가 디지털 역량의 기준이었다면, 이제는 ‘AI와 협업하는 능력’이 실무 경쟁력으로 떠오르고 있다는 것이다. 한 외국계 기업 인사 담당자는 “신입사원 채용 과정에서 AI를 활용해 얼마나 논리적으로 문제를 해결하는지 평가 항목에 넣는 방안을 검토 중”이라며 “단순 검색 능력이 아니라 업무의 본질을 파악하고 AI에 적절한 가이드를 제시할 수 있는 기획력이 중요해졌다”고 말했다. 일각에서는 AI 활용 능력이 영어처럼 기본 스펙이 될 것이란 전망도 나온다. 앞으로 AI를 제대로 못 쓰면 업무 생산성에서 뒤처질 수 있다는 얘기다.

    실제로 일부 스타트업은 직원 교육 프로그램에 ‘AI 프롬프트 작성법’을 정식 커리큘럼으로 포함시키고 있다. AI가 단순 보조 도구를 넘어 핵심 업무 파트너로 자리 잡으면서, 이를 효과적으로 활용하는 능력이 중요해진 것이다. AI가 똑똑해질수록 역설적으로 인간의 ‘질문 능력’은 더 중요해진다. 단순 반복 작업은 자동화되겠지만, “무엇을 할 것인가” “어떤 방향으로 갈 것인가”를 결정하는 건 여전히 인간의 몫이기 때문이다.

    AI 시대의 경쟁력을 가르는 기준은 모델 성능이 아니라 질문력이라는 것이 오픈AI의 설명이다. 같은 도구를 쥐고도 누군가는 업무 효율을 10배 높이고, 누군가는 “별 차이 없다”고 느끼는 이유가 여기에 있다는 것이다. 오픈AI 관계자는 “챗GPT 8억 사용자 시대, 이제 AI 활용은 선택이 아니라 필수”라며 “그것을 얼마나 잘 쓰느냐는 전적으로 사용자의 몫”이라고 말했다.

최신뉴스