인공지능(AI) 기술 경쟁이 구글, 오픈AI 등 빅테크 기업 사이에서 가열되고 있는 가운데, 서비스형소프트웨어(SaaS) 분야 대표 빅테크 기업인 세일즈포스가 AI 기술 진보에 속도만을 강조해선 위험하다고 염려했다. AI 기술에서 신뢰와 윤리를 후자에 둬선 기술 진보를 이루기 어렵다고 조언했다. 최근 오픈AI가 AI가 미칠 수도 있는 장기 위험에 대응하기 위해 만든 슈퍼얼라인먼트(Super Alignment)팀을 1년 만에 해체한 것과 상반된 의견이다.

세바스찬 나일스 세일즈포스 사장 겸 최고법률책임자(CLO)는 21일 기자와 만나 AI에서 신뢰와 윤리, 책임감을 강조했다. 한국과 영국이 21일부터 양일간 개최하는 ‘AI 서울 정상회의’에 세일즈포스를 대표해 참석한 그는 한국 정부와 기업이 AI 위험성에 진지하게 고민하고 포용적으로 해결하려는 노력을 높게 평가했다. 특히 네이버와 LG AI연구원 등 한국 대표 AI 기업들의 신뢰를 우선으로 두고 대형언어모델(LLM) 개발과 보급 확산에 접근하는 점은 AI 활성화에 크게 기여할 수 있다고 봤다.

그는 “우리가 슈퍼카를 살 때 그 차가 얼마나 빠른 속력을 내든 안전이나 내구성 등에 신뢰가 없다면 구매하지 않을 것”이라면서 “AI도 신뢰를 가장 중점적으로 생각하고 이 문제를 AI 개발에 후자로 둬서는 안 된다”고 말했다. 또 “네이버와 LG가 신뢰를 우선으로 AI와 LLM에 접근하고 있는 점이 인상 깊고 흥미롭다”며 “이러한 활동이 한국이 올바른 AI를 정착하고 확산하는데 동력이 될 것”이라고 덧붙였다.

나일스 CLO는 세일즈포스에서 안전한 AI 활용 등 윤리 정책을 이끄는 리더다. 미국 백악관 등에서 안전한 AI 활용 등에 관한 의견을 지속 제시하고 있다. 아스펜 연구소의 비즈니스 및 사회 자문위원회 위원, 미국 거버넌스 자문위원회의 선임 연구원, 델라웨어 대학교의 존 L. 와인버그 기업 거버넌스 센터 위원, 컬럼비아 로스쿨의 글로벌 시장 및 기업 소유권 센터의 자문위원, 컬럼비아 로스쿨의 자문위원회 위원으로도 활동하고 있다.

세일즈포스는 서비스형소프트웨어(SaaS) 분야 빅테크 기업이다. 고객관계관리(CRM) 분야에선 리더 자리를 공고히 유지하고 있다. AI 보급 확산과 안전한 활용에도 적극적이다. 2016년 처음 선보인 자체 개발 AI인 ‘아인슈타인’은 물론, 데이터 기업인 ‘태블로’, 소프트웨어 사일로 현상 완화를 지원하는 ‘뮬소프트’, 사용자 친화 인터페이스가 강점인 지능형 생산성 플랫폼 ‘슬랙’ 등 AI 활용 전 단계를 지원할 수 있는 기업과 기술을 보유하고 있다. 테크 기업에선 처음으로 윤리 부서를 만들어 AI 안전에 대응했고, 지난 4월에는 AI로 인한 탄소 배출량을 공개하자는 미국 법안 제정을 적극 옹호하는 등 안전하면서 친환경적인 AI 활용을 이끌고 있다.

나일스 CLO와의 인터뷰 내용을 상세하게 전달하기 위해 대담 형식으로 정리했다.

- AI 서울 정상회의에 참석했다. 이번 정상회의 의미는 무엇이라고 보나.

“한국을 포함해 전 세계가 AI가 주는 기회에 인지하고 있다. 하지만 동시에 AI가 주는 위험과 어려움에 관해서도 고민하고 있다. 우리는 지혜롭고 포용적으로 AI가 주는 위험을 해결해 나가야 한다. AI 서울 정상회의는 그 방안을 논의하는 자리다. 여러 국가의 AI 관계자들이 나선 만큼 의미 있는 방안을 찾아갔으면 한다.”

- 이번 정상회의에서 비즈니스 영역에서 신뢰할 수 있는 AI 활용 등에 관해 논의할 것으로 안다.

“우리가 AI를 얘기할 때 얻을 수 있는 기회는 정말 많다. 그런데 AI 활용에 있어 기업용 AI와 소비자용 AI가 요구하는 사항이 다르다. 기업에서 요구하는 AI의 경우 신뢰도나 윤리 수준, 보안, 개인정보 보호에서 더 높은 안전을 요구한다. 일례로 기업에선 업무 생산성을 높이거나 직원 경험을 좋게 할 때, 또 고객 관계를 재정립하거나 연구개발(R&D) 할 때 등에 AI를 사용한다. 여기서 AI 신뢰도는 무척 중요하다. 부정확하거나 선입견 있는 결과를 내면 잃을 것이 많아서다. 세일즈포스는 고객 접점에서 AI를 서비스하는 곳이다. 이 때문에 비즈니스 분야에서 AI 신뢰성을 지속 준비해왔다. 이러한 활동 등을 논의할 예정이다.”

- 세일즈포스는 비즈니스 측면에서 AI 신뢰도를 높이기 위해 어떤 노력을 하고 있나.

“세일즈포스는 제품과 기술에 5가지 원칙을 내재화하고 있다. 신뢰, 고객 성공, 혁신, 공평성, 지속가능성에 관한 원칙이다. 10년 전 R&D그룹에서 시작한 AI 역시 이 5가지 원칙에 따라 개발·공급하고 있다. 초기 AI부터 CRM, 최근에는 LLM과 같은 생성형 AI에 관해 지속 연구개발하고 있다. 그런데 기업에서 AI를 믿고 쓸 수 있냐고 물으면 아직은 준비가 되지 않았다고 답할 수밖에 없다. 아직도 AI가 줄 수 있는 위험성은 크기 때문이다. 그래서 우리는 별도의 가드레일을 만들고 있다. ‘아인슈타인 트러스트 레이어’라는 플랫폼이 대표 사례다. LLM 모델이나 개방형 AI 생태계와 상호작용을 통해 고객이 직접 컨트롤할 수 있는 플랫폼이다. AI를 활용하면서 이를 잘 조절하고 통제하기 위해 내놓은 플랫폼이라고 보면 된다. 이러한 가드레일을 통해 안전한 AI 활용을 이끌고 있다.”

- 최근 생성형 AI에 관심이 높다. 사용자 맞춤형 답변을 내놓는 것도 비즈니스 분야의 AI 신뢰성을 높이는 방법일 텐데.

“세일즈포스는 이 문제에도 지속 고민해왔다. 고객은 AI를 통해 우선순위에 맞춰 얻고 싶어 하는 데이터가 있다. AI를 비즈니스에서 제대로 활용하려면 개인의 우선순위에 맞춰 결과를 내야 한다. 우리는 플랫폼을 통해 AI가 낸 결과가 고객의 요구사항과 부합할 수 있게 하고 있다. AI와 기술을 사용해 고객을 만족시키는 것은 AI 신뢰성 향상에 중요하다. 개인 맞춤형, 혹은 고객 맞춤형 AI가 필요한 이유다. 우리를 비롯해 많은 기업이 이 점에 주목하고 있다.”

- 세일즈포스는 전 세계 테크 기업 가운데 처음으로 윤리 부서를 만들었다. 한국 대기업들도 이러한 윤리 부서를 만들어 AI 가치를 높이고 있다. 윤리 부서에선 어떤 역할이 중요할까.

“네이버와 LG와 같은 기업이 신뢰를 우선으로 두고 AI와 LLM에 접근하고 있는 점은 무척이나 인상 깊고 흥미롭다고 생각한다. 우리도 마찬가지로 신뢰를 가장 우선으로 두고 있는 기업이기 때문이다. 과학과 기술에 있어 윤리는 중요하다. 처음 설계할 때 윤리와 책임감을 뒷전으로 생각해선 안 된다. 제품이 만들어지고 테스트와 평가하는 단계에서도 신뢰할 수 있는 제품인지에 관해 면밀하게 살펴야 한다. AI를 개발하고 공급하는 기업들이 가져야 하는 자세다. 다만, AI 윤리는 비단 민간 기업의 노력으로만 이뤄져선 안 된다. 정부와 사회, 기업이 합심해 지혜롭게 해결책을 찾아야 한다. AI는 각각의 이해 당사자들이 줄 수 있는 가치 있는 의견이 많다. 각각의 입장에서 안전한 AI 활용 방법을 찾아야 한다.”

- 최근 오픈AI가 일반인공지능(AGI)을 사전에 통제하고자 출범한 슈퍼얼라인먼트팀을 해체하며 윤리보다 기술에 속도를 내는 분위기다. 또 중국의 경우 안전보다 AI 기술 속도에 더 주력하는 분위기다. 속도 측면에서 뒤처질 수 있단 염려도 든다.

“생각이 많을 수 있는 부분이지만 간단하게 답하자면 ‘신뢰를 가장 중점적으로 생각하라’이다. AI 개발에서 신뢰와 윤리를 후자로 둬서는 절대 안 된다. 우리가 슈퍼카를 살 때 차가 얼마나 빨리 달리는 것과 상관없이 안전을 보장받지 못하면, 다시 말해 신뢰할 수 없으면 구매하지 않는다. 우리는 똑똑한 의사결정을 하는 데 있어 빠른 것만이 무기가 아니라는 점을 알고 있다. AI도 마찬가지다. 조금은 늦더라도 더 똑똑하고 고품질의 답변을 생성해내는 AI가 훨씬 중요하고 가치 있다. 단순히 기술 진보를 위한 AI를 해선 안 된다. AI를 하는 데 있어서 진정한 동력이자 가속 엔진은 신뢰와 윤리, 책임감 있는 AI다.”

- 신뢰할 수 있는 AI를 위해 정부와 기업이 가져야 할 자세는 무엇일까.

“AI 기술을 개발하고 활용하는 데 있어서 항상 사람을 중심에 둬야 한다. 리스크 기반 의사결정을 할 때 AI가 모든 것을 하도록 놔둬서는 안 된다. 차가 자율로 가더라도 사람은 운전대를 잡고 AI 기술을 통제하면서 민감한 결정 등에 관여해야 한다. 이러한 시스템을 만들 필요가 있다. 또 강조하고 싶은 점이 있다. 수용하는 자세가 중요하다는 점이다. 정부와 공공기관에서는 AI 윤리나 규제를 만들 때 상당히 균형적이면서 누구나 납득할 만한, 튼튼한 정책을 만들려고 노력하고 있다. 이러한 정책이 뒷받침되면 논란의 여지가 많을 수 있는 의료기기 관련 AI 법 규제 등에 관해서도 빠르면서 안정적으로 정착시킬 수 있는 문화를 만들 수 있다. 여기서 필요한 것은 수용하는 자세다. 정부나 기업은 서로의 입장을 존중하면서 수용하는 문화를 만들어야 한다.”

- 이번 AI 서울 정상회의에서 ‘윤리적인 AI 활용을 위한 서약’을 받는다고 알고 있다. 어떤 내용인지 알 수 있나.

“서약은 민간 기업이 신뢰와 윤리, 책임감을 기술에 내재화하겠다고 약속한다는 점에서 의미가 크다고 생각한다. G7 원칙이나 UK 선언과 같이 한국도 AI 기술에 리더십을 갖고 안전하면서도 가치 있게 접근하겠다고 서약한다는 점에서 중요한 의미가 있다. 서약에는 AI의 안전뿐 아니라 교육을 통해 전문가를 양성하고 더 좋은 일자리를 창출해나가겠다는 내용도 포함돼 있다. 세일즈포스가 강조하는 신뢰, 고객 성공, 혁신, 공평성, 지속가능성 등 5가지 주요 가치에 더해 최근 회사에서 강조하는 안전성과 혁신, 포용성에 관해서도 서약에서 소개할 예정이다. 대외비인 내용이 있어 자세히 소개하진 못하는 점 이해 바란다.”

- AI 윤리나 신뢰성은 이제 많은 국가와 기업에서 노력하고 있다. 그런데 AI의 또 다른 문제는 환경이다. AI가 많은 전력을 소모하면서 탄소 배출이 심각하고 데이터센터에서 발생하는 열을 식히기 위해 물도 많이 사용한다. 세일즈포스는 이러한 환경 문제에도 적극 나서고 있는 것으로 아는데.

“ 이 문제를 언급해줘서 정말 반갑다. 우리가 AI에서 상당히 중요하게 생각하고 있는 점 중 하나도 환경적 영향이다. 세일즈포스는 AI를 개발하고 배포하는 데 있어서 내부적으로 ‘지속가능한 AI 원칙’을 만들었다. 환경 문제에 직접 대응하기 위해서다. AI 운영할 때 탄소 배출이 많다면 이를 공시하고, 지속적인 노력을 가해야 한다. 세일즈포스는 이 분야에 적극적으로 나서고 있고, 미국 정부에도 목소리를 내고 있다. 기업들은 AI를 개발하거나 보급할 때 발생하는 에너지를 줄여 지속가능성을 해결할 수 있는지 고민해야 한다. AI 모델이 반드시 커야 한다는 시각에서 벗어나 효율적인 모델을 만드는 자세도 필요하다. 물도 마찬가지다. 현재 데이터센터에서는 발생하는 열을 냉각하기 위해 물을 지속 사용하고 있다. 50개 프롬프트를 사용할 때마다 0.5리터의 물로 시스템을 냉각해야 한다는 연구 결과도 있다. 이 모든 것을 AI 고려사항에 넣어야 한다. AI 기업들은 AI를 개발하고 보급할 때 어떤 누구도 이 기술에서 소외돼선 안 된다는 책임감을 지녀야 한다. 여기서 얘기하는 어떤 누구에는 지구도 포함된다. 세일즈포스는 넷제로 클라우드 플랫폼 등을 통해 친환경적인 대응을 하며 친환경 기업의 면모를 이어오고 있다. 국제적으로 AI를 논의하는 자리에서 환경 문제도 중요 안건으로 얘기되길 바란다.”