온프레미스 기반 LLM·RAG 결합으로 보안 대응 능력 높여
금융권 AX, ‘검색형 AI’에서 ‘실행형 AI’로 변화 추세
-
올거나이즈코리아가 우리투자증권과 손잡고 전사적 AI 전환을 추진하며 금융업 특화 AI 플랫폼 개발한다고 밝혔다.
이번 프로젝트는 생성형 AI를 개별 업무 보조 도구로 활용하던 기존 방식에서 벗어나, 증권사 내부 시스템과 외부 정보망을 AI로 연결해 업무 흐름 자체를 자동화하는 데 초점이 맞춰져 있다. 단순히 학습된 문서를 찾아 답변하는 수준이 아니라, 사용자의 요청을 이해한 뒤 필요한 데이터를 여러 시스템에서 조회하고, 외부 정보를 수집·분석해 결과물을 만들어내는 ‘AI 에이전트’ 구현이 핵심이다.
구체적으로 임직원이 자연어로 업무 지시를 입력하면 AI 에이전트가 사내 문서와 데이터베이스는 물론 관련 업무 시스템을 순차적으로 호출해 정보를 취합하고, 보고서 초안을 작성한 뒤 결재 시스템에 등록하는 흐름까지 하나의 프로세스로 처리한다. 반복적이고 정형화된 업무는 AI가 맡고, 임직원은 판단과 전략 수립에 집중하도록 업무 구조를 재설계하는 것이다.
기술적으로는 대형언어모델(LLM), 고성능 RAG 파이프라인, AI 에이전트 오케스트레이션 기술을 결합한 구조가 적용된다. 문서와 데이터베이스, 업무 시스템에 흩어진 사내 데이터를 벡터 기반으로 통합 관리하고, 질의 의도에 따라 검색과 추론, 실행 단계를 분리해 처리함으로써 복합적인 금융 업무에서도 안정성을 확보한다는 설명이다.
금융권이 가장 민감하게 여기는 보안 이슈 역시 설계 단계에서부터 고려됐다. 해당 AI 플랫폼은 외부망과 물리적으로 분리된 온프레미스 환경에서 구동되며, 외부 접속을 제한한 상태에서 고성능 LLM을 운용한다. 여기에 데이터 암호화, 민감 정보 마스킹, 사용자별 접근 권한 제어 등 다중 보안 체계를 적용해 내부 정보 유출 가능성을 최소화한다.
주목할 점은 AI 활용 주체를 IT 부서에 국한하지 않겠다는 전략이다. 올거나이즈는 코딩 지식이 없는 현업 담당자도 직접 업무용 AI 에이전트를 설계하고 확장하도록 에이전트 빌더 환경을 함께 구축한다. 이를 통해 각 부서가 자신의 업무 특성과 시스템을 반영한 자동화 시나리오를 스스로 만들어가는 구조를 지향한다.
이창수 올거나이즈코리아 대표는 이번 프로젝트를 두고 금융사의 분절된 업무 시스템을 AI로 연결해 일하는 방식을 구조적으로 바꾸는 출발점이라고 설명했다. 단기적인 효율 개선을 넘어, 금융 환경에 적합한 온프레미스 AI 플랫폼과 에이전트 기술을 통해 장기적인 AX 기반을 구축하겠다는 구상이다.
- 서재창 기자 chang@chosun.com