스마트폰 카메라 기술이 새로운 전환점을 맞고 있다. 지금까지 더 좋은 렌즈, 더 큰 센서를 만드는 ‘하드웨어 경쟁’에 매달렸다면, 이제는 AI가 카메라의 부족한 부분을 채워주는 ‘소프트웨어와 하드웨어 협력’ 시대가 열렸다.

세계적인 컴퓨터 비전 권위자인 쉬리 나야르(Shree K. Nayar)컬럼비아대 교수가 4일 부산 벡스코에서 열린 KCCV(Korean Conference on Computer Vision) 2025 기조연설에서 제시한 ‘컴퓨테이셔널 이미징(Computational Imaging)’ 기술이 그 핵심이다.

나야르 교수는 “지금까지 우리는 렌즈의 왜곡을 줄이고, 센서의 노이즈를 없애며, 완벽한 하드웨어를 만들기 위해 수십억 달러를 투자해왔다”면서 “하지만 이제는 의도적으로 ‘불완전한’ 하드웨어를 만들고, AI가 이를 보완해 더 나은 결과를 만들어내는 새로운 시대가 시작됐다”고 밝혔다.

나야르 교수는 컬럼비아대 이미징 및 비전 연구실(CAVE)을 이끄는 세계적 컴퓨터 비전 석학이다. 카네기멜론대에서 박사학위를 받은 후 컴퓨테이셔널 이미징 분야를 개척했으며, 미국 공학한림원 및 예술과학원 회원으로 선출됐다. IEEE PAMI 저명연구자상, 오카와상 등 주요 학술상을 다수 수상했다.

◇ AI가 직접 설계하는 카메라, 빛의 최소 단위까지 포착

컴퓨테이셔널 이미징은 쉽게 말해 ‘카메라와 AI가 팀을 이루는’ 기술이다. 기존 카메라가 눈으로 보는 것과 똑같은 사진을 찍으려 했다면, 새로운 방식은 일부러 ‘이상한’ 사진을 찍은 다음 AI가 이를 ‘번역’해서 완벽한 사진으로 만든다.

나야르 교수는 이를 사람의 눈에 비유해 설명했다. “우리 눈도 사실 완벽하지 않다”면서 “눈에 맺힌 상은 거꾸로 돼 있고, 혈관 때문에 그림자도 생긴다”고 설명했다. 이어 “우리의 뇌는 이런 문제들을 모두 고쳐서 우리가 제대로 볼 수 있게 해준다”며 “새로운 카메라도 똑같은 방식으로 작동한다”고 덧붙였다.

또 하나의 핵심 기술은 ‘단일 광자 이미징’이다. 이는 빛의 가장 작은 조각인 ‘광자’ 하나까지도 감지할 수 있는 민감한 센서다. 나야르 교수는 “광자 하나가 센서에 닿으면 도미노처럼 연쇄반응이 일어나 신호가 수백만 배로 커진다”며 “이 덕분에 거의 깜깜한 곳에서도 밝은 사진을 찍을 수 있고, 1초에 10만 장이라는 초고속 촬영도 가능하다”고 설명했다.

실제로 강연에서는 1초에 10만 장을 찍은 영상이 공개됐다. 일반 동영상이 1초에 24~30장인 것과 비교하면 약 3000배 빠른 속도다. 그는 “예전에는 이런 성능을 내려면 큰 컴퓨터만 한 장비와 엄청난 전력이 필요했지만, 이제는 스마트폰 배터리로도 충분하다”고 했다.

이러한 기술 발전 덕분에 이제는 ‘AI가 카메라를 직접 설계하는 시대’가 됐다고 밝혔다. 기존에는 사람이 카메라를 만들고 나서 소프트웨어를 여기에 맞춰 공급했다. 하지만 이 방식은 달라졌다. AI가 ‘이런 카메라가 필요해’라고 알려주면 사람이 그대로 만들기만 하면 된다. AI가 카메라 설계도를 그려주는 셈이다.

◇ 파운데이션 모델 시대, 카메라도 ‘AI 친화적’으로 진화해야

나야르 교수는 챗GPT나 클로드 같은 파운데이션 모델 시대와 관련해 카메라 기술의 새로운 역할을 제시했다. 특히 그는 데이터의 역할을 강조했다. “거대 AI 모델들을 학습시키려면 엄청난 양의 사진과 영상이 필요하다”면서 “하지만 단순히 많은 사진을 찍는 것으론 부족하다”고 지적했다. 이어 “AI가 쉽게 이해할 수 있는 형태로 정리된 데이터가 필요하다”고 덧붙였다.

그는 앞으로는 사람이 보기 좋은 사진 대신 ‘AI가 분석하기 좋은 데이터’를 만드는 카메라가 필요하다고 주장했다. 마치 사람용 책과 컴퓨터용 파일이 다르듯, 카메라도 AI 전용으로 설계해야 한다는 것이다.

이런 기술은 이미 우리 스마트폰에서 사용되고 있다. 아이폰의 야간 모드나 인물 사진의 배경 흐림 효과가 대표적이다. 카메라가 여러 장의 서로 다른 사진을 찍으면, AI가 이를 합성해 한 장의 완성된 사진으로 만들어낸다.

자율주행 자동차에서도 큰 변화가 예상된다. 현재 자율주행차에는 수십 개의 카메라가 달려 있지만, 비나 눈이 오면 여전히 성능이 떨어진다. 나야르 교수는 “새로운 기술을 쓰면 악천후에서도 문제없이 작동하는 시스템을 만들 수 있다”고 밝혔다.

전력 소모량도 혁신적으로 줄일 수 있다. 예전에는 고성능 카메라를 작동시키려면 데스크톱 컴퓨터 수준의 전력이 필요했지만, 새로운 방식에서는 스마트워치 배터리로도 같은 성능을 낼 수 있다. 이는 드론이나 웨어러블 기기에 혁신을 가져올 것으로 예상된다.

나야르 교수는 강연을 마무리하며 “우리는 카메라가 단순히 ‘보는’ 도구에서 ‘이해하는’ 도구로 진화하는 시대에 살고 있다”고 강조했다. 이어 “AI와 하드웨어가 진정으로 융합된 새로운 이미징 시스템들이 앞으로 10년간 우리의 일상을 완전히 바꿔놓을 것”으로 전망했다.

한국컴퓨터비전학회(KCVS)가 주최하는 KCCV는 올해로 12회차를 맞이한 국내 대표 컴퓨터비전 관련 학술대회다. 2014년 시작해 컴퓨터비전과 AI 분야 1400여 명이 모이는 국내 최고 학술대회로 성장했다. 이번 행사는 4일부터 6일까지 3일간 열린다.