[뉴스토마토 신상민 기자] 카카오(035720)가 한국어와 한국 문화를 잘 이해하는 고도화된 멀티모달 인공지능(AI) 기술 연구 성과를 공개했습니다.

 

카카오는 12일 테크블로그를 통해 한국적 맥락 이해에 최적화된 통합 멀티모달 언어모델 '카나나-o'와 멀티모달 임베딩 모델 '카나나-v-임베딩'의 개발 과정과 성능을 공개했습니다.

 

카나나-o는 텍스트와 음성, 이미지를 동시에 이해하고 실시간으로 답변하는 통합 멀티모달 언어모델입니다. 글로벌 모델 대비 한국어 맥락 이해에서 압도적 성능을 보유하고 있습니다. 사람처럼 풍부한 표현력을 갖추고 있는 것이 특징입니다. 

 

기존 멀티모달 모델들이 텍스트 입력 시 강점을 보이지만 음성 대화 시 답변이 단순해지고 추론 능력이 떨어지는 한계가 있었습니다. 이를 보완하기 위해 카나나-o의 지시 이행 능력을 고도화해 사용자의 숨은 의도와 복잡한 요구 사항을 파악할 수 있도록 개선했습니다. 

 

이와 함께 자체 구축한 데이터셋으로 학습을 진행해 다양한 모달리티의 입출력에 대해서도 기존 언어모델 성능을 유지하고 단순 질의응답을 넘어 요약, 감정 및 의도 해석, 오류 수정, 형식 변화, 번역 등 다양한 과업을 수행하도록 성능을 끌어올렸습니다.

 

또한 고품질 음성 데이터와 직접 선호 최적화(DPO) 기술을 적용해 억양·감정·호흡 등을 학습시켜 기쁨·슬픔·분노·공포 등 상황별 생생한 감정과 미세한 음색·어조 변화 등에 따른 감정 표현 능력까지 향상시켰습니다. 호스트와 게스트가 대화를 주고받는 '팟캐스트' 형태의 데이터셋을 구축해 자연스럽게 이어지는 멀티턴 대화도 가능해졌습니다. 

 

카나나-o는 벤치마크 평가 결과 영어 음성 성능에서 GPT-4o와 유사한 수준, 한국어 음성 인식 및 합성, 감정 인식 능력에서는 월등히 높은 수준을 기록했습니다. 

 

카카오는 향후 자연스러운 동시 대화와 상황에 맞는 소리 환경을 실시간 생성할 수 있는 모델로 발전시킬 예정입니다. 

 

함께 공개된 카나나-v-임베딩은 현재 카카오 내부에서 광고 소재의 유사도를 분석 및 심사하는 시스템이 적용됐습니다. 향후 비디오나 음성으로 범위를 확대해 다양한 서비스에 적용할 계획입니다. 

 

한편 카카오는 지난 5월 에이전틱 AI 구현을 위한 기능 강화에 중점을 둔 언어모델 '카나나-1.5'를 기반으로 현재 모바일 기기와 같은 온디바이스 환경에서 동작할 수 있는 멀티모달 모델 경량화 연구를 진행 중입니다. 이와 더불어 전문가 혼합 모델(MoE) 구조를 적용한 고성능, 고효율 모델 '카나나-2' 개발을 준비하고 있습니다. 

 

김병학 카카오 카나나 성과리더는 "카카오의 자체 AI 모델 카나나는 단순한 정보 나열 수준을 넘어, 사용자의 감정을 이해하며 친숙하고 자연스럽게 대화하는 AI가 될 수 있도록 한국적 맥락의 이해와 표현력을 높여가고자 한다"며 "실제 서비스 환경을 통해 사용자들의 일상 속 AI 기술 경험을 만들어 나가고, 사람처럼 상호작용할 수 있는 AI의 구현에 주력해갈 것"이라고 말했습니다. 

 

신상민 기자 lmez0810@etomato.com