[뉴스토마토 신상민 기자] 이상호 카카오(035720) AI 퀄리티 & 세이프티(Quality & Safety) 성과리더가 인공지능(AI) 시스템의 위험과 안전한 AI 서비스를 위한 카카오의 노력 및 성과를 공개했습니다. 

 

이상호 성과리더는 24일 용인시 카카오 AI 캠퍼스에서 진행된 'if(kakao)25'에서 "카카오는 앞으로도 AI 기술 발전 속도에 부합하는 안전한 안전벨트를 개발할 것"이라고 밝혔습니다. 

 

이 성과리더는 AI 안전 서비스 성과 공개에 앞서 AI의 위험성에 대해 언급했습니다. 이 성과리더는 "기술은 일반적으로 인간에게 편익을 주기도 하지만 어두운 면도 함께 존재한다"고 말했습니다. 

 

이 성과리더는 AI 시스템의 활용에 내재된 위험 세 가지를 꼽았습니다. 정보 저장 과정에서 발생한 손실에 따른 환각 현상, 방대한 양의 지식 학습 과정에서 유해 정보 추출 가능, 대화형 인터페이스 구조의 취약점을 언급했습니다. 

 

카카오는 이러한 위험성을 대응하고자 정책 수립, 기술 개발, 외부 협력을 통해 노력하고 있습니다. 지난해 10월 카카오는 AI 위험 관리 체계인 '카카오 AI 세이프티 이니셔티브(Kakao AI Safety Initiative)'를 수립했습니다. 

 

이 성과리더는 "책임 있는 AI를 위한 카카오의 실천으로 AI 모델의 전 생애주기에서 발생할 수 있는 리스크에 선제적으로 대응하기 위한 목적"이라고 설명했습니다. 

 

'카카오 AI 세이프티 이니셔티브'는 카카오 그룹의 '책임 있는 AI를 위한 가이드라인'이라는 AI 윤리 원칙을 기초로 합니다. 2018년 수립한 알고리즘 윤리헌장을 개정한 것으로, 2024년에는 AI와 이용자 간 상호작용의 건강성을 강화하는 '이용자의 주체성 항목'을 신설했습니다. 

 

이 성과리더는 "계획 및 설계, 데이터 수집 및 처리, 개발·기획 및 구현, 운영 및 모니터링에 이르는 AI 서비스 개발 전 주기에 필수적으로 준수할 7가지 내용을 담고 있으면서 해당 내용을 모두 준수해야만 외부 서비스 출시가 가능하다"고 밝혔습니다. 

 

기술적 노력에 있어서는 자체 AI 가드레일 모델 '카나나-세이프가드(Safeguard)'를 소개했습니다. 카나나-세이프가드는 카카오의 AI가 윤리적 가치를 위반하는 위험한 출력을 생성하지 않도록 사전 방지하는 핵심기술입니다. 현재 출시했거나 출시 예정 중인 AI 서비스에 탑재돼 신뢰성과 책임성을 확보하는 역할을 합니다. 

 

글로벌 AI 기업이 공개한 AI 세이프가드는 영어를 기반으로 해 한국어 고유의 뉘앙스, 문화적 리스크 판단이 어렵습니다. 이에 카카오는 이를 직접 구축해 문화적 맥락까지 반영한 AI 세이프가드를 개발했습니다. 

 

개발된 '카나나-세이프가드'는 크게 카나나-Safeguard(유해 콘텐츠 출력 리스크 대상), 카나나-Safeguard-Siren(법적·정책적 리스크 대상), 카나나-Safeguard-prompt(프롬프트 공격 리스크 대상)로 구성됩니다. 

 

이 성과리더는 "예를 들어 성적 콘텐츠 탐지와 프롬프트 해킹 탐지는 리스크 별로 성격이 다르다"며 "탐지 기준, 법적 리스크, 정보 범위가 다르기 때문에 하나의 모델에 넣었을 때 판단 기준이 모호해질 수 있다"고 3가지 모델로 구성된 이유를 설명했습니다. 

 

이 성과리더는 카나나-세이프가드를 오픈소스로 공개한 이유에 대해 "하나의 기업이 아닌 모두가 함께 지켜야 할 공공의 가치라고 믿고 공개했다"며 "한국어 기반 가드레일 모델로 공개 이후 3개월 동안 5000번의 다운로드가 있었다"고 전했습니다. 

 

카카오는 현재 정책 고도화, AI 안전 도구 확대, 공동 연구 확대에 초점을 맞추고 있습니다. 오픈소스로 공개한 가드레일 모델이 텍스트 중심이라는 점에서 기술 발전에 맞춰 이미지, 영상 등 멀티모달에 대한 가드레일 개발도 준비 중입니다. 

 

 

신상민 기자 lmez0810@etomato.com