[뉴스토마토 이지은 기자] 네이버(NAVER(035420))가 인공지능(AI)으로 서비스 콘텐츠 관리를 강화하고 있습니다. 운영 정책을 위반한 콘텐츠 7600만건을 적발했고, AI 클린봇으로 악플 생성·노출 비율도 낮췄습니다. AI를 활용한 콘텐츠의 비중이 높아지면서 AI 생성물임을 표시하는 아이콘도 도입했습니다. AI 중심 사업이 본격적으로 확장되면서 안전한 AI 생태계 만들기에 지속해서 나선다는 계획입니다.  

 

네이버의 '2024 지속가능경영보고서'에 따르면 지난해 AI 시스템을 통해 운영 정책을 위반한 게시물을 감지해 자동 조치한 결과 7632만1885건을 처리한 것으로 집계됐습니다. 이중 서비스 안정성을 저해하는 스팸·홍보 목적의 게시물이 7212만건으로 가장 많았고, 욕설·차별·혐오와 관련된 콘텐츠가 9만1000여건, 청소년 유해 콘텐츠가 9만7000여건으로 나타났습니다. 

 

 

특히 클로바 AI 기술을 바탕으로 한 이미지 분석 솔루션으로 이미지의 유해성을 판단하고, AI 기술을 기반으로 욕설, 성적 표현 등 혐오적인 표현을 필터링하는 댓글 차단 프로그램을 가동하고 있습니다. 클로바 그린 아이로 음란물과 같은 불법 유해 게시물을 99% 사전 차단 가능하다는 것이 회사 측 설명인데요. 온라인 커머스 시장도 본격 확장되는 것을 반영, 온라인 판매 불가 상품을 판단하는 AI 모델도 내부 서비스에 적용하고 있습니다. 네이버 관계자는 온라인 판매 불가 상품을 AI로 거르는 것에 대해 "서비스 고도화를 위해 내부 테스트 중"이라고 설명했습니다. AI 클린봇 필터링으로는 온라인 혐오 표현 관리에 집중하고 있습니다. 클린봇 도입 초기였던 2020년 악플 생성비율을 26.5%에 달했지만, 2023년에는 16.7%로 낮아졌고, 지난해에도 16.5%로 하락세를 이어갔습니다. 악플 노출비율도 낮아지고 있는데요. 2023년 8.9%에서 지난해에는 8.5%로 떨어졌습니다. 

 

 

AI 콘텐츠 유통이 활발해지는 점을 고려해 관련 정책도 확대하고 있습니다. 네이버 서비스를 이용하는 과정에서 AI와 딥페이크로 인한 피해가 발생하지 않도록 적극 나서겠다는 취지입니다. 더욱이 이달 정보통신망법 개정으로 딥페이크 방지법이 시행됐습니다. 정부가 딥페이크 영상물에 대한 유포 확산 방지책을 추진하고, 필요시 동영상 플랫폼에 대한 개선·보완과 함께 영상물 삭제를 권고가 가능해졌습니다. 이에 네이버는 선제적으로 AI 활용 설정 기능을 도입했습니다. 지난달 28일부터 게시물 작성 시 AI를 활용한 이미지·동영상·오디오 콘텐츠가 포함된 경우 AI 활용을 표시할 수 있도록 했습니다. 블로그, 카페, 네이버TV, 클립 등 주요 사용자생성콘텐츠(UGC) 플랫폼이 대상입니다. AI 활용 콘텐츠는 실제 사람의 얼굴·신체·음성을 AI로 생성하거나 변형한 콘텐츠, 실제로 발생한 상황이나 사건을 AI로 변형한 콘텐츠, 사실적인 콘텐츠를 AI로 생성한 경우 등이 해당됩니다. 

 

네이버는 올해 핵심성과지표(KPI) 중 하나로 AI 안전 규제 대응·관리체계 구축, AI 안전 포용적 인게이지먼트 강화를 내세우고 있습니다. 전사 AI 모델·서비스의 잠재적 위험을 평가·점검하는 안전 관리체계를 구축하고, 정부·기업·학계 협력을 통한 안전한 AI 생태계 확산을 주도한다는 목표입니다. 

 

이지은 기자 jieunee@etomato.com