현대인은 정보의 홍수 속에서 살고 있다. 미국의 종합주간지 더 네이션에 따르면 2012년 말 기준 글로벌 데이터 총 규모는 2조8000억 기가바이트(GB)에 달했다. 이 중 90%가 직전 2년 사이 발생했다. 기술의 빠른 진보와 함께 정보 생산 속도 역시 급격히 높아지고 있는 것이다.
이 같은 추세라면 2020년 전세계의 1인당 데이터 규모는 약 5200GB에 이를 것으로 추산됐다. 그러나 이처럼 무궁무진한 정보들 중 의미있게 활용되는 데이터는 1%도 채 되지 않는 것으로 나타났다. 방대한 정보 속에서 가치 있는 것들을 발견하기가 좀 처럼 쉽지 않기 때문이다.
빅데이터의 활용은 여기에서 출발했다. 이미 교육, 교통, 헬스케어 등 다양한 영역에서 연간 3조달러 이상의 부가가치를 창출하고 있다. 그러나 이에 따르는 부작용도 적지 않다. 무분별한 정보 수집으로 프라이버시 침해 문제가 발생할 수 있으며 데이터 오남용과 같은 비윤리적 행위가 나타날 수도 있다. '21세기의 원유'라 불리는 빅데이터 산업의 빛과 그림자를 살펴봤다.
◇정보화 시대 필수재…전 산업 영역에서 활약
"기름 없이 기계가 돌아가지 않듯 빅데이터 없이 정보 시대를 보낼 수 없다."
글로벌 시장조사기관 가트너는 이 같은 말로 빅데이터의 중요성을 강조했다. 21세기 기업들에게 가장 중요한 자산은 데이터이고 여기에서 가치를 끌어내지 못하면 경쟁에서 살아남을 수 없다는 의미다. 유능한 리더라면 지엽적인 정보들에 얽매이기 보다는 방대한 데이터 속에서 시사점을 찾을 수 있어야 한다는 조언도 덧붙였다.
빅데이터를 원유에 비유한 가트너의 설명을 되짚어보면 빅데이터가 대용량의 데이터를 효과적으로 처리·분석해 경제적으로 필요한 가치를 추출할 수 있는 기술을 말한다는 점을 알 수 있다. 단순히 많은 양의 정보를 빅데이터로 지칭하지 않는다는 얘기다.
이는 크기(Volume), 다양성(Variety), 속도(Velocity)를 빅데이터의 주요 특징으로 꼽은 데에서도 확인할 수 있다. 페타바이트(PB) 규모의 물리적 크기를 갖추고 있으면서 실시간 혹은 일정 주기에 맞춰 정보의 수집·가공·분석 등의 과정을 수행할 수 있어야 한다는 것이다. 미국 펜실베니아대 와튼스쿨은 여기에 확인(Verification)을 추가했다. 정보들에서 가치를 뽑아내는 만큼 높은 신뢰도가 뒷받침 돼야 한다는 설명이다.
빅데이터의 4대 특징
빅데이터의 가장 큰 매력은 정보들을 보다 투명하고 쉽게 이용할 수 있도록 가공해 대중에 개방한다는 점이다. 디지털 형태로 저장된 데이터들은 더 나은 의사결정을 할 수 있도록 유도해주고 더 이상 세분화되지 못할 것 같았던 소비자 행동들을 분석해 재화와 서비스의 개선을 이끈다. 혁신과 경쟁, 새로운 가치 창출이 모두 빅데이터에서 비롯되는 것이다. 이 같은 이점들을 빅데이터가 전 산업 영역으로 침투할 수 있도록 했다.
실제로 미국에서는 빅데이터 기술을 도입한 소매업체들의 영업이익이 60% 이상 증가했고 헬스케어 분야의 잠재 이익도 3000억달러 가량 늘어난 것으로 나타났다. 중국에서는 전자상거래 업체인 알리바바 그룹 산하의 빅데이터 마케팅 기업 알리마마가 주목할 만한 행보를 보이고 있다.
알리바바, 티몰, 타오바오 등 알리바바 계열 사이트의 유무선 가입자 6억3000만명이 제공하는 정보를 이용해 상품 포지셔닝, 소비자 행동 분석, 시장 진출 등의 전략 수립을 돕는 것이다. 차이나모바일, 하이얼, 중국은행 등 중국의 대표 브랜드 뿐 아니라 벤츠, 샤넬, 나이키, 인텔 등 2000여 개 글로벌 기업들과도 광범위하게 제휴를 맺고 있다.
IT 분야에서 빅데이터의 활약은 더욱 두드러진다. 시장조사기관 위키본에 따르면 빅데이터 기술 시장은 올해에만 22% 성장해 333억달러 규모에 이를 것으로 추산됐다. 특히 전세계적으로 불고 있는 스타트업 열풍에도 일조하고 있다. 데이터를 보다 쉽고 효율적으로 분석해 유의미한 가치를 추출해 주는 형태의 기업이 점차 늘고 있는 것이다.
최소한의 비용과 노력으로 빠른 성과를 얻을 수 있다는 점이 대기업보다는 스타트업들이 더 발빠르게 움직일 수 있었던 배경이기도 하다. 초기에는 고객들이 앞으로 어떻게 행동할 것인가를 알려주는 예측적 분석 정보가 대부분이었다면 지금은 기업과 소비자 모두에게 이익이 될 수 있는 설득적 분석으로도 서비스 영역이 확대되고 있는 추세다.
최근 월스트리트에서 주목받고 있는 정서 분석도 그 중 하나다. 이를 테면, 트위터 같은 소셜미디어에 나타나는 콘텐츠들의 정서를 분석해 주식과 채권, 파생상품 등의 가격 변동 추이를 예측하는 식이다. 플로리다 소재 IT 기업 '아이센티엄'이나 영국 옥스포드대학교 컴퓨터 언어학과 교수 스티븐 풀먼이 공동 창업한 '데이세이' 등이 여기에 해당한다. 이들은 주로 애널리스트나 헤지펀드, 은행 등에 정보를 제공한다.
전문가들은 "멀티미디어, 소셜미디어, 사물인터넷 등 신기술의 부상은 빅데이터가 계속해서 발전할 것임을 의미한다"며 "상상할 수 있는 모든 영역에서 빅데이터는 발견될 것"이라고 전망했다. "이는 곧 통계학, 컴퓨터과학, 머신러닝 등 기본적인 데이터 분석 능력과 프로그래밍 실력을 갖춘 데이터 과학자에 대한 수요 증가로 이어질 것"이라고 이들은 덧붙였다.
김진양 기자 jinyangkim@etomato.com