빅데이터 활용하기 - 빅데이터, 냉정하고 정확한 평가자
기업들이 빅데이터를 활용하는 것은 쉬운 일도 아니고 투자해야 할 비용도 만만치 않은 것이 현실이다.
빅데이터를 활용하기 위해 기업들은 일반적으로 세 가지를 갖추어야 한다고 말한다. 빅데이터 활용을 위한 기반과 데이터 사이언티스트와 같은 전문가들, 그리고 무엇보다도 이를 뒷받침할 회사의 문화가 그것이다.
그러나 그 외에도 직관과는 다른 분석 결과와 그 해법에 대한 신뢰와 투자, 그리고 접근 방식에 대한 전사적인 동의 같은 난제들을 슬기롭게 풀어나갈 때 빅데이터의 큰 가능성이 가치 있는 현실로 다가올 수 있을 것이다.
갖고 싶은 Macbook Air 지금 살 것인가?
좀 더 기다릴 것인가?
하루가 다르게 새로운 제품이 쏟아져 나오고 같은 물건이라도 어제 가격과 오늘 가격이 다른 디지털 제품들. 새로운 디지털 제품을 구매할 때마다 이 모델을 지금 사는 것이 맞는지, 새로운 상품이 곧 나오지는 않는지, 그리고 곧 가격이 내려가지나 않을까하는 염려를 하지 않은 사람은 거의 없을 것이다.
누군가가 이 제품을 지금 사는 것이 좋을지, 좀 더 기다렸다가 가격이 떨어지면 사는 것이 나을지, 아니면 새 제품을 기다리는 것이 현명한 것이지를 조언해준다면 얼마나 좋을까. 그런 생각을 실행에 옮긴 사람이 있으니 바로 Decide.com의 창업자 Oren Etzioni였다.
Oren은 가전제품의 가격이 하루에 20%나 내려가는 때도 있을 만큼 가격의 변화가 심하다는 것을 알고 이 패턴을 분석하기 위해 수많은 가전제품들의 가격과 할인에 대한 데이터들을 분석해서 각각의 가전제품들이 언제, 얼마나 가격이 낮아질 수 있는지를 예측할 수 있는 패턴을 분석해냈고 이를 이용하여 Decide.com의 사용자들에게 디지털 가전제품의 구매 시기에 대한 조언을 제공하고 있다.
예를 들어 갤럭시S3를 지금 사야할지를 질의하면 Decide.com은 친절하게도 2주 내에 $26이 내릴 것이라고 안내해준다(<그림1> 참조). 뿐만 아니라 7,000명 이상의 전문가와 200TB의 데이터를 분석해서 이 제품이 얼마나 괜찮은지도 평가해준다.
그림1 Decide.com에서의 갤럭시S3 조회 결과
물론 상품에 대한 정보는 구글을 통해서도 얻을 수 있고 아마존의 댓글을 통해서도 얻을 수 있지만 Decide.com은 수많은 데이터에 대한 분석 알고리즘을 이용해서 수많은 쓰레기 데이터들 속에서 ‘길을 잃어버리는 상황’을 막아준 것이다.
이처럼 데이터는 사람들에게 새로운 정보를 제공해주고 더 나은 의사결정을 할 수 있게 도와준다. 따라서 데이터 대부분의 활동이 의사결정과 실행으로 이루어져 있고, 그 결과가 경쟁 환경에서 스스로의 생사에 직접 영향을 미치는 기업에게 있어서 더욱 중요한 의미를 지닌다.
주목 받는 분석적인 접근 방법(Analytics)
최근 소셜 미디어 상에 있는 풍부한 데이터들이 주목을 받으며, 빅데이터에 대한 관심이 날로 높아지고 있다. 기업들은 자신의 의사결정과 실행 과정에 데이터를 활용하는 일을 무척 중요한 일로 인식하게 되었다.
그러나 기업들이 데이터를 활용해서 비즈니스 가치를 혁신하거나 경쟁우위를 확보하려는 시도는 이미 꽤 오래전에 시작된 일이다. 해야 할 일이 무엇인가(Do right things)와 어떻게 그 일을 잘 할 것인가(Do things right)는 기업 활동의 핵심이며, 기업의 임원들이 받는 높은 급여의 상당 부분은 그런 일들에 대한 훌륭한 결정을 내릴 수 있는 능력 때문일 것이다.
그래서 그들의 경험과 직관은 기업의 소중한 자산으로 여겨져 왔다. 그러나 최근에 나타나는 사례들은 기업이 그러한 경험과 직관에 의존하는 것보다 데이터를 활용하는 분석적인 방법(Analytics)에 의존하는 것이 더 좋은 성과를 낼 수 있음을 보여주고 있다.
지난해 MIT Sloan Management Review와 IBM이 108개 국가 30개 산업분야의 3,000개 이상의 기업을 대상으로 조사한 결과에 따르면 분석적인 접근 방식을 활용해서 경쟁력을 만들어내는 기업의 비율이 37%에서 1년 만에 58%로 증가했을 정도로 기업들의 데이터에 대한 관심은 높아지고 있다.
또한 이들 기업 중업계 선두 그룹과 후위 그룹의 일하는 방식을 분석해보면 선두 그룹의 약 45%가 미래전략을 위해, 그리고 53%가 일상적인 운영을 위해 분석적인 접근 방법을 사용하고 있다고 밝혔으며, 후위 그룹의 경우에는 20%만이 미래전략을 위해, 27%만이 일상적인 운영을 위해 분석적인 접근 방법을 활용하고 있는 것으로 나타난다.
이는 기업이 분석적인 방법을 잘 활용했을 때 그 경쟁력이 크게 향상될 수 있다는 사실을 보여준다(<그림2> 참조). 실제로 맥킨지는 분석적인 방법을 활용했을 때 기업의 성과가 1% 이상 개선된다는 조사 결과를 밝히기도 했다.
그림2 기업의 분석적 기법 활용 성과 비교
열심히 일할 것인가?
정확하게 일할 것인가?
기업이 데이터를 이용한다는 것은 일을 정확하게 한다는 것이다. 호텔 체인으로 유명한 매리어트(Marriott International)는 어떤 시기에 어떤 호텔 객실을 어떤 고객들이 얼마나 지불할 의사가 있는지, 그리고 우리의 단골 고객이 경쟁사로 넘어갈 가능성이 얼마나 되는지를 전 세계에서 가장 잘 알고 있는 호텔 체인 중에 하나일 것이다.
매리어트는 수십 년 동안 마일리지 멤버십을 가진 고객들을 분석해서 가장 높은 가치를 만들어내는 고객들에게 마케팅을 집중해왔고, 고객들의 행동을 분석해서 객실 숙박비를 최적화해왔다. 또한 정량적인 분석을 적용해서 호텔 시설들과 서비스들의 효율을 극대화하는 방법들을 찾아내기도 했는데 그 결과 수익성을 약10% 정도 향상시킨 것으로 알려져 있다.
매리어트뿐만 아니라 많은 기업들이 분석적인 접근 방법을 활용해서 좋은 성과를 얻고 있다. 책 한 권을 사러 들어갔다가 사람들의 서평과 함께 구입한 책들을 보다보면 원래 사고자 한 책도 깜빡 잊어버리고 서너 권을 주문하게 만드는 아마존이 그러하고, 신용카드 업계 최초로 세그먼테이션이라는 개념을 도입하며 가장 빠른 성장을 해왔던 캐피털 원이 그러하다.
캐피털 원은 조직 구조를 세그먼테이션과 데이터 분석에 맞추어서 운영하며, 직원의 상당수가 분석적인 업무를 수행하도록 하며, 하루에도 수십 개의 분석적인 실험을 시행하는 것으로 유명하다.
올해 초에 151개 미국 정부 기관들을 대상으로 한 조사에서 각 기관의 CIO들은 데이터를 활용한 분석적인 접근을 통해 전체적으로 약 59%의 효율이 향상되었으며, 의사결정의 속도와 스피드가 51%, 예측 능력이 30% 향상되었다고 응답하기도 했다. 그만큼 ‘정확’하게 일을 할 수 있게 된 것이다.
데이터, 그리고 빅데이터
사실 많은 기업들이 고객에 대한 데이터를 보유하고 있고 그것들을 활용하고 있다. 고객 유지 수단으로 사용하고 있는 마일리지가 얼마 이상으로 떨어지면 고객이 이탈한다는 것을 알면 그런 고객들에게 적절한 시점에 할인 혜택을 제공해서 다시 마일리지를 쌓게 만든다거나 하는 방식으로 기업의 성과를 높이고 있다.
그런 데이터들은 기업의 내부 데이터인 경우가 대부분이다. 기업의 내부 데이터는 그 자체로 기업의 값진 자산이지만, 그 데이터의 생성이 고객과의 거래나 기업의 업무 활동 결과에 의한 것이라는 장점과 한계를 동시에 지니고 있다.
그런 데이터들을 활용해서 업무효과를 높이거나 현실을 파악하고 어느 정도의 미래를 예측할 수 있지만, 기업이 가지고 있던 경험에 의해 편향된 정책들이 만들어낸 데이터이거나 기업의 입장에서는 경영활동의 결과적인 데이터로서 미래지향적이지 못한 데이터일 가능성도 높다.
많은 기업들이 FGI와 같은 시장조사를 통해서 고객의 요구와 같은 미래지향적인 정보를 얻기 위해 노력하고 있지만, FGI 참석자들은 해당기업에 유리한 응답을 하거나 사회 통념상 수용되기 쉬운 응답을 하는 경우가 많아 정확하고 객관적인 정보를 얻는 것이 매우 어렵다는 것은 주지의 사실이다.
아마도 빅데이터의 가치는 거기에 있을 것이다. 물론 기업 내부에서 생성되는 데이터들도 빅데이터로 분류할 수 있는 것이 많을 것이다.
기업 내부의 빅데이터와 소셜미디어의 데이터로 대표되는 외부의 빅데이터들은 일정 부분 해당 기업의 경영활동에 의해 영향을 받지만 사람들의 자율적인 행위에 의해 생성되는 수많은 데이터들이 그러한 가치 편향을 상당히 상쇄할 수 있기 때문에 장점이 있다.
또한 고객들이 그들의 경험을 직접 언급한다는 것도 빅데이터의 가치를 높이는 점이다. 한 호텔이 자신들의 서비스를 개선하기 위해서 고객들이 소셜미디어 상에 올린 데이터를 분석해서 호텔 서비스를 이용하는 어느 순간에 - 로비에 들어서서, 체크인할 때, 룸에서, 식당에서와 같은 - 불만을 표시했는지를 분석하고, 그 단계의 서비스를 중심으로 개선해서 효율적으로 호텔의 전체 만족도를 올린 사례는 그런 가능성을 잘 보여준다.
SK텔레콤의 소셜 빅데이터 활용
세계적인 통신사인 보다폰(Vodafone)은 고객의 스마트 디바이스 사용데이터를 분석하여 고객의 웹 브라우징 행태를 분석, 활용하기 위한 방안을 강구하고 있으며, 에너지 기업인 Vestas는 풍향에 따라 전기 생성량의 차이가 발생한다는 점에서 착안, 풍향 센서의 데이터를 분석해서 전기 생산량을 극대화 하고 있기도 하다.
그러나 빅데이터는 큰 수익을 올리는 비즈니스를 만들어내는 것보다는 기업이 보유한 빅데이터들의 분석을 통해 생산성을 강화하는 수단으로 활용되고 있는 것이 현실이다.
이것은 상대적으로 기업들이 접근하기 좋은 풍부한 데이터를 제공하고 있는 소셜 빅데이터도 마찬가지여서 소셜 빅데이터의 활용 역시 주로 기업이 관심있는 담론이 소셜미디어 상에서 어떻게 나타나고 있는지에 대한 모니터링 서비스가 주를 이루고 있으며, 일부에서 기업의 활동을 지원하기 위해 광고, 채용, CRM 등의 솔루션이 등장하고 있다.
2011년부터 소셜 빅데이터를 활용하고 있는 SK텔레콤은 홍보와 마케팅 활동을 위해 오피니언 마이닝 도구를 이용한 모니터링과 인사이트 분석, 그리고 소셜온(SocialOn)이라고 하는 자체 개발시스템을 통해 소셜미디어의 여론을 모니터링하고 있다.
소셜 빅데이터의 오피니언 마이닝을 통한
인사이트 분석 사례
이동통신 소셜 담론 분석
이동통신 담론에 대한 소셜 데이터 분석은 스마트폰의 확산 이후 국내 이동통신 시장이 어떠한 방향으로 변화하고 있는지 예측하기 위해 2011년 1월부터 2012년 4월 말까지의 소셜미디어 상에 있는 약 1,600만 건의 데이터를 3,825개의 키워드로 분류한 후, 브랜드, 단말기, 활용, 요금제, 네트워크, 고객만족의 여섯 가지 영역에 대해서 분석하는 방식으로 진행되었다.
많은 분석이 실시되었지만 일부 내용을 소개하자면, 소셜 데이터들이 알려준 이동통신 시장은 예상대로 스마트폰이라고 하는 단말기에 대한 관심이 가장 많은 담론을 차지하는 시장이었다.
<그림3>에서 보는 바와 같이 단말기는 전체 담론의 44%를 차지하며 시장을 주도하고 있었다. 그러나 그 추세는 약간 다른 모습을 보여주고 있는데 <그림4>에서와 같이 단말기에 대한 언급은 지속적으로 줄어들고 있는 반면, 활용도에 대한 언급은 계속 증가하는 모습을 보이고 있는 것이다.
그림3 이동통신 담론 영역 별 비중
그림4 이동통신 담론 영역별 변화 추이
우리는 이것이 이동통신 사용자들의 관심이 단말기 자체에서 일상생활에서의 활용의 단계로 넘어가고 있는 신호가 아닌지 판단하기 위해 단말기의 발전 단계와 신형 단말기들을 대상으로 형성되는 담론이 어떤 변화가 있었는지를 알아보기로 했다.
우선 모바일 디바이스가 발전하는 단계를 기술, 스펙, 그리고 가격경쟁의 단계로 구분하는 것으로 보았을 때, 최근 새롭게 나타난 데이터는 거의 언급되지 않던 단말기의 메모리 용량과 스펙에 대한 언급들이 소셜미디어 상에서 급격히 증가하기 시작하면서, 스마트폰이 단말기 자체에 대한 관심이 줄어드는 스펙 경쟁의 시기로 접어드는 신호로 해석할 수가 있었다.
그리고 우리의 가설이 사실이라면 작년 5월에 출시된 A2라는 단말기와 올해 출시된 A3라는 단말기를 비교했을 때, 제품의 혁신성도 높고 제조사와 이통사 그리고 언론의 관심을 훨씬 많이 받았던 A3에 대한 언급이 오히려 A2보다 적거나 혹은 다른 성격을 가지고 있을 것이라는 가정 하에 해당 데이터들을 분석했다.
그 결과 A3에 대한 언급이 출시 전후 동일한 기간 동안 약 25% 감소했다는 사실과 그 성격도 새로운 기술을 적용한 단말기와 최신형 단말기로 서로 다르다는 사실을 찾아낼 수 있었다.
그 외 몇 가지 다른 가설의 검증을 통해 우리는 한국의 이동통신 시장이 단말기 중심에서 서비스 활용 중심으로 넘어가고 있고, SK텔레콤이 활용분야에서 새로운 가치를 제공해주기 위해 노력해야 한다는 결론을 도출할 수 있었다.
프로야구 구단에 대한 팬들의 인식 분석 사례
그렇다면 프로야구 구단들은 소셜미디어 상에서 어떻게 인식되고 있을까? 프로야구 구단을 계열사로 가지고 있는 기업의 입장에서는 해당 구단이 어떻게 인식되고 있는가 하는 것은 매우 중요하다.
2008년 1월 1일부터 2012년 7월 31일까지 약 21억 건의 소셜 빅데이터를 분석한 결과 프로야구 구단에 대한 관심은 상위 구단 중심에서 점차 평준화되고 있는 가운데 S, L, D 세 구단에 대한 팬들의 인식은 <표1>과 같은 것으로 나타났다.
표1 소셜미디어에 나타난 3개 구단에 대한 팬들의 인식
프로야구 구단의 성격을 바꾸는 것은 기업의 전략적인 변화보다 더 어려운 일일 수도 있을 것이다. 그러나 구단 자신이 어떤 이미지를 가지고 있다는 것을 객관적으로 알 수 있다는 것은 구단의 운영과 활동방향에 적지 않은 시사점들을 제시해 줄 수 있을 것이다.
소셜미디어 모니터링을 위한 소셜온 활용
오피니언 마이닝 시스템의 장점은 소셜미디어의 방대한 데이터를 효과적으로 분석할 수 있도록 해준다는 점이다. 그러나 기계적인 분류와 분석에 의해서 소셜미디어 상에서 지속적으로 발생하고 있지만 크게 이야기가 나오지 않거나, 팔로워나 팬이 적은 사용자들의 가치 있는 의견은 걸러지기 쉽다는 약점을 가지고 있다.
이런 목소리들을 경청하기 위해 SK텔레콤은 Crowd Monitoring 체계라고 할 수 있는 소셜온 시스템을 개발하여 소셜미디어 상에서 오고가는 의견들을 경청하고 있다. 소셜온 시스템은 사용자들이 소셜미디어 상에 나타난 의미 있는 의견들에 대한 공유, 토론, 대응 등을 할 수 있는 환경을 제공하고 있다(<그림5> 참조).
그림5 소셜온 화면
빅데이터 활용의 어려움
기업에게 빅데이터의 활용이 새로운 비즈니스 가치를 창출하거나 경쟁우위를 만들어낼 수 있는 기회를 제공하는 것은 주지의 사실이다. 그러나 앞서 예를 든 MIT와 IBM의 조사 결과가 시사하는 다른 관점은 분석적인 방법이 기업들이 활용하기 쉽지 않은 것이라는 사실이다.
기술 분야의 시장 분석 기관인 가트너는 2015년까지 포춘 500대 조직들 중 85% 이상이 경쟁우위를 얻기 위해 빅 데이터를 활용하는 일에 성공하지 못할 것이라고 예상했다. 즉, 잘하면 좋지만, 잘 하기는 어려운 것이 바로 기업이 데이터를 활용하는 일이고 분석적인 접근 방법을 사용하는 일인 것이다.
앞서 언급한 오피니언 마이닝 시스템의 경우만 보아도 소셜미디어에 사용자들이 자유롭게 올린 포스트들을 기계적으로 분류하는 작업에 많은 어려움이 있다. <그림6>과 같은 연관어들을 보고 시장의 의견을 찾아내는 것은 어려운 일이다.
그림6 오피니언 마이닝 시스템의 연관어 분석 결과 사례
따라서 데이터의 분석은 가설의 수립과 검증하는 절차를 반복하면서 이루어지게 되는데 이 가설의 수준이 전체 분석의 수준을 좌우하게 되는 문제가 발생한다.
또한 구글의 안드로이드 운영체제인 아이스크림샌드위치와 아이스크림이라는 단어가 혼동될 수 있듯이 기계적인 분류에 따른 한계와 그리고 가비지 데이터들에 의한 오염에 대한 클렌싱의 어려움, 사용자들의 관심이 별로 없는 분야의 경우 소수 의견에 의한 왜곡 등 수많은 문제들이 있다.
이러한 문제들은 1회적인 연구대상으로서는 모르겠지만, 데이터의 지속적이고 실시간적인 활용이 필요한 기업 환경에서는 심각하게 고려해야 할 부분이 될 수도 있다.
이처럼 기업들이 빅데이터를 활용하는 것은 쉬운 일도 아니고 투자해야 할 비용도 만만치 않은 것이 현실이다. 빅데이터를 활용하기 위해 기업들은 일반적으로 세 가지를 갖추어야 한다고 한다. 빅데이터 활용을 위한 기반과 데이터 사이언티스트와 같은 전문가들, 그리고 무엇보다도 구축하기 어려운 회사의 문화가 그것이다.
그러나 그 외에도 직관과는 다른 분석 결과와 그 해법에 대한 신뢰와 투자, 그리고 접근 방식에 대한 전사적인 동의 같은 난제들을 슬기롭게 풀어나갈 때 빅데이터의 큰 가능성이 가치있는 현실로 다가올 수 있을 것이다.
