빅데이터 환경과 경영의 새로운 패러다임
빅데이터는 구글과 같은 대용량 데이터를 다루는 기업들만의 이슈였다. 그러나 그 의미가 확대 재생성되고 있다. 일반 기업들도 구글의 분석과 같은 대용량 데이터 분석을 통해 기업의 새로운 기회를 포착하고 더 나아가 기업의 역량으로 승화시킬 수 있는 길이 열렸기 때문이다.
기업들이 데이터의 가치를 재조명하기 시작했고 한발 더 나아가 전문가가 아니더라도 대용량 데이터를 저장하고 분석할 수 있는 기술과 환경이 속속 등장하고 방대한 정보를 모으고 함께 분석하는 가치가 새롭게 부상하면서 빅데이터가 화두로 떠오르게 되었다.
시간은 2054년 워싱턴 DC. 살인사건이 일어날 찰나 ‘범죄예방수사대’ 소속 경찰들이 들이닥쳐 범인을 체포하고 인명을 구한다1). 바로 ‘프리크라임 시스템(Precrime)’이 작동한 결과이다.
(1) 마이너리티 리포트와 구글 검색의 내용은 필자의 저서 「경영학콘서트」에서 일부 발취하였다.)
이처럼 ‘범죄예방수사대’는 가까운 미래의 범죄를 예측할 수 있는 프리크라임이란 시스템을 이용해 사건이 일어나기 전 현장을 덮쳐 범죄로부터 시민을 보호한다.
2002년 개봉한 스티븐 스필버그 감독의 영화 <마이너리티 리포트>이야기다. 실타래처럼 엉킨 복잡한 이 영화의 플롯은 바로 미래의 범죄를 예방하는 시스템인 ‘프리크라임’에서 출발한다.
유전공학 실험의 우연한 부산물로 살인 예지능력이 있는 초능력자들이 탄생하고, 미국 정부는 이들을 이용해 범죄예방수사대를 발족해 범죄를 미연에 방지한다.
이 같은 사전 예지능력이 영화에서처럼 먼 미래에나 가능한 이야기일까? 놀랍게도 이미 예지능력을 가진 존재들이 우리의 생활에 깊숙이 들어와 우리 일상을 바꿔 놓고 있다. 마치 <마이너리티 리포트>에서 프리크라임이 범죄율을 90%나 낮춘 것처럼 말이다.
현대의 미래를 예측한 예지력의 놀라운 사례를 알아보자.
오바마 정부의 예측 실패 사례
2009년, ‘경제 재건’과 ‘새로운 미국’이란 슬로건을 내걸고 출범한 오바마 정부. 정부 부처에 엘리트를 포진시켜 정책 입안과 운영 혁신을 추진하겠다던 오바마 정부가 그해 여름 난처한 상황에 봉착했다.
경제위기 극복과 친환경 정책의 일환으로 실행한 ‘노후차량 보상 프로그램(Cash for Clunker)’의 예산이 실행 한달 만에 바닥나버린 것이다.
노후차량 보상 프로그램이란 연비가 낮고 대기오염에 주범인 노후차량을 폐기하고 새 차량을 구입할 경우, 정부가 대상자에게 최고 4,500달러까지 지원하는 프로그램이다.
예를 들어 포드사의 1998년형 중형차 토러스를 중고시장에 팔아봐야 기껏 2,000달러 남짓 받을 수 있지만2) 이 차량을 폐기하고 새 차량을 구입하면 정부로부터 최대 4,500달러까지 신차 구입비용을 지원받을 수 있다. 새 차 구입을 망설였던 사람에게는 군침 도는 제안이다.
(2) 미국 중고차 시세 사이트 Edmunds.com)
정부의 목적은 이산화탄소를 대량 배출하는 노후차량을 폐기함으로써 환경 개선을 도모하고 동시에 자동차 구매수요를 높여 경제위기로 어려움에 처한 자동차 업계를 돕는 것이었다.
2009년 7월 1일부터 같은 해 11월 1일까지 4개월 동안의 시행을 목표로 미국 정부는 10억 달러의 예산을 편성했다. 정부 내 경제학자들과 정책연구가들은 이 정도 예산이면 넉 달 동안의 실행에 문제가 없다고 예상했던 것이다.
처음 정부가 이 프로그램을 계획할 때는 그리 낙관적으로 보지 않았다. 경제위기로 많은 사람들이 지갑을 열지 않는 상황에서 과연 새 차를 구입하려 할까 하는 우려 때문이었다.
하지만 막상 뚜껑을 열자마자 정부의 예상과는 정 반대의 결과가 나타났다. 많은 사람들이 새 차를 구입할 절호의 기회라며 앞 다퉈 딜러에게 달려가 차량을 구입한 것이다. 결국 10억 달러의 예산은 한 달 만에 동나고 7월 말 의회는 추가로 20억원의 긴급 추가예산을 편성하기에 이르렀다.
노후차량 보상 프로그램의 호응도가 기대 이상이어서 목표했던 자동차 업계의 매출 향상은 달성했지만 그렇다고 정부가 춤추며 기뻐할 상황은 아니었다. 오히려 그 반대였다. 이 프로그램의 빗나간 호응도 예측과 이로 인한 충분치 못한 예산편성으로 국민들은 경제정책 계획 신뢰도를 의심하기 시작했다.
이에 대한 오바마 정부의 해명은 간단했다. 대공항 이후 한 번도 겪어 보지 못한 최악의 경제위기 상황에서 올바른 예측은 불가능하다는 것이었다. 경제학자들도 정부의 해명에 큰 이견을 보이지 않았다. 대부분 예측이 과거 데이터를 바탕으로 이뤄지는데 이와 같은 대규모 경제위기는 처음이라 정확히 예측하기가 힘들다는 것을 잘 알기 때문이었다.
그런데 정말 그럴까? 과연 한 번도 겪어보지 못한 사실에 대한 정확한 예측은 전혀 불가능할까? 오바마 정부가 처음 노후차량 보상 프로그램을 발표하고 10억 달러의 예산을 책정했을 때, 한 달이면 이 10억 달러는 바닥날 것이라고 정확히 예측한 이들이 있었다. 바로 구글이다3).
(3) ‘At Gov 2.0 Conference, Web 2.0 Comes to Washington’ Washington Post(2009.9.9))
경제 엘리트들이 포진한 미 정부도 예측하지 못한 노후차량 보상 프로그램의 호응도를 구글은 어떻게 정확하게 예측할 수 있었을까? 그렇다면 유수한 경제 관료와 학자들도 예측하지 못한 자동차 수요 예측을 구글은 어떻게 한 것일까? 바로 빅데이터 분석이다.
빅데이터의 패러다임
빅데이터란 구글의 검색어와 같이 다양한 곳에서 시시각각 유입되는 엄청난 양의 데이터를 의미한다. 이러한 빅데이터의 의미는 구글이나 야후와 같이 일반 대량의 데이터를 다루던 기업들이 실시간으로 유입되는 엄청난 데이터의 저장, 전송, 그리고 분석을 고민하면서 생긴 기술적인 용어다.
앞의 구글이 노후차량 보상 프로그램의 호응도를 예상한 것도 바로 실시간으로 유입되는 검색어 데이터 패턴을 통해서다. 이 보상 프로그램에 관한 계획이 발표되자 구글 검색창에 관련 검색어 검색이 폭등했다.
구글은 이를 바탕으로 호응도를 정확히 예측할 수 있었다. 사람들이 정보를 검색할 때 쓰는 검색어와 검색 패턴으로 관심도를 추출할 수 있는 기술력을 가진 구글로서는 이 프로그램의 호응도를 예측하는 건 그리 어려운 일이 아니었다.
불과 몇 년 전까지만 하더라도 이러한 빅데이터는 구글과 같은 대용량 데이터를 다루는 기업들만의 이슈였다. 그러나 그 의미가 확대 재생성되고 있다. 일반 기업들도 구글의 분석과 같은 대용량 데이터 분석을 통해 기업의 새로운 기회를 포착하고 더 나아가 기업의 역량으로 승화시킬 수 있는 길이 열렸기 때문이다.
기업들이 데이터의 가치를 재조명하기 시작했고 한발 더 나아가 전문가가 아니더라도 대용량 데이터를 저장하고 분석할 수 있는 기술과 환경이 속속 등장하면서, 방대한 정보를 모으고 함께 분석하는 가치가 새롭게 부상하면서 빅데이터가 화두로 떠오르게 되었다.
이러한 새로운 트랜드에 맞춰 과거 전문가들 사이에서만 통용되던 ‘빅데이터’의 정의도 확대되고 있다. 과거 특정 용량 이상이나 기존 데이터베이스로 처리가 불가능한 양의 데이터를 빅데이터라 칭하는 의미도 기술혁신에 맞춰 다시 정의되어야 했다.
새로운 데이터 처리기술의 개발로 어제는 처리 못하던 용량의 데이터가 내일은 처리 가능하다면 어제의 빅데이터를 오늘에는 일반데이터로 칭해야 된다는 모순이 생긴다. 이처럼 나날이 속속 신기술이 선보이는 세상에서 어느 특정요량을 구분해 빅데이터냐 일반데이터냐를 구분하는 것은 의미가 없다.
그렇다면 요즘 부각되고 있는 빅데이터의 의미는 무엇인가? 바로 현대 데이터 시대를 바로보는 새로운 패러다임이 바로 빅데이터가 의미하는 바다.
과거 패러다임에서는 우리가 내리는 의사결정에 필요한 데이터는 늘 부족하다는 가정을 담고 있었다. 즉 정확한 데이터가 부족해서 좋은 결정을 내리기 어렵다는 것이었다.
그러나 빅데이터의 패러다임에서는 이러한 의사결정의 기본 가정이 변화하고 있다. 바로 우리가 필요한 정보는 원하면 언제든지 큰 비용을 지불하지 않고도 얻을 수 있다라는 것이다.
IT 기술과 휴대폰과 같은 개인용 휴대기기 그리고 트위터나 페이스북과 같은 소셜네트워크 서비스의 발달로 정보량은 폭등하고 있다. CCTV와 요즘 유행하는 자동차 블랙박스는 내 주변의 모든 상황을 영상정보로 담고 있다.
또한 기업운영에 모든 발자취는 기업 내 데이터베이스에 저장되고 고객이 어떤 물건을 어느 매장에서 어떤 다른 상품과 함께 구매한다는 내역까지 일일이 저장되고 있다. 이제 더 이상 정보가 부족해 의사결정을 못내린다란 의미는 사라지고 있다.
이러한 새로운 빅데이터 패러다임에 맞춰 그저 쌓아놓기만 했던 고객들의 주문 정보를 유통사들이 분석하기 시작했고, 카드사들도 카드회원 고객들의 구매 패턴에 관심을 기울이기 시작했다.
교통 물류 기업들도 상품의 이동 경로와 여행객들의 이동경로가 상당한 기회를 줄 수 있다는 사실을 파악했으며, 광고회사도 개개인의 취향을 파악하면 고도화된 광고전략을 세우고 과거 상상도 할 수 없었던 광고 효과를 얻을 수 있다는 확신을 갖기에 이르렀다.
빅데이터 애널리틱스
빅데이터의 가치를 이야기할 때 뺄 수 없는 단어가 바로 애널리틱스(Analytics)다. 애널리틱스란 영문을 직역하면 ‘분석’이다. 그러나 일반적 비즈니스 분석과는 달리 여기서의 애널리틱는 복잡한 연산을 수학적 최적화나 고도의 알고리즘을 통해 실시간으로 분석해 그 결과를 도출한다는 의미로 통용되고 있다.
엄청난 양의 데이터를 분석하고 이를 통해 실시간으로 필요한 의사결정을 내리는 작업은 과거 몇 년 전까지만 해도 구글과 같은 데이터 전문기업들의 전유물이었다.
그러나 컴퓨팅 기술의 발달과 애널리틱스를 활용한 범용 소프트웨어가 선보이며 특정 기업뿐만 아닌 다양한 기업들이 이러한 고도의 수학을 응용해 데이터를 분석하고 실시간으로 의사결정을 내릴 수 있는 기반이 마련되었다.
그리고 이를 적극적으로 수용하여 기업의 경쟁력으로 승화시켜 성공스토리를 창조해낸 사례가 속속들이 등장 중이다.
미국 넷플릭스(Netflix)사는 인터넷을 통한 영화 DVD대여 사업에서 빅데이터와 빅데이터 분석을 활용해 창업한 지 8년만에 최대 미디어 기업으로 성장한 대표적인 빅데이터를 활용한 성공기업이다.
영화를 대여할 때 고객들이 검색한 영화와 기존 대여했던 영화 그리고 영화를 빌려본 후 내린 평점을 바탕으로 회원들의 취향에 맞는 영화를 추천해주는 서비스를 창업 초기부터 실시하였다. 영화라는 감성의 상품은 개인의 취향에 따라 고객의 요구가 다양하다는 사실을 파악해 이를 데이터 분석을 통해 서비스화 한 것이다.
미국 최대 인터넷 리테일러인 아마존닷컴(amazon.com)은 고객의 과거 구매기록을 바탕으로 사전에 어떤 상품을 구매할 것인지 파악해 광고메일을 보낸다.
비록 한 개인의 데이터는 별 의미 없지만 수많은 고객들의 엄청난 양의 구매 데이터는 하나의 패턴을 이뤄 어떤 부류의 고객은 어떤 상품을 구매하는지 빅데이터 애널리틱스를 통해 파악한 후 개인화 쿠폰으로 제공되는 것이다.
이처럼 방대한 데이터를 실시간으로 분석해 과거 상상에만 존재했던 서비스를 실현해내고 있는 것이다.
위키리스크가 수 십만 건의 비밀 정보를 한꺼번에 공개했을 때 많은 기자들이 이 엄청난 데이터를 어떻게 기사화 할까 했었다. 그때 영국 가디언은 공개자료 내 몇 개의 키워드 검색을 바탕으로 데이터베이스를 구축하고 이를 바탕으로 신속히 데이터를 의미 있는 정보로 그리고 지식으로 변환하는 작업을 수행하였다.
또한 방대한 데이터를 그래픽을 통해 그 의미를 전달함으로써 방대한 자료를 한정된 지면에 효과적으로 전달해냈다.
빅데이터 시대에는 사람이 하나하나 엄청난 양의 데이터 의미를 풀어내는 것은 불가능하다. 빅데이터 분석에 이용되는 머신 러닝(기계학습)이나 고도의 수학적 알고리즘으로 그 패턴과 의미를 찾고 이를 바탕으로 정보와 지식으로 추려내는 기술이 필수가 된다.
더욱이 정부나 공공기관에서도 다양한 공공정보의 데이터베이스 공개를 추진하고 있다.
이미 미국 오바마 정부는 정부2.0(Gov 2.0)이란 프로그램을 통해 지속적으로 정부가 쌓아놓은 데이터를 공개하고 이를 바탕으로 새로운 서비스를 제공하는 사업을 지원하고 있다.
언론도 과거 소수 전문가나 특정 정보 소스에 의지하던 기사가 아닌 기존 정보 소스와 새롭게 부상한 방대한 데이터 분석을 함께 분석해 새로운 의미를 제시해야 할 시대다.
뉴욕타임즈는 최근 ‘뉴욕타임즈 R&D’라는 연구소를 설립하고 UCLA 대학의 통계학 교수인 마크 핸슨(Mark Hansen)과 연구진과 함께 데이터 분석과 데이터 영상화(Visualization) 연구를 진행 중이다4).
(4) “The New York Times’ R&D Lab has built a tool that explores the life stories take in the social space”, Megan Garber, New York Times(2011.4.20))
방대한 데이터에서 의미를 찾아 실시간으로 사람의 눈으로 쉽게 이해할 수 있는 영상화 기술을 연구하는 것이 이 연구소의 핵심 프로젝트다.
이처럼 이제 언론도 첨단기술을 활용해 데이터를 의미 있는 지식으로 전환하는 능력이 필수 경쟁력으로 자리잡고 있다는 증거다.
이제 과거 반도체나 바이오테크와 같이 첨단 상품을 만들거나 첨단과 관련된 서비스를 제공해야만 첨단산업이나 기업이 아니다. 빅데이터 시대에는 첨단 기술을 바탕으로 운영을 하고 이를 통해 새로운 경쟁력을 창출하는 기업이 바로 첨단 기업이다.
나날이 쌓여가는 기업 내 데이터, 이 데이터를 그저 쌓아놓기만 하면 그저 쓰레기에 불과하다. 그러나 빅데이터 애널리틱스를 통해 쓰레기가 기업의 경쟁력으로 재생성되는 것이다. 이것이 바로 빅데이터의 의미다.