이제 여론조사 시대는 가고… 빅데이터를 요리하라

모바일 기기 확산에 따라 갈수록 사람들은 여론조사에 비협조적. 여론조사로 앞일을 예측하는 것이 과거 그 어느때보다 어렵다.

설문조사를 통해 얻는 데이터 자체는 이제 큰 쓸모가 없고 신뢰하기도 어렵다. 중요한 것은 빅데이터 안에 숨어 있는 의미를 찾는것.

단답식이고 직설적인 여론조사는 앞으로도 맞지 않을 가능성이 높다. 대신 여러가지의 다양한 질문을 통해 전혀 다른 의미와 해답을 이끌어내는 방

법으로 빅 데이터 시대의 새로운 방향성을 찾아야 할 것.

이렇게 또 하나의 전통업종이 사라진다. 정확히 말하자면 빅데이터 분석을 통해 얻는 결과중 하나로써 여론을 조사하는 것이 됐다.

업계측면에서는 이렇게 현실을 정확히 지적하고 판단하는 사람이 있다는걸 다행으로 여기고 참고해야 하지 않을까 싶다.

출처 : http://biz.chosun.com/site/data/html_dir/2015/06/05/2015060501615.html?right_ju

여론조사는 최근 전 세계에서 연전연패(連戰連敗) 중이다.

지난달 7일 벌어진 영국 총선에서 8개 주요 여론조사 회사는 보수당과 노동당이 박빙의 승부를 벌일 것으로 예측했다. 결과는 달랐다. 보수당은 과반보다 4석 더 많은 331석을 획득, 232석에 그친 노동당을 크게 따돌렸다. 올해 초 있었던 그리스 총선에서는 다수의 여론조사가 급진 좌파 시리자의 압승을 예측했지만, 시리자는 과반을 확보하지 못해 결국 연립정부를 구성했다.

한국에서도 여론조사의 패전(敗戰)은 이젠 익숙한 풍경이다. 당선자를 거꾸로 예측했거나 실제와 동떨어진 결과가 나오는 경우가 허다하다. 지난 2010년 지방선거에서는 조사 기관마다 후보 지지율이 크게 다르거나 20％ 이상 크게 뒤지던 후보자가 당선되는 경우까지 있었다.

세계 최고의 여론조사 회사 갤럽(Gallup) 역시 패전에서 예외가 되지는 못했다. 지난 2012년 미 대선을 앞두고 실시된 여론 조사에서 갤럽은 밋 롬니 공화당 후보의 지지율이 52%로 45%에 그친 버락 오바마 대통령을 7%포인트 앞섰다고 발표했다. 그러나 선거 결과는 오바마 대통령의 여유 있는 재선이었다.

1000만 대 5000의 기적

갤럽에 '세계 최고'라는 수식어가 붙게 된 것은 지난 1936년의 미국 대통령 선거 때였다.

당시 앞서 네 번의 미국 대선 결과를 맞혔던 '리터러리 다이제스트(The Literary Digest)'지(誌)는 무려 1000만명에게 엽서를 보냈다. 237만명의 응답지를 집계하는 데만 석 달이 걸렸다. 이 잡지는 공화당의 앨프리드 랜던 후보가 이긴다고 전망했다. 반면 신생 여론조사 회사였던 갤럽은 불과 5000명만 조사했고, 프랭클린 루스벨트 대통령의 승리를 점쳤다. 당시에는 여론조사에서 많은 응답을 받을수록 더 정확한 예측이 가능하다고 봤다.

조사 대상 1000만 대 5000. 갤럽의 시도는 터무니없는 모험처럼 보였다. 그러나 결과는 루스벨트 대통령의 재선이었다.

갤럽의 예측 비결은 연령과 계층을 대표하는 표본 인구 조사의 노하우였다. 다이제스트는 설문조사 대상자를 전화번호부와 자동차 소유자 또는 대학 동창회 명부로 선정하는 실수를 저질렀다. 그 바람에 잘사는 계층 위주로 조사가 이뤄졌고, 표가 많은 저소득층의 의중은 반영되지 못했다.

그 후 몇번의 대선을 거칠 때마다 갤럽의 지위는 확고해졌다. 그렇기에 지난 미국 대선 결과 예측 실패는 갤럽에 있어서 더욱 뼈아프다.

여론조사의 시대는 이제 저문 것일까? 왜 이런 실패가 일어나는 것일까?

지난달 20일 조선일보가 주최한 아시안리더십콘퍼런스(ALC)에 참가하기 위해 방한한 짐 클리프턴(Clifton ·64) 갤럽 회장을 만났다. SRI라는 여론조사 회사를 경영하던 클리프턴 회장은 지난 1988년 창립자인 조지 갤럽의 유족으로부터 갤럽을 인수했고, 현재까지 27년간 갤럽 최고경영자(CEO)를 맡고 있다.

그는 최근 여론조사의 실패가 어느 정도 구조적 요인이라고 봤다. 그는 "모바일 기기의 확산으로 인해 갈수록 사람들은 여론조사에 덜 협조적"이라며 "여론조사로 앞일을 예측하는 것이 과거 그 어느 때보다 어렵다"고 말했다.

지금의 갤럽을 만든 것은 여론조사지만 갤럽의 미래 먹거리는 되기 어렵다는 이야기다. 그는 "설문조사를 통해 얻는 데이터 자체는 이제 큰 쓸모가 없고 신뢰하기도 어렵다"며 "중요한 것은 수집한 빅 데이터 안에 숨어 있는 의미를 찾는 것"이라고 강조했다.

클리프턴 회장은 "빅 데이터 분석을 통해 의미를 파악하고 새로운 발견이나 해법을 제공하는 것이 미래의 갤럽이 할 일"이라고 말했다. '누가 된다고 생각하느냐'는 단답식이고 직설적인 여론조사는 앞으로도 맞지 않을 가능성이 높다고 본 것이다. 대신 여러 가지 다양한 질문을 통해 전혀 다른 의미와 해답을 이끌어내는 방법으로 빅 데이터 시대의 새로운 방향성을 찾아야 할 것이라고 강조했다. .

―예전과 달리 최근에는 갤럽의 여론조사가 잘 맞지 않는다는 비판이 있습니다. 물론 다른 회사도 마찬가지입니다만.

"솔직히 말하자면 여론조사를 통해 어떤 결과 자체를 예측하는 것이 점점 어려워지고 있습니다. 우리는 랜덤(무작위)으로 조사 대상자를 정한 후 조사를 진행합니다. 과거에는 조사 대상자의 집으로 전화를 걸었습니다. 갤럽이라고 말하면서 인터뷰를 요청하면 사람들은 굉장히 협조적이었습니다. 하지만 모바일 기반의 조사가 시작되면서 상황이 달라졌습니다. 휴대폰으로 걸려온 여론조사 전화에 사람들은 매우 비협조적입니다. 여론조사 담당자들이 휴대폰으로 전화를 걸면 60~80%의 사람들이 조사에 응하지 않고 전화를 끊어버립니다.

여론조사 대상자가 협조적이지 않다는 것은 여론조사 결과가 수학적으로 정확하지 않다는 뜻입니다. 매우 신경 써서 표본을 선정했지만 응답률이 낮다면 표본이 가지는 의미가 줄어듭니다"

―조사를 통해 수집한 데이터가 큰 가치가 없다는 뜻인가요?

"표면적으로 보이는 데이터를 신뢰하기 어렵기 때문에 데이터를 모아 놓은 빅 데이터 자체는 큰 쓸모가 없다고 생각합니다. 빅 데이터가 요즘 자주 거론되는데, 사실 새로운 이야기는 아닙니다. 지난 10년 동안 계속 논의됐던 주제입니다.

중요한 것은 빅 데이터를 활용한 '예측력 있는 분석'입니다. 갤럽은 앞으로 빅 데이터를 분석해서 알아낸 새로운 발견이나 해법을 제공하려고 합니다. 예를 들어 여러 질문을 통해 수집한 데이터를 분석한 후 'A나라에서 정치 혁명이 일어날 가능성이 크다' 'B국가는 시민의식 수준이 매우 높다' 는 식으로 정보를 제공하는 겁니다."

―아시안리더십콘퍼런스에 참석한 마윈(馬雲) 알리바바그룹 회장이 앞으로 30년간 DT(data technology·데이터 기술) 혁명에 기반한 새로운 시장이 열릴 것이라고 했습니다. 당신의 이야기도 이와 비슷해 보입니다.

"그렇습니다. 마 회장은 방대한 고객 데이터를 활용해 개별 고객의 요구에 부응할 줄 아는 기업이 성공하는 'DT 시대'가 도래할 것이라고 말했습니다. 축적된 데이터를 분석해 가치를 창출하고 미래를 예측하는 기술이 있는 기업이 승자가 된다는 이야기입니다.

갤럽은 그동안 1차 데이터(primary data)를 주로 수집했습니다. 고객이 필요한 자료가 있으면 갤럽이 조사해서 가져다주는 식이었습니다. 질문도 단순했습니다. '누가 선거에서 이길까요' 'A브랜드를 선호하나요, B브랜드가 더 낫나요' 같은 질문이죠.

그런데 지금은 양상이 바뀌고 있습니다. 가령 오프라인 매장이 가지고 있는 판매 데이터를 분석해 물건을 더 많이 팔기 위해 무엇을 할지를 찾아내는 겁니다. 아니면 '태블릿PC의 미래는 어떻게 될 것인가?'에 대한 답변을 빅 데이터 분석을 통해 찾아주는 것이지요. 갤럽의 목표는 1차 데이터를 가공하고 분석한 2차(secondary) 데이터를 제공하는 것입니다."

클리프턴 회장은 빅 데이터에서 결국 중요한 것은 해석이고, 거기서 얻는 정보를 잘 활용할 필요가 있다고 강조했다. 아울러 빅 데이터에서 뽑아낸 유용한 정보들이 일종의 편견이나 고정관념을 깨는 데 유용한 도구라는 취지의 이야기를 여러 번 거듭했다.
짐 클리프턴 회장
빅 데이터, 해석이 중요하다

―빅 데이터 안에서 유용한 2차 데이터를 뽑으려면 어떻게 해야 할까요?

"'무엇(what)'보다는 '왜(why)'를 찾으세요. 어떤 서점의 매출이 줄어든다고 합시다. 추측할 수 있는 이유는 여러 가지입니다. '주변에 더 좋은 서점이 생겼다' '직원이 불친절하다' '사람들이 온라인으로 책을 산다' 식의 추측이 가능합니다. 서적별 매출 같은 데이터로는 이것을 도저히 알아낼 수 없습니다.

중요한 것은 개별 고객이 서점을 찾거나 찾지 않는 진짜 이유를 찾아내는 것입니다. 이를 위해 필요한 데이터를 수집하고 분석을 하는 것이 필요합니다."

―빅 데이터 안에서 유용한 것을 찾고 의미를 잘 이해하는 것이 핵심이네요.

"물론입니다. 당신이 평생 사고파는 모든 것, 치과 방문 기록, 쇼핑몰 방문 횟수와 구매 물품, 신용카드 사용 횟수 등 가능한 한 모든 것을 기록한다고 칩시다. 이 데이터 자체로 미래를 예측할 수 있을까요? 미래를 예측하려면 사람들이 무엇을 하기 전에, 무엇을 사기 전에, 무슨 생각을 하는지 알아야 합니다. 사람들이 어떤 마음이나 어떤 기분이 들어서, 어떤 상황이라서 특정 물건을 샀는지 의미를 찾으라는 뜻입니다.

미국 기업들의 가장 커다란 맹점은 빅 데이터 안에 숨어 있는 소비자의 감성이 얼마나 구매에 큰 영향을 미치는지 모른다는 점입니다. 미국 기업들은 '실질적인 수치'에 너무 주목하고 있습니다. 고객의 욕구를 가장 깊이 이해하는 사람이 승리하고, 가장 많은 이익을 남길 수 있습니다."

―빅 데이터 분석을 통해 소비자의 구매 패턴 말고 좀 더 복잡한 것을 예측하는 것도 가능할까요?

"훌륭한 기업가(entrepreneur)가 될 만한 자질이 있는 인재를 찾기 위해 어떤 테스트를 하는 것이 좋을까요? 보통은 중학생에 대해 IQ 테스트를 하는 식의 방법을 떠올립니다. 교육 심리학자들은 정확하게 학습 능력순으로 학생들을 줄 세울 수 있습니다. SAT(미국 대학입학자격시험)나 IQ 테스트를 통해 과학, 수학, 언어, 기술, 공학 그리고 의학 분야에서 높은 잠재력을 지닌 학습자를 찾아낼 수 있습니다. 그러나 교육 심리학자들에게 기업가 자질이 뛰어난 순서대로 동일한 학생들을 줄 세우라고 한다면, 아마도 그들은 어떻게 해야 할지 모를 것입니다.

갤럽은 어떤 사람이 기업가가 되는지 알아내기 위해 지금까지 5만명가량을 인터뷰했습니다. 그리고 숨어 있는 의미를 찾았습니다. 중요한 것은 이들에게 던지는 질문입니다. '비포장도로에서 운전할 때 당신이 고려하는 한 가지는 무엇입니까?' 등의 질문을 하는 방법이 필요합니다. 보통 사람들은 피해를 줄이면서 운전하는 것에 중점을 둡니다. 기업가 자질이 있는 사람들은 오히려 차를 빨리 몰아 비포장도로에서 벗어나겠다고 답합니다. 이것이 일반인과 기업가를 구분 짓는 점입니다.

또 기업가 기질이 있는 사람들은 리스크를 감수한다는 통념이 있습니다. 그런데 데이터를 분석하니 그렇지 않은 것으로 나타났습니다. 오히려 리스크를 줄이려고 노력하는 것으로 드러났습니다. 이러한 성향을 알 수 있는 질문을 던져야 합니다."

―그런 경우 질문이 적절한지 검증을 하는 게 문제가 아닐까요?

"기업가 자질을 검증하는 테스트의 정확성을 확인하기 위해 빠르게 성장 중인 기업의 최고경영자(CEO) 500명을 대상으로 같은 테스트를 실시했습니다. 그리고 데이터를 다시 분석했고, 이 테스트에서 기업가들의 자질이 드러난다고 확신한 것입니다. 이를 활용해 기업가의 자질을 찾는 식입니다.

더 재밌는 것은 생각보다 기업가 자질을 가진 사람이 많지 않다는 점입니다. 갤럽의 조사 결과 1000명 중에 5명꼴로 기업가에 적합한 재능을 가진 젊은이들이 있는 것으로 나타났습니다.

제가 뜬금없이 기업가 이야기를 꺼낸 것은 '기업가를 교육을 통해 길러낼 수 있다' '리더십은 만들어지는 것이다'는 일반적인 통념이 옳지 않다는 것을 지적하기 위한 것입니다. 교육이 문제가 아니라 자질이 문제라는 것입니다. 데이터 분석을 하면 다 나옵니다.

핵심은 기업가가 될 만한 사람이 누구인지 모른다는 점입니다. 스티브 잡스, 빌 게이츠 등 세계적인 기업가들만 봐도 대학을 중퇴했습니다. 명문대 졸업생 가운데 기업가가 있을 확률이 높지 않다는 얘기입니다. '기업가를 만들지 마세요. 찾으세요'라고 말하고 싶군요. 정말 유용한 정보가 아닙니까?"

―기업가가 타고나는 것이라면 경영전문대학원(MBA) 같은 비즈니스 스쿨은 다 필요없다는 뜻인가요?

"MBA가 기업가를 키우는 것은 아니라는 이야기입니다. MBA가 육성하는 것은 '비즈니스 닥터'입니다. 기업 내부의 문제점을 발견하고 이에 대한 처방을 내리고 실행하는 사람을 키운다는 뜻입니다. 이것이 빅 데이터가 인사 담당자에게 줄 수 있는 귀중한 정보입니다."

IBM과 구글, 갤럽의 공통점

짐 클리프턴 갤럽 회장은 "GE처럼 큰 기업들이 규모는 작지만 경쟁력 있는 기업들을 사들였지만, 갤럽은 다르다"며 "갤럽에서 분사한 기업들이 100개가 넘는다"고 강조했다. 그는 "기업의 경영 철학과 다른 생각을 갖고 있는 유능한 조직원에게 창업을 독려하는 것이 갤럽의 문화"라며 "IBM과 구글이 많은 IT 기업을 탄생시킨 것과 비슷하다"고 설명했다.

―조직 안에 기업가가 있다면 어떻게 대처하는 것이 좋을까요? 갤럽이 실제로 어떻게 하고 있는지 궁금합니다.

"분사해야 합니다. 갤럽에서 분사한 기업이 100여개 정도 됩니다. (기자가 놀라는 표정을 짓자) 정말입니다. 당신이 알고 있는 회사도 있습니다. 갤럽의 창립자인 조지 갤럽 박사가 갤럽을 경영하던 시절 갤럽이 광고업에 뛰어들어야 한다고 주장한 직원이 있었습니다. 갤럽 박사는 본인은 여론 조사에만 관심이 있다고 답했습니다. 하지만 그것이 좋은 아이디어라고 생각하고, 그가 창업을 하겠다고 하면 도와주겠다고 말했습니다. 갤럽 박사는 그 젊은이가 자신의 사무실에서 새로운 광고 에이전시를 시작할 수 있도록 도와주었습니다.

그 젊은이의 이름이 바로 데이비드 오길비(Ogilvy)입니다. 세계에서 가장 훌륭한 광고 회사 가운데 하나인, 오길비앤드매더(Ogilvy&Mather)의 설립자인 데이비드 오길비 말입니다. 갤럽 박사가 그로부터 보상을 받은 것은 전혀 없습니다."

―유능한 직원에게 창업을 권하는 것은 경영자 입장에서 어려운 결정 아닌가요.

"기업이 무엇에 집중해야 할지를 안다면 충분히 결단을 내릴 수 있습니다.

오길비앤드매더는 갤럽의 직원들이 구상하고, 이 조직으로부터 성공적으로 잉태시킨 100개 남짓한 기업들 가운데 하나일 뿐입니다. IBM은 마이크로소프트와 인텔을 포함해 수만 개의 훌륭한 기업들을 배양하거나 탄생에 자극제 역할을 했습니다. 오늘날 구글은 스핀아웃(spin-out·기업의 일부 사업부 또는 신규 사업을 분리하여 전문 회사를 만드는 것)을 통해 수백 개 신생 기업을 탄생시키고 있습니다."

―기업의 내부 혁신보다는 쓸만한 기업가의 창업을 돕는 것이 낫다는 이야기인가요.

"중요한 것은 혁신 그 자체로는 매출을 창출할 수 없다는 점입니다. 혁신가와 고객을 연결하는 것은 기업과 이를 경영하는 기업가입니다. 가치와 고객을 마음속으로 그려보고, 매출과 이익을 창출할 전략과 비즈니스 모델을 창조하는 기업가 말입니다. 기존에 있던 조직이 이 같은 비즈니스 모델을 만들 수 없다면, 창업을 권하라는 이야기입니다."