05 – 설문조사

"숟가락을 휘려고 하지 마. 그건 불가능하니까. 대신 진실을 이해하도록 노력해."

— 영화 《매트릭스》 중에서

"Do not try and bend the spoon. That's impossible. Instead… only try to realize the truth."

— The Matrix (1999)

나는 설문조사를 신뢰하지 않는다. 대부분의 설문조사는 편향된 데이터를 보여줄 뿐이다. 편향된 데이터는 잘못된 의사결정으로 이어진다.

별점의 함정 — U자 분포의 거짓말

인기 있는 앱의 앱스토어 별점 그래프를 보면, 최고점인 별 5개를 준 사람과 최저점인 별 1개를 준 사람이 가장 많다. 이것만 보면 이 앱을 사용하는 유저들은 크게 두 부류로 나뉜다. 아주 만족하는 그룹과 아주 싫어하는 그룹. 제품기획자는 이 두 그룹의 피드백을 토대로 다음 버전을 개발한다.

그림 1 — 극단을 경험한 소수만 별점을 남긴다. 목소리 큰 양극단이 모여 U자 또는 J자 곡선이 된다.

하지만 현실은 그렇지 않다. 현실에서는 별 3개 정도를 주는 유저들이 가장 많다. 현실 세계에서 이 앱을 사용하는 모든 유저들에게 별점을 물어본다면 다음 페이지의 정규분포 곡선을 그릴 것이다.

이렇게 된 이유는 보통의 사람들은 말이 없기 때문이다. (별점 주는 데 관심이 없다.) 이 앱을 정말 사랑하거나, 아니면 분노가 치민 유저들만이 별점 주는 데 관심이 있다. 이를 업계에서는 '자기 선택 편향(self-selection bias)'이라 부른다.¹

그림 2 — 모든 유저를 상상해 보면 분포는 별 3–4 근처에 몰린 정규분포에 가깝다. U자는 환상이다.

만약 별점 그래프를 보고 별점 5개나 1개를 준 유저만 고려해서 제품을 기획한다면, 실제 이 앱을 사용하는 대다수의 유저들(별점 2~4개를 주었을 유저들)을 놓치게 된다. 피드백을 주지 않는 대다수의 중간 유저들을 고려하지 않으면 금방 유저 이탈이 일어나는 것을 보게 될 것이다. 제품기획자는 유저들의 피드백을 충분히 반영해서 앱을 만들었는데 왜 유저 이탈은 점점 더 심해지는지 의아하게 생각한다.

그래서 설문조사가 아니라 데이터를 바탕으로 한 사용자들의 행동 패턴을 연구해야 한다.

실제로 만족하는 유저들은 대부분 자발적으로 리뷰를 쓰러 오지 않는다. 1년 동안 앱을 만족하며 쓰던 유저도 불편한 점 하나에 1점짜리 리뷰를 남기러 온다. 이게 현실이다.

에어비앤비가 배운 교훈

에어비앤비(Airbnb)가 초기에 배운 교훈도 이와 같다. 사용자 리뷰는 좋았지만 예약률은 저조했다. 리뷰보다 실제 클릭과 이탈 지점을 분석하자, 문제는 사진 품질과 설명의 불친절함이었다. 창업자 브라이언 체스키(Brian Chesky)와 조 게비아(Joe Gebbia)는 직접 뉴욕의 호스트들을 찾아가 전문가 카메라로 사진을 다시 찍고, 리스팅 설명을 매뉴얼화했다. 그 뒤로 예약률이 폭발적으로 올라갔다.² 이것이 '행동 기반 피드백'의 위력이다.

소리 없는 다수의 행동이 진실이다. 설문조사 말고 실제 사용 데이터를 추적하라. 그들이 어떤 기능을 가장 많이 쓰는지, 어디서 이탈하는지, 언제 재방문하는지 보라. 극단적 피드백에 휘둘리지 말고 침묵하는 다수를 읽어내는 창업가가 되어야 한다.

노트

행동 데이터 분석의 세 가지 축

• A/B 테스트 — 두 가지 서로 다른 모양이나 기능을 다수의 사용자에게 보여주고 더 좋은 결과를 얻는 안을 채택하는 기법. 앱 아이콘 색상, 버튼 위치, 상품 설명 문구, 결제 방법까지 범용으로 쓰인다. 어제보다 1%만 개선해도 1년 후면 37배가 넘는 성장으로 누적된다. Kohavi 등의 Data Mining and Knowledge Discovery 연구에서 Microsoft 실험 플랫폼 기반 표준 설계가 정리되어 있다.^{3, 4}
• 퍼널 분석(funnel analysis) — 첫 방문부터 충성 고객 전환까지 각 단계별 이탈률을 측정하는 기법. 예: 쇼핑몰의 방문 → 회원가입 → 상품 탐색 → 장바구니 → 결제 → 재구매. 단계마다 10%씩만 개선해도 7단계 후에는 매출이 약 두 배로 늘어난다. 퍼널은 서비스별로 여러 개를 동시에 설계해야 한다.
• 잔존율 분석(retention analysis) — 얼마나 자주, 얼마나 오래 제품을 사용하는지 보는 기법. 지난달에 왔던 고객이 이번 달에 다시 오는 비율, 첫 사용 후 N일 뒤 재방문 확률 등. 고객생애가치(LTV, Life Time Value) 예측의 기초가 된다.

침묵하는 다수를 읽어라

설문조사의 한계를 이해하는 창업가는 '무엇을 물을까'보다 '무엇을 관찰할까'를 고민한다. 목소리 큰 소수의 만족·불만 대신, 말 없는 다수가 실제로 어디를 클릭하고 어디서 떠나는지를 본다. (숫자 구간을 다시 설계해 숨은 패턴을 읽는 법은 5장 〈12세기 수학자가 알려준 고객의 비밀〉에서, 고객에게 '무엇을' 검증할지는 2장 〈고객에게 검증받아라〉에서 이어진다.)

참고 문헌

1. Wikipedia contributors. "Selection bias." Wikipedia. 특정 모집단에서 표본이 비대표적으로 추출되어 발생하는 통계적 편향. 자기 선택 편향(self-selection bias)이 대표적 하위 유형.
2. Wikipedia contributors. "Airbnb." Wikipedia. 브라이언 체스키와 조 게비아의 초기 뉴욕 호스트 방문, 전문가 카메라 사진 촬영, 리스팅 매뉴얼화 — 이후 예약률 급상승의 계기.
3. Wikipedia contributors. "A/B testing." Wikipedia. 통제 실험의 웹/제품 버전. 표본 분할, 가설 설정, 통계적 유의성 검증의 기본 구조.
4. Ron Kohavi, Roger Longbotham, Dan Sommerfield, Randal M. Henne. "Controlled Experiments on the Web: Survey and Practical Guide." Data Mining and Knowledge Discovery 18(1), 140–181, 2009. A/B 테스트의 학술 표준 가이드 — Microsoft 실험 플랫폼 경험 기반. DOI 10.1007/s10618-008-0114-1.