07 – 아이디어는 데이터 속에
"아이디어는 도전받고 시험받은 후에야 위대한 아이디어가 된다."
— 에드 캣멀(Ed Catmull), 픽사(Pixar) 사장
"We believe that ideas only become great when they are challenged and tested."
— Ed Catmull
뉴턴(Newton)이 머리 위로 사과가 떨어졌을 때 중력이라는 물리 법칙을 깨달았다는 이야기처럼, 우연한 기회에 훌륭한 아이디어가 저절로 떠오르는 경우는 거의 없다. 오히려 좋은 아이디어는 평소 오랫동안 반복해온 경험과 분석에서 나온다.
넷플릭스(Netflix)의 다큐멘터리 《셰프의 테이블(Chef's Table)》에 소개된 낸시 실버턴(Nancy Silverton)은 처음 베이커리를 열기 전, 완벽한 바게트를 만들기 위해 반죽과 물의 양, 소금, 온도, 굽는 시간 등 여러 변수를 미세하게 조정하면서 수백 번 실험했다. 그렇게 모은 데이터가 다른 누구도 따라오지 못할 때쯤에야 그녀는 만족했고, 곧 오픈한 라 브레아 베이커리(La Brea Bakery)는 로스앤젤레스뿐 아니라 미국 전역에 유명한 빵집이 되었다.1
내가 게임회사를 운영할 때, 데이터 분석은 새로운 아이디어를 더욱 좋게 만드는 필수 도구였다. 게임 화면에서 버튼의 위치를 바꾸었을 때 매출이 얼마나 증가하는지, 평균 게임 시간을 얼마로 만들어야 사용자가 좀 더 오랜 기간 지속적으로 게임을 하는지, 심지어 지난 2주 동안의 게임 플레이 데이터를 바탕으로 그 유저가 일주일 내에 게임을 그만둘 확률까지 구할 수 있었다. 현재 유저들의 게임 시간을 10% 늘리겠다는 목표를 세울 때, 우리는 그동안 모은 데이터를 바탕으로 정확히 어떤 부분을 바꾸면 게임 시간이 늘어나는지 알고 있었다. 기획 회의를 할 때는 언제나 데이터가 중요한 참고자료가 되었다.
2008년 버락 오바마(Barack Obama)는 단지 희망이나 연설만으로 대통령에 당선된 게 아니다. 그는 데이터로 당선되었다. 옵티마이즐리(Optimizely) 창업자 댄 시로커(Dan Siroker)는 구글(Google)에서 근무하다 오바마 캠프에 합류해 실험 문화를 도입했다. 그의 아이디어는 간단했다. 캠페인 웹사이트 방문자들이 어떤 메시지에 더 강력하게 반응하는지 데이터로 검증하자는 것. 직관이 아닌 실험이었다. 캠프는 후원금 모금 버튼의 문구, 헤드라인, 사진 한 장까지 수십 가지 조합으로 A/B 테스트를 돌렸다. 결국 "Learn More"를 "Join Us Now"로 바꾸자 클릭률이 40% 증가했고, 사진 하나를 바꿨더니 후원금이 수백만 달러 더 모였다. 데이터는 승리를 가져왔다.2 A/B 테스트 방법론의 학술적 토대는 마이크로소프트 실험 플랫폼을 이끈 론 코하비(Ron Kohavi) 등이 2009년 《Data Mining and Knowledge Discovery》에 발표한 표준 가이드에서 정리됐다 — "HiPPO(Highest Paid Person's Opinion)가 아닌 고객이 기능 개발을 이끈다"는 원칙이 그 핵심이다.5
같은 논리가 AI 시대에도 그대로 적용된다. OpenAI가 2022년 11월 공개한 ChatGPT가 다른 대형 언어 모델보다 빠르게 사용자를 끈 이유는 단지 모델 크기 때문이 아니었다. RLHF(Reinforcement Learning from Human Feedback)라는 기술, 즉 사람의 피드백 데이터를 가지고 모델을 반복적으로 조율한 결과였다. 사람들이 어떤 답변을 선호하는지 수십만 건의 비교 데이터를 모으고, 이를 보상 모델로 학습시킨 뒤 다시 언어 모델에 반영하는 과정이었다. ChatGPT의 출시 이후 주요 경쟁 모델(Anthropic Claude, Google Gemini)은 모두 유사한 피드백 기반 학습 파이프라인을 표준으로 채택했다. 사용자 데이터를 어떻게 모으고, 어떻게 제품에 반영하느냐가 경쟁력의 뿌리였다.3
더 가까운 예로 스포티파이(Spotify)의 랩(Wrapped) 기능을 들 수 있다. 이 기능은 매년 12월마다 사용자가 한 해 동안 가장 많이 들은 곡, 아티스트, 장르를 개인화된 시각 자료로 요약해준다. 처음에는 단순한 데이터 인포그래픽 실험이었지만, 사용자들이 이 결과를 인스타그램(Instagram) 스토리와 트위터(Twitter)에 공유하기 시작하면서 매해 12월 소셜 미디어의 문화적 이벤트가 되었다. 2023년 Wrapped 공개 당일 스포티파이는 트위터 트렌드 상위권을 독점했고, 연말 신규 유료 가입자 유입의 큰 동력이 되었다. "모든 사용자의 재생 데이터"라는 지극히 평범한 자원이, 데이터를 잘 정리하고 스토리로 만들 줄 아는 팀의 손에서 전 세계적 마케팅 자산이 된 것이다.4
아이디어는 실험을 마치기 전까지는 아무 가치가 없다. 아이디어란 어느 날 문득 머릿속에 떠올라 냅킨에 그림을 그리고 곧바로 시장에 내다팔 수 있는 것이 아니다. 수십 번, 수백 번 데이터로 실험하고 증명했을 때 비로소 성공의 씨앗이 된다.
지금 당장 데이터 수집부터 시작하라. (고객에게 직접 검증받는 태도는 〈고객에게 검증받아라〉에서, 자신이 놓친 데이터를 지적하는 쓴소리를 듣는 법은 〈듣기 싫은 말〉에서 다뤘다.)
참고 문헌
- Wikipedia contributors. "Nancy Silverton." Wikipedia. La Brea Bakery 창업과 바게트 레시피 실험 과정, 《Chef's Table》 에피소드 소개.
- Dan Siroker. "How Obama Raised $60 Million by Running a Simple Experiment." Optimizely Blog, November 2010. 2008년 대선 캠페인에서 A/B 테스트로 기부금과 참여율을 높인 구체적인 실험 결과.
- Wikipedia contributors. "Reinforcement learning from human feedback." Wikipedia. OpenAI, Anthropic, Google DeepMind의 RLHF 파이프라인과 ChatGPT 등 주요 LLM의 사용자 선호 데이터 기반 튜닝 방식.
- Wikipedia contributors. "Spotify Wrapped." Wikipedia. 2016년부터 시작된 연말 사용자 청취 데이터 요약 기능, 소셜 미디어 공유를 통한 마케팅 효과.
- Ron Kohavi, Roger Longbotham, Dan Sommerfield, Randal M. Henne. "Controlled Experiments on the Web: Survey and Practical Guide." Data Mining and Knowledge Discovery 18(1), 140–181, 2009. A/B 테스트의 학술 표준 가이드 — Microsoft 실험 플랫폼 경험 기반. DOI 10.1007/s10618-008-0114-1.