보고서를 쓰면서 '이 숫자가 맞긴 하는데, 굳이 저 숫자도 넣어야 할까?' 하고 망설인 적이 있으신가요? 저는 있습니다. 모바일 앱 출시 직후, 데이터는 분명 이탈이라고 말하고 있었는데 저는 다른 숫자를 골라 보고서를 썼습니다. 크리스토퍼 놀란의 영화 메멘토를 다시 보다가 그때 제 모습이 그대로 겹쳐 보여서 불편했습니다.
인지 편향이 만든 '가짜 데이터베이스'
메멘토의 주인공 레너드는 단기 기억상실증(Anterograde Amnesia)을 앓고 있습니다. 단기 기억상실증이란 새로운 기억을 뇌에 저장하지 못하는 상태로, 쉽게 말해 몇 분 전 일도 기억하지 못하는 증상입니다. 그래서 레너드는 폴라로이드 사진, 메모, 문신이라는 3단계 기록 시스템을 직접 설계합니다.
얼핏 보면 굉장히 견고한 아키텍처입니다. 원천 데이터(Raw Data)가 사라지지 않도록 다중 저장 레이어를 구축한 셈이니까요. 원천 데이터란 어떤 가공도 거치지 않은 최초의 기록 그 자체를 뜻합니다. 그런데 영화가 진행될수록 이 시스템이 사실은 완전히 뚫려 있다는 게 드러납니다. 레너드가 불리한 사진을 직접 불태우고, 테디의 사진 뒷면에 "그의 거짓말을 믿지 마라"라고 적어두는 장면이 대표적입니다. 입력 단계에서 이미 인간의 감정이 개입했으니, 시스템이 아무리 정밀해도 출력값은 처음부터 오염된 셈입니다.
제가 직접 경험한 상황도 이것과 구조가 같았습니다. 당시 저는 대시보드에 찍힌 로그 데이터를 보면서 이탈률이 비정상적으로 높다는 신호를 확인했습니다. 그런데 일시적으로 반등한 신규 가입자 수와 특정 페이지의 체류 시간만 골라 보고서에 올렸습니다. 확증 편향(Confirmation Bias)이 작동한 것입니다. 확증 편향이란 자신이 믿고 싶은 가설을 지지하는 정보만 선택적으로 받아들이고, 반증하는 정보는 무의식적으로 걸러내는 인지적 오류입니다. 레너드가 사진을 태운 것처럼, 저는 불편한 숫자를 보고서 밖으로 밀어낸 것입니다.
인지심리학 연구에 따르면 인간은 의사결정 상황에서 자신에게 유리한 정보를 평균 40% 더 많이 회상하고, 불리한 정보는 더 빨리 망각하는 경향이 있습니다(출처: 미국심리학회(APA)). 데이터가 거짓말을 하는 게 아니라, 데이터를 보는 사람이 거짓말을 하는 구조입니다.
레너드의 기록 시스템이 무너진 핵심 이유를 정리하면 다음과 같습니다.
- 입력 단계에서 감정적 동기가 개입해 불리한 원천 데이터를 삭제하거나 은폐함
- 메모와 사진이라는 외부 저장 장치를 신뢰하지만, 작성 주체가 편향된 인간이므로 신뢰성이 이미 훼손됨
- 가슴 문신을 비워두는 방식으로 복수의 종결을 스스로 회피하고, 왜곡된 루프를 의도적으로 유지함
자기 합리화가 시스템을 어떻게 망가뜨리는가
영화에서 레너드가 반복하는 세미 젠키스의 이야기는 사실 자기 자신의 이야기입니다. 당뇨병 환자였던 아내에게 인슐린을 과잉 투여해 사망에 이르게 한 책임이 자신에게 있다는 진실을 감당하지 못하고, 가상의 범인 '존 G'를 만들어 복수의 대상으로 삼습니다. 이를 프로이트 심리학에서는 투사(Projection)라고 부릅니다. 투사란 자신이 받아들이기 어려운 감정이나 욕구를 타인에게 귀속시키는 방어 기제입니다. 레너드는 이 방어 기제를 유지하기 위해 자신의 기록 시스템 전체를 도구화합니다.
솔직히 이건 제가 보고서를 잘못 썼을 때의 심리와 본질적으로 다르지 않다고 생각합니다. 캠페인이 실패했다는 사실을 받아들이면 기획 단계의 판단이 틀렸다는 걸 인정해야 하는데, 그걸 피하고 싶어서 긍정 지표들을 끌어모아 '아직 성장 중'이라는 내러티브를 만들었습니다. 레너드가 테디를 범인으로 설정했던 것처럼, 저는 숫자를 범인으로 만들지 않으려고 숫자를 골라냈습니다.
놀란 감독은 이 심리 구조를 서사 형식 자체에 녹여냈습니다. 컬러 장면은 시간 역순으로, 흑백 장면은 시간 순으로 교차 편집되는 구조입니다. 이를 비선형 서사(Non-linear Narrative)라고 부릅니다. 비선형 서사란 사건이 발생한 시간 순서를 따르지 않고 장면을 재배열하여 관객이 인물과 동일한 인지적 혼란을 경험하게 하는 연출 방식입니다. 관객이 레너드처럼 '지금 내가 무엇을 믿어야 하는가'를 계속 의심하게 되는 것은 이 구조 때문입니다.
제 경험상 이 문제가 가장 심각하게 발생하는 시점은 프로젝트 중반부입니다. 초반에는 긴장감이 있어서 숫자를 꼼꼼히 보는데, 중반쯤 되면 '이 정도면 됐겠지'라는 안주 심리가 생기고, 바로 그때 확증 편향이 가장 크게 작동합니다. 마케팅 성과 분석에서도 KPI(핵심성과지표)를 사전에 고정해두지 않으면, 결과가 나온 후에 유리한 지표를 KPI로 소급 지정하는 이른바 '사후 합리화 지표 선정' 오류가 발생합니다. KPI란 목표 달성 여부를 측정하기 위해 사전에 합의된 정량 지표로, 이것이 사전에 고정되지 않으면 데이터 해석 자체가 담당자의 의도에 따라 얼마든지 달라질 수 있습니다.
실제로 데이터 분석의 신뢰성을 높이기 위한 방법으로 교차 검증(Cross-validation)이 권장됩니다. 교차 검증이란 하나의 데이터셋을 여러 부분으로 나눠 분석 결과의 일관성을 상호 확인하는 방법으로, 단일 분석가의 해석에 의존하는 오류를 줄이는 데 유효합니다. 데이터 리터러시 교육 관련 연구에 따르면 분석 과정에 2인 이상의 독립적 검토자를 두는 것만으로도 해석 편향이 유의미하게 감소하는 것으로 나타났습니다(출처: 하버드 비즈니스 리뷰(HBR)).
메멘토는 기억의 비극이 아닙니다. 기억하지 못해서가 아니라, 기억하기 싫어서 시스템을 조작한 인간의 이야기입니다.
저는 그 이후로 보고서를 쓸 때 한 가지 습관을 만들었습니다. 결론을 먼저 쓰지 않고, 원천 데이터를 동료 한 명과 함께 보는 것입니다. 혼자 보면 어느새 보고 싶은 것만 보게 됩니다. 메멘토를 보신다면 레너드를 불쌍히 여기기 전에, 지난달 내가 올린 보고서를 한 번 다시 꺼내보시길 권합니다. 불태운 사진이 없는지 확인해 보는 것, 그게 시작입니다.