"이미 정했는데 뭘 바꿔"…'몬티홀의 딜레마' 몰라서 하는 실수 [하태헌의 법정 밖 이야기]

3개 선택지 중 1개 선택 후 바꿀 기회 주어진다면
다수 안 바꿔…확률상으론 바꾸는 게 유리한 선택
소송·투자서도 변수 민감히 반영해 전략 수정해야

한경 로앤비즈의 'Law Street' 칼럼은 기업과 개인에게 실용적인 법률 지식을 제공합니다. 전문 변호사들이 조세, 상속, 노동, 공정거래, M&A, 금융 등 다양한 분야의 법률 이슈를 다루며, 주요 판결 분석도 제공합니다.

자료=위키백과

미국 매사추세츠공대(MIT) 수재들이 카드카운팅(블랙잭에서 확률과 통계에 기반해 나올 카드를 예측하는 베팅 전략)으로 카지노를 공략한 실화 바탕 영화 '21'에는 한 MIT 교수가 주인공의 재능을 확인할 목적으로 까다로운 확률 문제를 내는 장면이 나온다. 세 개의 문 중 하나에 최고급 자동차를, 나머지 두 개엔 염소를 두고 하나의 문을 열면 그 뒤에 있는 것을 상품으로 주는 게임이 있다고 하자. 그런데 자동차가 있는 문을 선택한 참가자에게 게임 진행자는 염소가 있는 2개의 문 중 하나를 열어주며 선택을 바꿀 기회를 준다. 이 경우 선택을 바꾸는 게 유리할까. 21의 주인공이 이 문제를 정확히 맞히자 교수는 그를 바로 도박팀에 합류시킨다.

확률의 세계, 직관과는 달라

이 문제는 <Let's Make a Deal>이란 이름의 미국 오락 프로그램에서 나온 것으로, 진행자의 이름을 따 '몬티홀 문제'라 불린다. 실제 방송에서 대다수 참가자는 자신의 선택을 바꾸지 않았다. 처음에 어떤 문을 선택했든지 간에 진행자가 이미 문 하나를 열고 난 이후 남은 문은 두 개뿐이므로 그중 자동차가 있을 확률은 모두 1/2에 불과하단 생각 때문이었다. 직관적으로 볼 때 매우 그럴듯하고, 정답에 관해 전국적으로 펼쳐진 논쟁에서도 이런 의견이 지배적이었다.

그런데 과연 그럴까. 확률의 세계는 우리에게 친숙한 직관의 세계와는 매우 다르다. 확률에서 절대적 명제는 '가능한 모든 경우의 확률을 합치면 반드시 1이 돼야 한다'는 점이다. 출연자가 만약 1번 문을 선택했다면 그 문에 자동차가 있을 확률은 1/3이다. 하지만 이때 진행자가 3번 문을 열었는데 거기에 염소가 있다면, 3번 문을 제외하고 1번과 2번 문의 확률을 합하면 반드시 1이 돼야 하므로 2번 문에 자동차가 있을 확률은 1번 문의 확률을 제외한 2/3가 된다. 2, 3번 문의 확률을 합한 2/3가 3번 문을 제외함에 따라 2번 문으로 압축됐다고 볼 수도 있다. 설명이 어떻든 2번으로 선택을 바꾸는 게 문을 열고 자동차를 마주할 확률을 2배로 높이는 선택이 된다.

이 논리를 이해하기 위해선 다음 전제를 반드시 고려해야 한다. 어떤 문 뒤에 고급차가 있는지, 그리고 출연자가 어떤 문을 선택했는지 진행자는 이미 알고 있는 상황에서 남은 문 중 염소가 있는 문을 연다는 점이다. 즉 진행자의 의도가 개입돼 염소가 있는 문 하나가 제외됐으니 전제부터 달라지고, 확률 구조 또한 변경되는 셈이다.

영화 <21> 포스터.

직관적으로는 잘 이해가 되지 않을 수 있다. 실제로 평소 직감을 믿는 성향이 강한 사람은 기존 선택을 고수하고, 데이터나 수치를 중시하는 사람은 선택을 바꾸는 비율이 훨씬 높았다고 한다. 행동경제학에선 이를 '손실 회피' 성향으로 설명한다. 사람은 본능적으로 이익보다는 손실에 더 민감해서 첫 선택이 틀렸을 때 느끼는 실망감보다 바꾼 선택이 틀렸을 때의 후회를 더욱 크게 체감하기 때문에 처음 선택을 고수하는 경향이 크다는 것이다. 심리학에서 말하는 인지부조화 이론에 의하더라도 사람은 일단 뭔가 선택하면 그 후 자신의 선택이 옳았다는 방향으로 인지를 강화하게 되므로 이를 쉽사리 변경하지 못하는 경향이 있다.

하지만 몬티홀 문제에선 문이 3개가 아니라 100개고, 참가자가 1개의 문을 선택했는데 진행자가 나머지 98개의 문을 열어 하나의 문만 남은 경우를 생각하면 답이 쉬워진다. 이처럼 확률은 고정된 숫자가 아니라, 정보에 따라 갱신되는 값이다.

예상 못한 변수, 적극 고려해야

몬티홀 문제는 단순한 확률 게임에만 그치지 않고 의사결정의 본질을 드러낸다. 경영대학원(MBA) 과정에서 종종 인용되는 이유가 여기에 있다. 신규 시장에 진입하는 기업은 신중히 전략을 세우고, 그 전략을 토대로 대규모 투자, 인력 배치 등을 실행에 옮기지만, 진입 이후 경쟁사의 움직임, 시장과 기술의 변화, 소비자 반응이라는 새로운 정보와 변수가 끊임없이 추가된다. 이미 수립된 전략에 상당한 비용이 투입됐다는 등 이유로 기존 전략을 고수하겠다는 판단은 종종 매몰 비용의 오류로 이어진다. 처음에 짠 전략을 고수하는 것은 일종의 결단력으로 보일 수 있지만, 전제와 함께 확률이 달라졌단 사실을 외면하는 것과도 같다.

변호사 업무도 다르지 않다. 처음 의뢰인을 만나 사건에 대한 설명을 듣고, 관련 자료를 살펴보며 최선의 소송 전략을 세웠다고 생각할 것이다. 하지만 소송은 살아 있는 유기체와 같아서 상대방이 펼치는 예상 밖의 주장이나 새로운 증거·진술, 재판부의 반응 등에 따라 기본 전제와 확률 구조가 근본적으로 달라지는 경우가 많다. 그렇다면 전략의 대폭 수정을 고려해야 한다. 일관된 주장이나 집요하게 밀어붙이는 뚝심도 물론 중요하다. 하지만 상황 변화에 따라 승소 확률도 변했다면 그 확률이 조금이라도 높은 쪽으로 전략을 틀어야 한다. 이는 실패의 인정이나 변덕이 아니라 통계와 확률을 존중하는 현명한 선택이다.

진정한 결단력은 한 번 고른 길을 끝까지 밀어붙이는 고집이 아니라 상황 변화에 따라 확률을 업데이트하며 스스로의 판단을 수정할 수 있는 용기다. 몬티홀의 교훈은 바로 여기에 있다.
재판이든 경영이든, 우리 일상은 늘 3개의 문 앞에 서 있는 것과 다르지 않다. 중요한 것은 내가 처음 선택한 문이 아니라 다른 문 하나가 열렸을 때 그 정보를 어떻게 해석하고 행동으로 옮길 것인가에 있다. 확률은 고정된 운명이 아니라 새로운 정보에 따라 끊임없이 수정되는 값이다. 익숙한 직관을 넘어 변화된 값을 냉정하게 받아들이는 사람만이 더 높은 가능성의 문을 열 수 있다. 고집은 용기가 아니며, 수정은 패배가 아니다. 변화한 전제 위에서 다시 계산하는 태도, 그것이야말로 합리성과 전문성의 출발점이다.