동전을 던져서 앞면이면 2달러, 뒷면이면 상금을 받지 못하는 게임이 있다. 앞면이 나오면 다시 동전을 던질 수 있고 여기서 또 앞면이 나오면 상금은 두 배(4달러)가 된다. 게임은 뒷면이 나올 때까지 계속된다. 운이 좋아서 세 번 연속 앞면이면 총상금은 2달러+4달러+8달러로 14달러가 된다. 이런 식의 확률게임에서 의사결정할 때 흔히 이용되는 게 기댓값이다. 동전 앞면이 나올 확률은 50%(0.5)이므로 위의 예에서 기댓값은 2달러×0.5+4달러×(0.5)²+8달러×(0.5)³으로 총 3달러다. 확률이 작아지긴 하지만 어쨌든 계속해서 앞면이 나올 수도 있다. 그럴 경우 총상금은 무한대가 된다.

이 게임을 하려면 참가비를 내야 하는데 당신은 얼마를 지급할 의사가 있는가. 확률이 작더라도 총상금이 무한대이므로 참가비로 꽤 큰 금액을 내야 할 것 같다. 하지만 대다수 사람은 8달러가 마지노선이란 반응이다. 참가비보다 많은 상금을 받으려면 세 번 연속 앞면이 나와야 하는데 그 정도 확률에는 베팅할 만하다는 얘기다. 어쨌든 상금의 기댓값이 무한대인 게임의 참가비로 고작 8달러라니 ‘합리적 의사결정’으로 보긴 어렵다.

둘 중 하나를 선택해서 상금을 받는 게임도 있다. 상황A는 무조건 100만달러를 준다. 상황B는 100만달러를 받을 확률이 89%이고 500만달러가 10%, 한푼도 받지 못할 확률이 1%다. 이 경우 대부분은 상황A를 선택한다. 이번엔 상황C(0달러 확률 89%, 100만달러 확률 11%)와 상황D(0달러 확률 90%, 500만달러 확률 10%) 중에서 하나를 골라야 한다. 여기선 많은 사람이 상황D를 택한다. 상황D 선택은 기댓값이 큰 것을 골라야 합리적이란 점에서 타당하다. 그러나 상황A(기댓값 100만달러)는 상황B(기댓값 139만달러)보다 기댓값이 작다. 기댓값을 기준으로 비합리적 의사결정이 나타난 것이다. 이를 가리켜 ‘알레 패러독스’라고 한다.

우리 일상은 수많은 의사결정의 연속이다. 금융 의사결정도 많이 해야 한다. 돈을 모으고 굴리고 빌리고 쓰는 과정에서 선택이 계속된다. 이런 선택에서 합리적 의사결정이 바람직하다는 데 고개를 저을 사람은 많지 않다. 인간은 합리적 의사결정을 한다는 전통 경제학의 가정에 익숙해 있기 때문이다. 그래서 일정 수익을 올리기 위해 위험을 최소화하는 분산 투자 포트폴리오를 이용해야 한다는 말도 옳게 여긴다. 적어도 머리로는 금융 의사결정을 합리적으로 해야 한다는 데 이견이 없다.

문제는 실제 의사결정이다. 투자자는 합리적이지 않다. 많은 경우 자신에게 최대 효용(기댓값)을 주는 대안을 선택하지 않는다. 알레 패러독스와 비슷한 비합리적 의사결정이 잦다. 그래서 워런 버핏의 스승이며 ‘가치투자의 아버지’로 불리는 벤저민 그레이엄은 “투자자의 최고 문제이자 최대 적은 바로 자신”이라고 지적했다. 토머스 쿤은 이상(異常) 현상(anomaly)이 많아져 해당 분야의 지배적 이론을 위협하면 사고 패턴이 변하고 궁극적으로 다른 설명 모델이 등장하는 것을 ‘패러다임 시프트’라고 설명했다. ‘합리적 의사결정’을 당연시하는 전통 재무이론을 뛰어넘는 행동재무학이 등장한 것도 패러다임 시프트로 보는 시각이 많다.
행동재무학은 인간의 합리성에 한계가 있음을 인정한다. 비합리적 심리 과정으로 인한 잘못된 행동이 많이 나타난다는 것이다. 그래서 비합리적 의사결정과 행동을 일으키는 요인에 관심을 둬야 한다고 주장한다. 예를 들어 △자신에게 유리한 행동인데도 그 행동을 하지 않거나 미루고 △주식 계좌에서는 거래를 과도하게 자주 하면서 확정기여(DC)형 퇴직연금 계좌는 아예 방치하는 이중성을 보이고 △초기 자산배분에 고정돼 경제환경이 변해도 자산배분을 바꾸지 않는 등 다양한 비합리적 의사결정을 설명하려 한다.

행동재무학의 지적처럼, 우리는 금융 의사결정에서 머리로는 합리적이어야 한다면서도 실제로는 비합리적이기 쉽다. 이런 상황조차 모르고 지내는 사람이 많다. 설령 알더라도 매번 합리적 의사결정을 하기는 어렵다. 그래도 비합리적 의사결정이 흔하게 이뤄지는 이유에 관심을 가질 만한 가치는 충분하다.

longrun@hankyung.com