“xⁿ+yⁿ=zⁿ n이 3 이상의 정수일 때, 이 방정식을 만족하는 정수해 x, y, z는 존재하지 않는다. 나는 경이적인 방법으로 이 정리를 증명했다. 그러나 책의 여백이 너무 좁아 여기에 옮기지는 않겠다.”

350년 넘게 전 세계의 수학자들을 실의와 도탄에 빠뜨렸던 것으로 악명 높은 ‘페르마의 마지막 정리’다. 직각삼각형에서 직각을 낀 두 변(x, y)의 길이를 각각 제곱해 더하면 빗변(z) 길이의 제곱과 같다(x²+y²=z²)는 ‘피타고라스의 정리’를 확장한 방정식이다.

○350년 동안 풀리지 않은 수수께끼

1637년 프랑스의 공무원이면서 아마추어 수학자였던 피에르 드 페르마(1601~1665)는 당시 보급됐던 일종의 수학 문제집 ‘아리스메티카’의 여백에 이와 같은 말을 적어놓았다. 페르마가 세상을 떠난 뒤 그의 아들은 페르마가 남긴 주석을 정리해 아리스메티카를 재출판했다.

책에는 다양한 수수께끼들이 적혀 있었다. 시간이 흐르면서 모든 수수께끼가 풀렸지만 단 하나 ‘마지막 정리’만큼은 아무도 증명한 사람이 없었다. 레온하르트 오일러, 에른스트 쿰머 등 당대의 수학자들이 증명에 뛰어들었지만 모두 실패했다. 독일의 수학자 파울 볼프스켈은 마지막 정리를 증명한 사람에게 자신의 재산 10만마르크를 기부한다고 밝히기도 했다. 그의 유지에 따라 1908년 괴팅겐 왕립과학원은 ‘볼프스켈상’을 만들었다. 이 상의 유효기한은 2007년 9월13일이었다.

페르마의 마지막 정리는 난공불락의 성이었지만 그 자체로 수학이 발전하는 데 지대한 공을 세웠다. 이 문제를 풀기 위해 수많은 학자들이 새로운 이론과 계산 방법 등을 고안해냈기 때문이다.

수수께끼가 풀린 것은 1994년이다. 영국 출신 수학자 앤드루 와일즈가 주인공이었다. 프린스턴대 교수였던 그는 초등학교 시절 우연히 접했던 페르마의 마지막 정리를 보고 이것을 풀겠다는 평생의 목표를 정했다고 한다. 1986년부터 외부와의 접촉을 끊고 7년 동안 연구에만 매진했다. 1993년 문제를 풀었다고 생각한 그는 영국 케임브리지대 강연회에 나서 결과를 발표해 학계에 파장을 일으켰다. 이후 논문을 검증하는 과정에서 치명적 오류가 발견돼 1년 동안 수정 작업을 거쳤다. 1994년 10월 최종적으로 수정된 논문을 공개했다. 1997년 6월, 와일즈가 볼프스켈상과 함께 5만달러의 상금을 받는 것으로 페르마의 마지막 정리에 얽힌 이야기는 끝을 맺었다.

○컴퓨터가 증명을 대신하는 시대

페르마는 ‘책의 여백이 너무 좁아’ 증명을 쓰지 못했다고 했다. 실제로 와일즈의 논문은 100페이지를 훌쩍 넘으니 페르마의 변명도 틀린 말은 아니다. 와일즈가 페르마와 사투를 벌이는 동안 사용했던 도구는 펜과 종이뿐이었다. 수학적 논리를 하나씩 쌓아올리는 작업이기 때문에 별다른 도구를 필요로 하지 않았던 것이다. 그동안 대다수 수학적 증명은 이런 방법으로 이뤄졌다.

하지만 이 같은 풍토도 바뀌고 있다. 1852년 영국의 아마추어 수학자 프랜시스 구트리에는 영국 지도를 색칠하다 한 가지 물음을 갖게 된다. 임의의 구획으로 나뉜 지도를 색칠할 때 인접한 구획을 같은 색으로 칠하지 않으려면 최소한 몇 가지의 색이 필요한가라는 의문이었다. 네 가지 색이면 충분한 것처럼 보였지만 모든 지도에 적용이 가능한지 증명은 해낼 수 없었다. ‘4색 문제’라고 불린 이 문제도 오랜 기간 수수께끼로 남아 있었다. 100년이 넘는 시간이 걸린 이 문제를 해결한 것은 컴퓨터였다. 1976년 미국 일리노이대 볼프강 하켄과 케네스 아펠은 ‘네 가지 색으로 무한히 많은 지도들을 칠할 수 있다는 것을 증명하려면 1482종의 지도만 검증하면 된다’는 결과를 얻어냈다. 이들은 컴퓨터를 1200시간 동안 작동시켜 1482종의 지도를 네 가지 색으로 칠할 수 있다는 사실을 증명해냈다.

수학계는 이 사건을 두고 “컴퓨터를 제외한 그 누구도 이 증명을 검증할 수 없다”며 불안감을 표시했다. 이후 수많은 증명이 컴퓨터로 이뤄지고 있는 상황이다. 수학자 로널드 그레이엄은 “컴퓨터에 리만의 가설이 맞는지 물어봤는데 컴퓨터가 ‘네, 맞습니다. 그런데 그 이유를 설명한다 해도 당신은 이해하지 못할 겁니다’라고 대답했다면 이 얼마나 황당하고 기죽는 일이겠는가”란 말을 남기기도 했다.

이승우 기자 leeswoo@hankyung.com