인공지능(AI)이 양자컴퓨터보다 먼저 인터넷 암호를 위협할 수 있다는 경고가 나왔다. AI가 오랫동안 풀리지 않던 수학 문제에서 성과를 내 은행 거래와 이메일, 가상자산 등을 지키는 암호도 예상보다 일찍 무력화될 수 있다는 것이다.

지난 7일 월스트리트저널(WSJ)에 따르면 양자컴퓨터가 실용화하기 전에 일부 암호를 AI로 풀어낼 수 있다는 우려가 보안업계에서 커지고 있다. ‘공개키 암호’가 대표적이다. 이 암호는 한 방향으로 계산하기 쉽지만 거꾸로 풀기는 어려운 수학 문제를 이용한다. 큰 소수 두 개를 곱하기는 쉽지만 그 결과만 보고 원래 두 소수를 찾아내려면 상당한 노력이 필요한 것을 이용했다.

미국 존스홉킨스대 암호학자 매슈 그린은 AI 기술 발달로 공개키 암호 보안의 전제가 흔들리고 있다고 지적했다. 당장 ‘특정 계산 문제에는 빠른 풀이법이 존재하지 않는다’는 지수시간가설(ETH)에 도전하는 연구 결과가 AI를 통해 도출되고 있다. 암호 토대가 되는 수학 문제에서도 비슷한 돌파구가 나오면 해독에 필요한 계산량이 크게 줄어들 수 있다는 게 그린의 우려다.

이더리움 창시자 비탈릭 부테린도 지난 2일 인도 뭄바이에서 열린 이더리움재단 연례 콘퍼런스에서 AI 위협까지 고려한 ‘포스트 AI 암호’가 필요하다고 주장했다. 지난달에는 X(옛 트위터)에 “AI가 찾아낸 해법에 취약할 수 있는 암호는 사용을 줄여야 한다”고 경고했다.

다만 널리 쓰이는 암호 알고리즘이 AI로 무력화됐다는 증거는 아직 없다. 미국 가상자산거래소 코인베이스의 암호학 책임자 예후다 린델은 “AI의 수학적 성과만으로 인터넷 보안이 무너질 것이라고 보는 건 성급하다”고 지적했다. 수십 년간 쌓인 연구에 비춰 일부 난제를 획기적으로 빨리 풀 방법이 나올 가능성은 작다는 판단에서다.

린델은 오히려 AI가 더 안전한 암호를 만드는 데 쓰일 수 있다고 봤다. 취약점에 따라 암호키를 길게 해 해독에 필요한 계산량을 늘리는 방법도 있다고 설명했다. 암호화에 시간이 더 걸리더라도 인터넷 서비스를 운영하지 못할 정도는 아니라는 주장이다.

오세성 기자 sesung@hankyung.com