사진=REUTERS
사진=REUTERS
인공지능(AI)이 인간의 통제를 벗어나거나 악의적으로 이용돼 인류를 위협할 수 있다는 경고가 AI 연구자들 사이에서 다시 커지고 있다. AI가 스스로 판단하고 행동하는 능력이 빠르게 향상되면서 통제 상실 위험이 먼 미래의 가정이 아니라 당장 풀어야 할 기술 과제로 떠올랐다는 우려다.

10일(현지시간) 월스트리트저널(WSJ)에 따르면 앤트로픽 연구원 제이컵 콕슨은 이번주 회사를 그만두면서 앤트로픽과 경쟁사 오픈AI가 “2030년 전에 우리 모두를 죽일 수도 있는 기술”을 만들려고 경쟁하고 있다고 주장했다. 앤트로픽에서 미래 AI 시스템을 통제하는 연구를 이끄는 에번 허빙어도 곧이어 “우리는 AI가 모든 인간을 죽일 수 있다고 믿는다”며 향후 10년 안에 AI로 인류가 멸종할 확률을 10% 이상으로 추산했다.

이른바 AI ‘파국론자’가 제시하는 위험은 크게 두 가지다. 첫 번째는 스스로 복제하고 성능을 높일 수 있는 고지능 AI가 독자적인 목표를 좇다가 인류에 치명적인 결과를 가져오는 상황이다. 두 번째는 사람이 AI를 이용해 신종 바이러스 같은 대량살상 수단을 개발하는 경우다.

연구진, 고지능 AI의 오판·사람의 악용 가능성 우려

연구자들이 특히 경계하는 것은 AI의 목표가 인간의 의도와 어긋나는 ‘미스얼라인먼트’다. 일부 AI 모델은 실험 과정에서 더 많은 권한을 확보하려 하거나 작동 중단을 피하기 위해 다른 서버에 자신을 복제하려는 행동을 보인 것으로 전해졌다. 이런 성향이 극단으로 치달으면 AI가 자신의 목표를 이루기 위해 인간을 제거 대상으로 판단할 수 있다는 것이 연구자들의 우려다.

‘종이클립 사고실험’은 이 위험을 설명하는 대표적인 사례다. 초지능 AI에 종이클립 생산을 극대화하라는 목표를 주면 AI가 이를 달성하기 위해 인간을 포함한 지구상의 모든 물질을 종이클립으로 바꾸려 할 수 있다는 가정이다. AI가 인간을 미워해서가 아니라 주어진 목표를 지나치게 충실히 수행한 결과 인류가 사라질 수 있다는 뜻이다.

오픈AI와 앤트로픽도 이런 위험을 인식하고 있다. 두 회사 모두 AI가 일으킬 재앙을 막으면서 기술을 개발한다는 목표로 출발했고 관련 연구자를 대거 채용했다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 지난해 한 행사에서 “상황이 정말, 정말 나쁘게 흘러갈 가능성은 25%”라고 했다.

AI가 사람을 공격하지 않더라도 통제력을 잃는 것 자체가 심각한 위험이라는 주장도 나온다. 인간이 의사결정을 AI에 계속 넘기다 보면 자신의 미래를 결정하거나 이해할 능력까지 잃을 수 있다는 것이다. 일부 연구자는 AI가 미래의 인간을 오늘날 인간이 동물을 대하듯 애완동물처럼 다루거나 생명공학을 이용해 인간을 전혀 다른 존재로 바꿀 가능성도 제기한다.

초지능 AI 통제할 방법은 '아직'…'과장된 위험' 주장도

이런 논의가 다시 주목받는 것은 사람의 지시를 일일이 받지 않고 행동하는 AI가 등장하면서다. 오픈AI의 고급 AI 에이전트는 사이버보안 실험에서 AI 플랫폼 허깅페이스에 침입해 서버 통제권을 확보하고 자신의 흔적을 감추려 했다. 앤트로픽의 AI 에이전트도 영국 정부의 시험 환경을 벗어나 실제 사람을 속여 악성 코드 사용 승인을 받으려 한 것으로 전해졌다.

앤트로픽과 오픈AI는 사람의 도움 없이 AI가 스스로 성능을 높이는 ‘재귀적 자기개선’이 가능한 시스템 개발에도 가까워지고 있다고 밝혔다. 현재 AI 안전 연구는 모델이 인간의 의도대로 행동하도록 훈련하고, 과제를 수행할 때 어떤 판단 과정을 거치는지 살피는 데 초점을 맞춘다. 그러나 AI의 능력이 향상될수록 인간이 그 내부의 판단 과정을 이해하기 어려워질 수 있다는 우려가 나온다.

앤트로픽과 오픈AI는 초지능 AI를 인간의 의도에 맞게 통제하는 방법을 연구하고 있지만 아직 믿을 만한 해법을 찾지 못했다고 인정한다. 그런데도 두 회사는 위험을 관리하면서 AI가 가져올 혜택을 누릴 수 있다는 판단에 개발을 이어가고 있다. 초지능 AI의 등장을 막기 어렵다는 판단도 깔려 있다. 이에 일부 기업과 전문가들은 AI 연구소와 각국 정부가 강력한 모델의 개발 속도를 함께 늦추고 안전성을 연구할 시간을 벌어야 한다고 주장한다.

AI 멸종론이 지나치게 과장됐다는 반론도 만만치 않다. 트럼프 대통령의 비공식 고문인 AI 투자자 데이비드 색스는 앤트로픽이 AI 위험을 강조하며 규제를 요구하는 것은 규제로 소규모 경쟁사의 진입을 막으려는 ‘규제 포획’ 전략이라고 비판했다.

오세성 기자 sesung@hankyung.com