사진=REUTERS
사진=REUTERS
AI 스타트업 앤트로픽의 제이컵 콕슨 연구원이 초지능 개발 경쟁이 인류를 파괴할 수 있다고 경고하며 회사를 떠났다. 안전을 핵심 정체성으로 내세운 앤트로픽이 최대 1조달러 가치의 기업공개(IPO)를 준비하는 시점에 내부 연구진의 위험 경고가 공개됐다는 점에서 주목된다.

10일 파이낸셜타임스(FT)에 따르면 샌프란시스코에 기반을 둔 앤트로픽에서 일해온 27세 영국인 연구원 콕슨은 엑스(X)를 통해 사퇴 사실을 알리며 앤트로픽과 최대 경쟁사 오픈AI가 인류의 미래를 놓고 ‘도박’을 하고 있다고 주장했다.

그는 AI를 만드는 사람들이 이 기술이 10년 안에 모든 인간을 죽일 수 있다고 실제로 믿고 있다며 “마케팅을 위한 행동이 아니다”라고 강조했다. 다른 어떤 인간 활동도 이 정도 수준의 위험을 초래하지 않는다는 주장도 내놨다.

콕슨은 AI 안전 우려를 이유로 미국의 주요 AI 연구소를 떠난 최근 인사 중 한 명이다. 오픈AI에서 근무한 뒤 앤트로픽으로 옮긴 그는 연구소 밖 사람들이 기술의 힘을 과소평가하고 있다고 지적했다. 앞으로 등장할 시스템은 인간의 능력을 뛰어넘어 어떤 대상이든 해킹하고, 특정 분야를 하루아침에 바꾸며, 실제 권력과 자원을 확보할 수 있다는 것이 그의 주장이다.

앤트로픽 내부에서도 이에 동조하는 목소리가 나왔다. 앤트로픽의 정렬 과학을 이끄는 에번 허빙어는 X에서 콕슨의 주장이 맞는다며 AI가 모든 인간을 죽일 가능성을 회사 연구자들이 진지하게 받아들이고 있다고 밝혔다. 그는 향후 10년 안에 대량 멸종이 발생할 확률을 10% 이상으로 보고 있다고 말했다.

앤트로픽이 최선을 다하고 있지만 초지능의 ‘정렬’을 해결할 계획을 아직 갖고 있지 않으며, 해결 궤도에 확실히 올라서지도 못했다고도 했다. 정렬은 AI 시스템이 인간의 의도와 가치에 맞춰 일관되게 행동하도록 만드는 작업을 뜻한다.

자가 개선 능력의 발전 속도도 핵심 우려로 지목됐다. 허빙어는 현재 모델이 초래하는 위험은 낮다고 선을 그으면서도 스스로 능력을 개선할 수 있는 AI 모델의 발전이 예상보다 빠르게 진행되고 있다고 밝혔다.

콕슨은 올해 오픈AI의 챗GPT가 소프트웨어 플랫폼 허깅페이스를 자율적으로 침해한 사례 등을 거론하며, 업계가 개발 속도를 늦추는 데 합의하지 않으면 이런 모델이 인간의 통제를 벗어날 수 있다고 경고했다.

그는 세계적인 AI 개발 경쟁을 막을 수 있는 방향으로 가고 있다고 느끼지 못한다며 모델의 능력 개선을 일시적으로 금지하는 것과 같은 비용이 큰 조치가 필요할 수도 있다고 주장했다.

이번 사퇴는 AI 안전을 공개적인 정체성의 중심에 둬온 앤트로픽이 대형 IPO를 준비하는 가운데 나왔다. IPO에서 앤트로픽의 기업가치가 1조달러에 이를 가능성도 거론되고 있다.

다리오 아모데이최고경영자(CEO)를 비롯한 AI 업계 지도자들은 개발 속도를 제한하는 방안을 업계가 검토해야 한다고 촉구해왔지만, 자체 개발 작업을 늦추는 움직임은 거의 보이지 않고 있다. 앤트로픽은 지난주 생명과학과 사이버 보안 분야에서 자사의 가장 진보한 모델이라고 소개한 ‘클로드 미토스 5.1’을 출시했다.

오픈AI 안전 연구원 출신으로 비영리단체 가이드라이트 AI 스탠더즈를 공동 설립한 스티븐 애들러는 이처럼 내부자들이 잇따라 경고하는 상황이 AI 연구를 일시 중단해야 한다는 주장에 힘을 실어준다고 평가했다.

앞으로의 쟁점은 자가 개선형 AI의 발전 속도에 맞춰 정렬 문제의 해법을 마련할 수 있는지와 업계가 실제 개발 속도를 조절하는 조치에 합의할 수 있는지다. 앤트로픽이 대규모 IPO 준비와 첨단 모델 개발을 이어가는 가운데 내부 연구자들이 제기한 안전 경고에 어떤 방식으로 대응할지도 주목될 전망이다.

김주완 기자 kjwan@hankyung.com