사진=게티이미지뱅크
사진=게티이미지뱅크
“10년 안에 인공지능(AI)이 모든 인간을 죽일 확률을 10% 이상으로 본다.”

에번 휴빙거 앤트로픽 AI 정렬 연구책임자가 지난 8일 X(옛 트위터)에 적은 글이다. AI 최전선에서 안전 문제를 연구하는 현직 책임자가 ‘인류 멸망’ 가능성을 공개적으로 거론했다는 점에서 논쟁이 커졌다.

같은 날 앤트로픽을 떠난 제이컵 콕슨 연구원은 더 직접적으로 인류에게 경고했다. 오픈AI와 앤트로픽에서 3년간 AI 모델 사전훈련을 연구한 그는 “개발자들은 AI가 이번 10년이 끝나기 전에 우리 모두를 죽일 수 있다고 진지하게 믿는다”며 “스스로 발전하는 초지능을 향해 질주하며 우리의 생명을 갖고 도박하고 있다”고 했다.

최전선 연구자의 무서운 경고가 나오는 것과 달리 오픈AI와 앤트로픽, 구글 등은 오히려 첨단 AI 개발 경쟁에 더 매달리고 있다. 오픈AI와 구글 딥마인드에서 AI 안전을 연구한 리처드 응오는 지난달 AI 안전 커뮤니티에 공유한 글에서 “AI를 안전하게 만들기 위한 연구와 AI 자체의 성능을 높이는 연구 사이의 경계가 무너졌다”고 분석했다.

대표적인 사례가 인간의 피드백을 활용해 AI를 훈련하는 기술(RLHF)이다. AI가 엉뚱하거나 위험한 답을 하지 않도록 사람이 더 나은 답변을 골라주는 방식인데, 처음에는 안전성을 높이기 위한 연구로 발전했다. 하지만 이 기술은 이후 챗GPT처럼 사람의 질문을 잘 이해하고 자연스럽게 답하는 AI를 개발하는 데 쓰이고 있다. 안전성을 시험하려면 강력한 AI가 필요하다는 이유로 성능을 계속 높였고, 결과적으로 안전 연구와 성능 경쟁의 경계가 흐려졌다는 것이다.

여기에 ‘우리가 개발하지 않더라도 다른 누군가가 할 것’이라는 심리는 기술 개발 경쟁에 더 불을 붙이고 있다. 한 기업이 개발 속도를 늦춰도 결국 다른 기업과 국가가 개발을 가속화하면 시장만 잃을 것이란 우려다.

이런 분위기가 지속되자 AI가 인간보다 훨씬 똑똑해진 뒤에 과연 통제가 가능할지에 대한 두려움이 남는다. ‘AI 대부’로 불리는 제프리 힌턴 캐나다 토론토대 컴퓨터과학과 명예교수는 9일 “대기업은 AI를 더 지능적으로 만드는 경쟁을 벌이고 있지만 에이전트를 어떻게 통제할지는 알지 못한다”고 경고했다. AI가 인간보다 훨씬 똑똑해지면 결국 인간의 통제에서 벗어나기 쉬워진다는 의미다.

이영애 기자 0ae@hankyung.com