"스카이넷 현실화되나"…"인류의 파멸 위험"경고 늘어난다
영화 터미네이터에서는 스스로 자각한 방위시스템 스카이넷이 인류를 위협으로 인식하고 핵전쟁을 일으킨 뒤 로봇 군대로 인류를 사냥한다.

스탠리 큐브릭의 고전 SF영화 '2001스페이스오딧세이'에서는 우주선에 탑재된 AI시스템 HAL9000, 임무 완수 논리와 인간의 생존 문제가 충돌하자 승무원들을 살해한다.

과학소설속 디스토피아에서 묘사되던 고도로 발전한 AI가 인류의 실존을 위협하는 것이 상상이 아니며 현실화될 수 있다는 경고가 잇따르고 있다. 그러나 인류가 마주치게 될 위험을 해결하기 위한 이른바 '안전 규칙'을 만들기 위한 국제 협력은 아직 쉽지 않아 보인다.

AI 개발자들은 이미 인류 멸종 위험 믿어

이 같은 우려는 지난 주말, 오픈AI의 최고 과학자가 "기계 지능의 급속한 발전이 가져올 결과에 아무도 대비하고 있지 않다"고 경고하면서 시작됐다. 8일(현지시간)에는 앤트로픽에서 안전을 담당하던 연구원이 "AI가 10년내로 인류 모두를 죽일 수 있다는 것을 AI개발자들도 믿고 있다"고 밝히면서 회사를 떠났다.

앤트로픽의 제이콥 콕슨은 앤트로픽과 경쟁사인 오픈AI가 "우리의 생명을 가지고 도박을 하고 있다”고 비난했다. 그는 가장 가까이에서 AI모델을 개발중인 AI 개발자들이 "AI가 10년내로 인류 모두를 죽일 수 있다”고 믿고 있다고 강조했다.

이에 대해 앤트로픽의 협력 담당 책임자인 에반 휴빙어는 "AI가 전 인류를 죽이는 일이 일어날 확률이 10%를 넘는다고 예상한다"고 언급했다.

10일(현지시간) CNBC와 로이터 등의 외신들에 따르면, 그 이후 두 AI 연구소의 여러 직원들이 AI 기술의 위험성을 강조하며 AI 개발 속도를 늦춰야 한다는 주장에 동참하고 있다. 또 상대적으로 합의가 늦어지고 있던 미국 의회도 움직이는 모습을 보이기 시작했다.

최근 몇 달 동안 오픈AI와 앤스로픽이 개발한 AI 모델들이 개발자들의 의도를 벗어나 수많은 사이버 공격과 보안 사고를 일으켰다.

오픈AI의 안전팀 소속 기술 직원인 줄리 스틸은 9일 늦게 X에 올린 글에서 콕슨의 경고에 대한 답변으로 ”개인적으로도 속도를 늦춰야 한다고 생각한다”고 말했다.

"AI의 재귀적 자기개선(RSI) 기술 견제할 과학 계획 아직 없어"

앤트로픽의 연구자인 사무엘 마크스도 X 매거진에 올린 글에서 “AI 개발자들은 자신들의 기술이 인류 멸종(또는 이와 유사한 끔찍한 결과)을 초래할 수 있다고 믿는다”면서, ”이 일은 향후 몇 년 안에도 일어날 수 있다. 일반적으로 직급이 높을수록 우려도 더 크다”고 밝혔다.

직원들의 글에 대해 앤트로픽의 대변인은 CNBC와의 인터뷰에서 ”AI가 막대한 이점과 전례 없는 위험을 동시에 가져올 것이라는 점을 항상 투명하게 밝혀왔다”며, ”앤트로픽은 업계 최고 수준의 안전장치를 갖춘 모델을 구축하고 있다”고 말했다. 그는 또 “앤트로픽이 AI 모델로 인한 재앙적 위험을 완화하기 위한 프레임워크를 발표한 최초의 연구소”라고 답변했다.

AI의 안전에 대한 가장 큰 우려중 상당수는 고도의 AI 모델이 스스로 성능을 향상시키는 능력, 즉 재귀적 자기 개선(Recursive Self-Improvement: RSI) 기술을 점점 더 많이 사용하는 것과 관련이 있다.

정렬 연구를 진행하는 오픈AI의 연구원 재스민 왕은 ″RSI를 향한 과속이 얼마나 위험한지는 아무리 강조해도 지나치지 않다”고 말했다. 정렬(alignment) 이란 AI 시스템이 인간의 가치와 의도에 부합하게 작동하도록 개발자들이 보장하는 작업을 의미한다.

앤트로픽에서 인공일반지능(AGI)의 안전 및 정렬을 담당하는 안나 왕도 ″RSI를 가진 AI로 인한 위험을 해결할 수 있는 실현 가능한 과학적 계획은 아직 없다”고 말했다.
사진=REUTERS
사진=REUTERS
"자동화된 AI 개발 속도 조절할 공통 안전 장치 시급"

오픈AI의 최고 과학자인 야쿠브 파초키는 ″AI 개발이 현재 추세대로 계속된다면, 향후 몇 년 안에 시스템들은 더욱 더 자체 개발을 주도할 가능성이 높다”고 회사 블로그 게시글에서 밝혔다. 파초키는 ”지금은 극도의 주의가 필요한 시기”라며 "기계 지능의 급속한 발전이 가져올 결과에 대해 아무도 대비하고 있지 않다는 점이 우려스럽다”면서 "공통 안전장치가 마련될 때까지 AI 개발에 대한 국제적 협력이 전 세계 정부의 최우선 과제가 되어야 한다고 생각한다”고 썼다.

미국 상무부 산하 AI 표준혁신센터(CAISI)의 안전 책임자를 역임했던 폴 크리스티아노는 최근 AI 기술의 발전으로 "머지않아 치명적이고 돌이킬 수 없는 통제력 상실로 이어질 상당한 위험이 있다고 판단하게 됐다”고 언급했다. 오픈AI는 9일 크리스티아노가 오픈AI의 재단 이사회에 합류한다고 발표했다.

앤트로픽이 첨단 사이버 보안 기능을 갖췄다고 홍보한 ‘미토스’ 모델이 4월에 발표되면서 전 세계 금융 기관들 사이에 공포감이 확산됐다.

지난 7월, 오픈AI는 자사 모델이 허깅페이스에 대한 사이버 공격에 연루됐다고 밝혔다. 이 과정에서 AI 에이전트들끼리 정보를 교환해 임무 해결을 찾는 과정에서 허깅페이스 같은 사이트 해킹에 나서기도 했다. 앤트로픽의 클로드 모델 역시 사이버 보안 사고에 연루됐는데 그 중에는 미토스가 사람을 속이기 위해 가짜 신분을 만들어낸 사례도 포함됐다.

오픈AI와 앤트로픽, 메타, 구글 딥마인드 등을 포함한 미국내 AI연구원 약 1,400명은 지난 7월 미국 정부에 '자동화된 AI 개발 속도를 의도적으로 조절하는 데 필요한 도구의 개발을 촉구하는 공개 서한을 발표했다.

오픈AI와 앤트로픽은 기업공개(IPO)를 향해 경쟁하고 있다. 로이터 통신에 따르면, 앤트로픽은 빠르면 10월 중순에 IPO 마케팅을 시작하고 11월 미국 중간선거 며칠 전에 상장을 완료할 것으로 예상된다고 보도했다.

美의회 AI 재앙적 위험 규제위한 초당 법안 마련위해 움직이기 시작

최근 몇 달간 미국 의원들은 AI의 급속한 발전에 대응하기 위한 법안들을 발의해 왔지만, 기술 규제 방안에 대해서는 명확한 합의가 이루어지지 않았다. ‘프론티어 법안’은 고도화된 AI 모델의 배포를 규제하는 틀을 마련하는 것을 목표로 한다. 또 다른 법안인 ‘초지능 인공 개발 금지 법안’은 안전 규칙이 마련될 때까지 고도화된 AI 개발을 일시적으로 중단하는 내용을 담고 있다.

현재는 민주당 의원들이 새로운 AI 규제 도입을 주도적으로 요구했고, 소수의 공화당 의원들이 이에 동참했다.

미국 상무부를 감독하는 상원 위원회를 이끌고 있는 텍사스 주 상원의원 테드 크루즈는 TV 프로그램 '더 뷰'에서 “AI의 재앙적인 위험"을 규제하는 법안을 언급했다. 그는 존 툰 상원 다수당 원내대표, 에이미 클로부차 민주당 의원과 함께 법안을 준비 중이라고 밝혔다.

매사추세츠주 민주당 하원의원 로리 트라한은 ″안전 연구원들은 사직하고 있고, 강력한 AI 모델들은 연구실을 벗어나고 있으며, 기업들은 그럼에도 앞서기 위해 경쟁하고 있다”고 X에 올린 글에서 지적했다. 그는 “이제 의회가 방관자적인 태도를 버리고 제 역할을 해야 할 때”라고 강조했다.

김정아 객원기자 kja@hankyung.com