샘 올트먼 오픈AI 최고경영자(CEO·왼쪽부터), 다리오 아모데이 앤트로픽 CEO, 일론 머스크 xAI 창업자. 아모데이 CEO는 12일(현지시간) 인공지능(AI) 기업들이 강력한 AI 기술의 개발 속도를 늦춰야 한다고 주장했다. 이후 올트먼 CEO와 머스크도 AI 개발 속도를 조절할 필요성에 동의한다는 뜻을 밝혔다. / 사진=AFP연합뉴스
샘 올트먼 오픈AI 최고경영자(CEO·왼쪽부터), 다리오 아모데이 앤트로픽 CEO, 일론 머스크 xAI 창업자. 아모데이 CEO는 12일(현지시간) 인공지능(AI) 기업들이 강력한 AI 기술의 개발 속도를 늦춰야 한다고 주장했다. 이후 올트먼 CEO와 머스크도 AI 개발 속도를 조절할 필요성에 동의한다는 뜻을 밝혔다. / 사진=AFP연합뉴스
인공지능(AI)이 미사일 제어 소프트웨어를 짜고 수천명을 추적하는 감시 시스템 구축에 동원됐다. 해커들은 사람이 자리를 비운 뒤에도 AI가 계속 취약점을 찾아내도록 했다. AI가 인류를 위협할 수 있다는 경고가 잇따르는 가운데 앤트로픽이 밝힌 실제 악용 사례들 일부다.

15일 정보기술(IT) 업계에 따르면 앤트로픽은 지난 10일 'AI 악용 탐지 및 대응' 보고서를 공개했다. 지난해 12월부터 지난달까지 자사 AI 모델 '클로드'를 악용하려다 적발된 활동을 분석한 자료다. 사이버 공격과 감시, 영향공작, 사기, 생물학적 악용, 재래식 무기 개발 등 7개 분야 사례가 포함됐다. 앤트로픽은 관련 계정을 차단하고 일부 정보를 당국과 업계에 공유했다고 밝혔다.

"미사일 유도 SW 짜고 실패 원인까지 분석"

예멘 북부에서는 미사일 개발에 클로드를 활용한 사례가 적발됐다. 앤트로픽에 따르면 현지의 한 조직은 유도 로켓과 사거리 2000㎞ 이상을 목표로 한 다단식 탄도미사일, 극초음속 활공체를 개발하면서 '클로드 코드'를 사용했다. 비행체 방향을 잡고 자세를 안정시키는 유도·항법·제어 소프트웨어 개발에도 AI를 투입했다.

클로드 하나에 모든 작업을 맡긴 것도 아니었다. 여러 개의 클로드를 동시에 실행해 한쪽에는 코딩, 다른 쪽에는 자료 조사, 또 다른 쪽에는 작성된 코드 검토를 맡겼다. 일부 요청은 안전장치에 막혔지만 목적을 숨기거나 작업을 여러 대화로 쪼개 통제를 우회한 경우도 있었다.

이 조직은 유도 로켓을 실제 시험 발사한 것으로 파악됐다. 시험이 실패한 것으로 보이자 몇 시간 뒤 다시 클로드를 이용해 원인을 분석했다. 앤트로픽은 다만 이들이 실제 작전에 투입할 수 있는 수준의 무기를 완성했다는 증거까지는 확보하지 못했다고 밝혔다.

말리에선 감시 시스템 개발에 클로드가 쓰였다. 현지 정보기관과 일하는 것으로 추정되는 한 컨설턴트는 클로드를 주요 개발 도구로 활용해 '라카나 360'이라는 시스템을 구축했다. 말리 이동통신 3사의 약 2500만개 가입자식별모듈(SIM) 대상으로 통화 기록과 문자메시지, 음성통화 정보를 수집할 수 있도록 설계됐다.

특정 전화번호를 입력하면 관련 정보를 모아 보고서를 만드는 기능도 포함됐다. 개발자는 클로드에 필요한 기능을 지시한 뒤 결과물을 검토하고 수정하는 방식으로 시스템을 만들었다. 사람이 직접 모든 코드를 작성하는 대신 AI를 개발 인력처럼 활용한 셈이다.

이란과 연계된 것으로 앤트로픽이 판단한 조직들도 클로드를 감시에 이용했다. 회사는 두 조직이 운영한 계정 16개를 차단했다. 이 가운데 한 조직은 이란인 6388명을 감시·분류했다고 주장하며 15만5216개의 X(엑스·옛 트위터) 게시물을 분석했다. 다른 조직은 주요 소셜미디어 이용자의 신원을 대량 수집하는 파이어폭스 확장 프로그램 개발에 클로드를 사용했다.
사진=연합뉴스
사진=연합뉴스

밤새 취약점 찾는 'AI 해킹팀'

사이버 공격에서는 AI가 사람이 하던 작업을 더 넓게 넘겨받았다. 앤트로픽은 중국 후난성 창사에 거주하는 것으로 추정되는 중국어 사용 조직이 클로드를 이용해 약 50개 정부기관과 기업 등을 겨냥했다고 밝혔다. 조직원 가운데 2명은 현지 대학 학부생으로 파악됐다.

이들은 사람이 컴퓨터 앞에 없어도 AI가 계속 취약점을 찾고 공격 방법을 시험하도록 시스템을 구성했다. 하나의 AI가 전체 작업을 나눈 뒤 여러 AI에 정찰과 취약점 분석, 악성코드 개발 등의 일을 병렬로 맡기는 방식도 썼다. 사람은 공격 대상을 정하고 빼낸 정보를 검토했지만 정찰과 침투, 자료 수집 등 상당수 작업은 AI가 직접 수행하거나 다른 AI에 다시 나눠줬다.

앤트로픽은 이런 구조를 취약점과 공격 코드를 계속 만들어내는 '자동화된 해킹 공장'에 빗댔다. 과거에는 새로운 취약점을 찾아내고 실제 공격 코드를 만드는 데 숙련된 인력이 필요했지만 보고서에 등장한 공격자들은 상당수 작업을 AI에 맡겼다. 여러 AI가 동시에 움직이면서 사람이 자리를 비운 시간에도 취약점 탐색과 공격 준비가 이어졌다.

"AI가 다음 AI 만든다"…속도 조절론 확산

앤트로픽이 보고서를 내놓기 직전 회사 내부에서는 AI의 위험성을 강하게 경고하는 목소리도 나왔다. 앤트로픽 연구원 제이콥 콕슨은 지난 8일 회사를 떠나며 "일부 AI 연구자들이 향후 10년 내 인류 파멸 가능성까지 우려하고 있다"고 주장했다. 앤트로픽에서 AI 정렬 연구를 이끄는 에번 허빙어도 향후 10년 내 AI가 인류를 멸망시킬 가능성을 10% 이상으로 본다고 밝혔다.

다리오 아모데이 앤트로픽 최고경영자(CEO)가 지난 12일 AI 모델의 성능 향상 속도를 늦춰 안전 기술이 따라잡을 시간을 벌어야 한다고 주장하면서 AI 개발 속도 조절론이 본격 촉발됐다. 그가 우려한 것 가운데 하나는 AI가 다음 세대 AI 개발에 다시 투입되는 '재귀적 자기개선'이다. AI가 AI 연구를 돕기 시작하면서 성능 개선 주기 자체가 더 빨라질 수 있다는 설명이다.

아모데이는 AI 성능이 지금과 같은 속도로 높아질 경우 향후 6~12개월 안에 훨씬 강력한 시스템이 등장할 수 있고, 비슷한 문제가 발생했을 때 피해 규모도 커질 수 있다고 우려했다. 샘 올트먼 오픈AI CEO는 외부 평가 확대와 개발 속도 조절 필요성에 동의했고 일론 머스크 xAI 창업자도 아모데이의 주장에 지지를 표시했다.

다만 도널드 트럼프 미국 대통령은 AI 개발 속도를 늦추자는 데 부정적인 입장이다. 그는 13일 미국이 중국보다 AI에서 앞서 있으며 이런 우위를 유지해야 한다는 취지로 "AI에서 이기는 자가 이긴다"고 말했다. 14일에는 AI가 통제 불능 상태에 빠지거나 인류를 파괴할 수 있다는 우려를 "사기(HOAX)"라고 표현하며 추가적 안전 규제에도 반감을 표했다.

홍민성 한경닷컴 기자 mshong@hankyung.com