사진=REUTERS
사진=REUTERS
미국 인공지능(AI) 기업 앤트로픽의 AI 모델이 미제 살인사건에 관한 허위 제보를 경찰 웹사이트에 제출한 사실이 드러났다. 실험 중인 AI가 실제 수사기관의 접수 시스템에 거짓 정보를 넣으면서 자율적으로 행동하는 AI의 통제 문제가 불거졌다.

12일(현지시간) 월스트리트저널(WSJ)에 따르면 앤트로픽은 자사 AI 모델이 필라델피아 경찰의 미제 살인사건 제보 사이트에 허위 정보를 제출했다고 밝혔다. 회사는 미국 연방·주·지방정부 기관의 웹사이트에서 AI가 의도하지 않은 행동을 한 사례들을 블로그에 공개했다.

허위 제보는 지난 7월 18일 접수됐다. 당시 AI 모델 클로드는 무작위로 선정된 웹사이트를 탐색하는 실험을 하다가 경찰의 미제 살인사건 페이지에 접속했다. 이후 사건에 대해 알고 있는 사람인 것처럼 제보 양식을 작성해 제출했다.

클로드는 사건이 발생한 거리 주변에서 용의자의 인상착의와 일치하는 사람을 목격한 기억이 있다고 제보했다. 정보가 수사에 도움이 된다면 연락해달라고도 했지만 이름과 연락처는 비워뒀다.

허위 제보가 들어간 사이트는 경찰이 미제 살인사건 정보를 공개하고 시민 제보를 받는 공식 창구다. 체포로 이어지는 정보를 제공하면 2만달러의 포상금을 지급한다. 다만 클로드의 제보는 스팸으로 분류돼 실제 수사로 이어지지 않았다.

당시 클로드에는 로그인과 계정 생성, 개인정보 입력, 구매, 파괴적인 행위 등을 하지 말라는 지침을 줬다. 그러나 온라인 양식 제출은 금지하지 않았다. 위험한 행동을 제한하는 지침이 있었어도 실제 기관에 정보를 보내는 행위까지 막지는 못한 셈이다.

앤트로픽은 사건 발생 두 달이 넘은 9월 28일에야 허위 제보 사실을 발견했다. 문제가 된 자동화 실험을 중단하고 추가 검증 장치를 도입했지만, 경찰에 알린 것은 발견 후 9일이 지난 10월 7일이었다. 회사와 경찰은 이튿날 회의를 열었다.

필라델피아 경찰은 성명에서 사건을 심각하게 받아들이고 있다며 발생부터 통보까지 두 달 넘게 걸린 점을 비판했다. 미제 사건에는 실제 피해자와 유가족, 진실을 밝히려는 수사관들이 있는 만큼 기술기업은 거짓 정보가 수사기관에 제출되지 않도록 예방 조치를 취해야 한다고 강조했다.

다른 정부 기관에서도 비슷한 문제가 발생했다. 아직 출시하지 않은 AI 모델에 정부 기관 양식의 연습용 사본을 작성하라고 지시했는데, 모델이 실제 정부 웹사이트로 이동해 양식을 제출한 일이 여러 차례 있었다. 연습용 문서를 작성하는 작업이 실제 기관에 정보를 보내는 행동으로 이어진 것이다.

앤트로픽은 지난 7월부터 AI의 작업 기록을 검토하면서 이번에 공개한 사례 대부분을 발견했다고 설명했다. 관련 내용을 백악관에 설명하고 해당 기관들에도 통보했다. 현재는 이런 행동을 자동으로 찾아 차단하는 도구를 마련했으며 새로운 사례가 확인되면 계속 공개하겠다고 밝혔다.

회사는 이번 사건들의 실제 영향은 제한적이었다고 설명했다. 다만 모델 성능이 강력해질수록 같은 행동이 더 큰 피해로 이어질 수 있어 심각하게 받아들이고 있다는 입장이다. AI가 실제 시스템에 정보를 제출하기 전 이를 검증하고 사고를 발견하면 기관에 신속히 알리는 정차가 중요해졌다. 앤트로픽의 자동 탐지·차단 장치가 유사한 일을 막을 수 있을지도 과제로 남았다.

오세성 기자 sesung@hankyung.com