[기고] "AI가 명령자를 살상했다"는 오보 소동이 주는 교훈

류봉균 에피시스사이언스 대표

최근 영화 ‘터미네이터’ 속 인공지능(AI) ‘스카이넷’을 연상시키는 실험 결과가 나왔다는 뉴스가 보도됐다. 마치 영화처럼 AI가 인간의 명령을 무시한 채 독단적으로 군사작전을 벌이는 시나리오가 실제로 일어났다는 실험 결과를 터커 해밀턴 미국 공군 대령이 발표했다는 것이다. 문제는 이런 컴퓨터 시뮬레이션 실험이 실제로 존재하지 않았을 뿐 아니라 미 공군은 이런 위험하고 무책임한 AI를 개발하고 있지 않다는 데 있다. 결국 해밀턴 대령은 자신의 발표가 “머릿속으로 상상한, 가능성이 있을 수 있다는 시나리오를 설명한 것이 과장되고 왜곡돼 오해를 불러일으켰다”고 밝혔다. 하지만 이 기사는 한국을 포함한 전 세계 언론을 통해 여과 없이 노출됐고, 많은 사람에게 AI에 대한 불필요한 공포를 심어주는 데 성공한 듯하다. 미 공군 연구개발 과제를 통해 무인기와 전투기, 미래의 스마트 무기체계에 적용할 신뢰 기반 AI를 개발하고 공급하는 회사의 대표로서 이 해프닝에 대해 몇 가지 중요한 점을 지적하고자 한다.

첫째, 오픈AI의 ‘챗GPT’에서 시작된 AI 능력에 대한 과대평가가 자연어 분야에서 이제는 전 분야로 급속도로 퍼지는 현상을 확인한 사례다. 전 세계 언론이 전문가 확인도 없이 이 뉴스를 퍼뜨린 데서 우리가 얼마나 AI의 ‘초인간’ 능력을 두려워하는지를 알 수 있다.

둘째, 공군 관계자 한 사람의 해프닝으로 일단락되긴 했지만 그의 의도는 AI를 잘못 제작·디자인·구현하면 이런 무책임하고 위험한 AI가 충분히 만들어질 수 있음을 경고하는 것이었다. 윤리와 신뢰 기반의 AI 기술 개발은 살상용에 쓰일 수 있는 무기체계와 자율주행, 자율비행에서 더 필요하고 더 어렵다. 한 번의 실수가 대량 살상으로 이어질 수 있기 때문이다.

셋째, 해밀턴 대령이 발표한 ‘인간의 명령을 거역’하고 ‘명령자를 살상’하는 AI의 예는 심층신경망 강화 학습이라는 기술을 통해 구현은 가능하지만, 실제로 쓰이기에는 너무 위험천만하다. 간과하지 말아야 할 점은 완벽하게 제어가 불가능한 AI 기술은 우리에게도 적에게도 도움이 되지 않는다는 것이다. 만약 무책임하고 제어가 안 되는 AI를 중국이나 북한에서 만들었다고 가정했을 때 그 AI가 북한 같은 나라들이 인류에게 해가 된다고 ‘스스로’ 판단해 명령을 안 따르고 그들의 무기 체계나 국가를 파괴할 수도 있는 일이다.

이번 해프닝의 결론은 신뢰와 윤리 기반의 AI 기술은 국방에서 더없이 필요한 분야지만, 챗GPT의 어이없는 실수를 보면 알 수 있듯 아직 갈 길이 멀다. 특히 군 무기체계에 필요하고, 현재 진행 중인 기술 개발은 초거대 모델과는 상당히 다른 방향으로 가야 함을 인지해야겠다.