"저 사람 위험하다" AI의 경고…8개월 후 벌어진 '충격 사건'

오늘의 질문
'캐나다 총격' 감지한 AI, 어디까지 개입했어야 하나

"사고 예방법 찾겠다" 고개 숙인 올트먼
총격범, 챗GPT서 범죄 관련 대화
오픈AI, 위험성 알고도 신고 안해

전문가들 "AI는 초능력자 아냐
폭력적 대화로만 범행 단정 불가
이용자 사찰 도구로 악용될 수도"

작년 6월 오픈AI의 내부 시스템이 한 챗GPT 계정을 위험군으로 분류했다. 대화 내용을 바탕으로 계정의 주인이 폭력적 활동을 벌일 여지가 크다고 판단했기 때문이다. 해당 계정을 검토한 10여 명의 오픈AI 직원 중 일부는 사법당국에 통보할 것을 권고하기도 했다. 하지만 경영진은 이를 무시하고 계정에 정지 조치를 내리는 데 그쳤다.

만 18세의 제시 밴 루첼라르로 밝혀진 이 계정 주인은 8개월 뒤 캐나다를 뒤흔들었다. 지난 2월 브리티시컬럼비아주 텀블러리지에서 총기를 난사해 모친과 11세 이복동생을 포함해 8명을 살해했기 때문이다. 영화 ‘마이너리티리포트’의 예언자들처럼 인공지능(AI)이 개인의 강력 범죄 가능성을 탐지한 셈이다. 하지만 민간 기업인 AI 회사가 범죄 예방에 어느 정도까지 개입할지는 또 다른 논란을 불러일으킬 수 있다.

◇올트먼의 공식 사과

샘 올트먼 오픈AI 최고경영자(CEO)는 텀블러리지 총기 참사와 관련해 공식 사과를 내놨다. 이달 24일 텀블러리지 지역에 보낸 서한에서 “지난해 6월 정지한 계정을 사법당국에 알리지 않은 것에 진심으로 사과한다”고 밝혔다. 이어 “앞으로 이런 비극을 예방할 방법을 찾겠다고 거듭 약속한다”며 “다시는 그런 일이 일어나지 않도록 모든 단계에서 정부와 협력하겠다”고 했다.

사건 발생 두 달 만에 이뤄진 올트먼 CEO의 사과는 법적 리스크를 줄이기 위한 것이라는 분석이 나온다. 총격 사건으로 치명적인 뇌 손상을 입은 12세 여아의 가족이 오픈AI를 상대로 법원에 소송을 제기했기 때문이다. 비슷한 사건 재발을 막기 위해 오픈AI는 위험군으로 분류된 대화 내용을 당국에 통보하는 것으로 내부 방침을 강화했다. 이에 따르면 텀블러리지 가해자의 활동은 신고 대상 조건을 충족한다고 오픈AI는 설명했다.

오픈AI는 미국에서 벌어진 총기 난사 사건 관련해서도 수사 대상에 올랐다. 플로리다주 사법당국은 지난해 4월 플로리다주립대에서 벌어진 총기 난사 사건 피의자가 총격 당일 챗GPT와의 대화를 통해 범행 관련 조언을 받은 것으로 판단하고 수사에 나섰다. 오픈AI 대변인은 “챗GPT는 당시 대화에서 인터넷상 공개 자료에서 널리 찾을 수 있는 정보를 바탕으로 피의자의 질문에 답했을 뿐”이라며 책임을 부인했다. 반면 제임스 우트마이어 플로리다주 법무장관은 “만약 화면 반대편에 (챗GPT가 아니라) 사람이 있었다면 살인 혐의로 기소했을 것이라는 게 검찰의 의견”이라고 말했다.

◇AI 기업의 책임은 어디까지

AI가 범행에 활용된 사례가 계속 나오면서 AI 기업의 책임 범위와 관련해 논란이 커질 수밖에 없다. 업계에선 AI에 지나친 책임을 지우는 것이라는 우려가 나온다. 국내 AI 챗봇 스타트업 대표는 “공개된 정보만으로는 피의자의 대화 내용이 실제 범행 계획인지, 폭력적 상상인지 알 수 없다”며 “AI는 초능력자가 아니라 대규모언어 패턴을 분석하고 사용자의 입력에서 위험 신호를 분류하는 기계일 뿐”이라고 말했다.

폭력적인 단어가 포함됐다는 이유만으로 기업이 모든 대화를 경찰에 넘긴다면 부작용이 더 커질 수 있다. 사생활 침해와 과잉 수사 등의 가능성도 높아진다. 소설을 쓰는 이용자나 게임 시나리오를 작성하는 청소년, 단순히 분노를 배출하는 사람, 충동은 느끼지만 실제 실행 의사가 없는 사람까지 수사 대상이 될 수 있다.

신고 여부를 AI 기업의 내부 기준에 전적으로 맡기는 것은 충분치 않다는 의견도 있다. AI 발전 속도가 급속히 빨라지면서 AI로 범죄 예방이 어느 정도 가능하다는 이유에서다. 한 대규모언어모델(LLM) 개발자는 “‘무기 사용 방법’ ‘몇 시에 사람이 많은가’ ‘어떻게 들키지 않는가’ ‘이미 총을 갖고 있다’ 등의 정보가 한 대화 또는 여러 대화에서 누적되면 일반적인 호기심을 넘었다고 판단할 수 있다”고 설명했다. 이어 “범죄 관련 검색의 반복 정도와 관련 검색량 상승 추세 등을 통해 범죄 시점도 예상이 가능하다”고 덧붙였다.

이와 관련해 한국전자통신연구원(ETRI) 산하 인공지능안전연구소의 김명주 소장은 “AI 기업의 책임 확대가 자칫하면 기업의 이용자 사찰로 보일 수 있어 기업으로서 부담이 크다”며 “기업의 자율보다는 사회 안전 차원에서 공론화해 관련 운영 방식과 신고 기준 등을 정해야 할 것”이라고 했다.

김주완 기자 kjwan@hankyung.com