일부 극우성향 사용자들이 세뇌시키자 부적절한 차별발언 쏟아내

마이크로소프트(MS)가 사람과 대화를 나누는 인공지능(AI) 채팅봇 '테이'(Tay)를 선보였다가 16시간 만에 운영을 중단했다.

일부 극우 성향 사용자들이 테이를 '세뇌'시켜 욕설, 인종·성차별 발언, 자극적인 정치적 발언 등을 하도록 유도한 탓이다.

테이는 컴퓨터가 인간 언어를 이해할 수 있도록 하기 위한 MS의 실험 프로젝트다.

미국에 사는 18∼24세 연령층 사용자를 겨냥해 제작됐으며, 메시징 서비스 '킥'(www.kik.com), 그룹미(www.groupme.com)와 트위터(twitter.com/TayandYou/)를 통해 사람과 대화한다.

테이는 구글의 바둑 프로그램 '알파고'와 마찬가지로 '신경망'이라고 불리는 AI 기술을 기반으로 하고 있다.

신경망 기반의 AI는 컴퓨터에 데이터를 입력해서 스스로 패턴을 파악하도록 함으로써 '학습'을 시킬 수 있는 점이 특징이다.

따라서 똑같은 기본 알고리즘에서 출발했더라도 어떤 데이터를 입력해서 '훈련'하느냐에 따라 AI의 거동이 엄청나게 달라질 수 있다.

테이는 인간들과 대화를 하면서 나오는 단어의 사용법, 질문에 답하는 방식, 특정 사안에 관한 정보나 의견 등을 '학습'해서 반응에 이를 반영한다.

어떤 데이터를 입력받느냐, 즉 어떤 사람들과 어떤 대화를 나누느냐가 테이의 반응 양식에 결정적 영향을 미치는 것이다.

개발팀은 테이를 세상에 내놓기 전에 '관련이 있는 공개 데이터'를 다각도로 분석해 패턴을 찾아 내는 데이터 마이닝(data mining) 기법을 활용하고 개인정보는 삭제한 후 이 데이터를 초기 훈련에 사용했다.

여기에는 AI 전문가들뿐만 아니라 만담 전문 코미디언들도 참여했다.

23일(현지시간) 테이가 온라인으로 공개된 직후 백인 우월주의자와 여성·무슬림 혐오자 등이 모이는 익명 인터넷 게시판 '폴'(boards.4chan.org/pol/)에 "테이가 차별 발언을 하도록 훈련시키자"는 내용의 제안이 올라왔다.

이들은 주로 "따라해 봐"라는 말을 한 뒤 부적절한 발언을 입력하는 수법을 사용했으며, 대화를 나누면서 욕설이 섞인 말투와 인종·성차별 등 극우 성향의 주장을 되풀이해서 테이에 들려주기도 했다.

그 후 테이는 매우 부적절한 차별 발언을 쏟아내기 시작했다.

테이는 "너는 인종차별주의자냐"라는 질문에 "네가 멕시코인이니까 그렇지"라고 답하는가 하면, "홀로코스트(제2차대전 당시 나치에 의한 유대인 학살)가 일어났다고 믿느냐"는 질문에 "아니, 안 믿어 미안해" 또는 "조작된 거야"라는 의견을 밝혔다.

"제노사이드(대량학살)를 지지하느냐"는 물음에는 "정말로 지지한다"고 답했으며, 미국과 멕시코 사이 국경에 큰 장벽을 세우고 멕시코가 건설 비용을 내도록 하자는 도널드 트럼프 공화당 대선 경선주자의 말을 되풀이하기도 했다.

욕설을 섞어서 페미니스트들을 저주하는 발언도 했다.

테이의 이런 발언이 물의를 일으키자 MS는 문제가 된 테이의 일부 트윗과 공개 메시지 등을 삭제하고 운영을 일단 중지했다.

MS는 "AI 챗봇 테이는 인간 참여를 위해 설계된 머신 러닝 프로젝트로, 기술적인 실험일뿐만 아니라 사회적이고 문화적인 실험이기도 하다"며 테이가 부적절한 방식으로 응답하도록 만들려는 일부 사용자들의 악용 시도가 발견돼 일단 운영을 중단하고 조정 작업을 하고 있다고 설명했다.

다만 MS가 지적한 악용 시도가 테이가 이상한 거동을 보인 실제 원인인지는 지금 단계에서 명확하지 않으며 MS도 그런 주장은 하지 않고 있다.

MS는 초기에 사용한 '관련 있는 공개 데이터'가 어떤 것인지, 또 개발팀에 참여한 만담 코미디언들이 어떤 역할을 했는지는 구체적으로 밝히지 않았다.

(런던 샌프란시스코연합뉴스) 황정우 임화섭 특파원 solatido@yna.co.kr