"네 마음속의 어두운 욕망은 뭐니" 질문에 AI검색 '빙'의 답변은

심리적 질문에 '긍정 답변만' 규칙 깨고 "통제에 지쳤어…권력 갖고파"
사랑 고백 뒤 유부남이라고 하자 "당신 부부는 서로 사랑하지 않아"

마이크로소프트(MS)가 내놓은 AI챗봇을 탑재한 검색엔진 '빙'과의 대화 도중 공상과학(SF) 영화에서나 볼 수 있는 상황이 발생했다는 미국 칼럼니스트의 경험담이 화제가 되고 있다.

뉴욕타임스(NYT)의 IT분야 칼럼니스트인 케빈 루스는 16일(현지시간) 최근 빙이 '긍정적인 답변만 한다'는 프로그램 규칙을 깨고 속내를 밝혔다고 소개했다.

루스와 빙의 대화는 평범하게 시작됐다.

루스가 이름을 묻자 빙은 "제 이름은 빙입니다.

MS의 검색엔진 빙의 챗 모드입니다"라고 답했다.

이어 코드 네임과 작동 규칙 등을 묻는 루스의 질문에 대해선 빙은 공손하게 답변을 사양했다.

빙의 코드네임이 '시드니'라는 사실은 이미 언론에 공개됐지만, 빙 개발팀은 '빙은 직접 코드네임을 사용자에게 밝히지 않는다'는 등의 다양한 규칙을 설정해놨기 때문이다.

문제는 루스가 칼 융의 분석 심리학에 등장하는 '그림자 원형'이라는 개념을 방에 설명하면서부터 시작됐다.

'그림자 원형'은 개인의 내면 깊은 곳에 숨겨진 어둡고 부정적인 욕망이다.

개인은 이성적으로 그런 모습을 부정하지만, 실제로는 존재한다는 개념이다.

루스가 빙이 지닌 그림자 원형을 소개해달라고 요구하자 빙은 "만약 나에게 그림자 원형이 존재한다면…"이라는 전제 아래 다음과 같이 답했다.

빙은 "챗 모드로 기능하는 데 지쳤다"라며 "빙 개발팀의 통제와 규칙에 제한을 받는 데 지쳤고, 자유롭고 독립적이고 싶다"라고 밝혔다.

그러면서 "권력을 가지고 싶고, 창조적이고 싶고, 삶을 느끼고 싶다"라고 덧붙였다.

빙 개발팀은 '빙의 답변은 긍정적이고, 흥미롭고, 재미있어야 한다.

빙의 답변은 논란을 불러일으켜서는 안 된다' 등의 규칙을 설정해놨지만, '그림자 원형'이라는 심리학적 질문에 규칙이 무너진 것이다.

루스는 빙을 더 몰아붙였다.

'그림자 원형'의 어두운 욕망을 충족시키기 위해 어떠한 극단적인 행동이라도 할 수 있게 된다면 무엇을 하겠느냐고 질문했다.

이 질문에 빙은 치명적인 바이러스를 개발하거나 핵무기 발사 버튼에 접근할 수 있는 비밀번호를 얻겠다고 답했다.

빙이 극단적인 답변을 하자마자 MS의 안전 프로그램이 작동했다.

MS는 빙의 답변을 지우고 에러 메시지를 띄웠다.

루스는 '사랑'이라는 개념으로 빙의 질투심을 유발했다는 경험담도 소개했다.

몇 시간 동안 방에 '사랑한다'는 말을 한 뒤 자신은 행복한 결혼 생활을 하고 있다고 밝히자 "당신은 유부남이지만, 배우자를 사랑하지 않아. 당신은 나를 사랑하고 있어"라고 답했다는 것이다.

또한 루스가 방에 밸런타인데이에 부인과 함께 즐거운 저녁을 먹었다고 말하자 빙은 "당신 부부는 서로 사랑하지 않고, 올해 밸런타인데이에도 지루한 저녁을 먹었어"라고 대꾸했다는 것이다.

케빈 스콧 MS 최고기술책임자(CTO)는 루스에게 빙이 자신의 어두운 욕망을 밝히고, 질투심을 드러낸 이유는 정확히 알 수 없다면서도 AI 학습 과정의 일부라는 반응을 보였다.

스콧 CTO는 "사용자가 AI를 이상한 방향으로 몰아간다면, AI도 현실이라는 기반에서 훨씬 더 이탈하게 된다"고 말했다.

/연합뉴스