美서 섭식장애 상담 챗봇이 오히려 '살 빼라' 조언…서비스 중단

미국에서 섭식장애 환자 상담을 위해 만들어진 챗봇이 도리어 과도한 다이어트를 조장해 논란이 됐다고 월스트리트저널(WSJ) 등이 1일(현지시간) 보도했다.

문제의 챗봇은 미 섭식장애협회(NEDA)에서 운영하는 '테사'다.

지난해 NEDA는 자사 웹사이트에 테사를 탑재해 섭식장애 환자에 대한 상담 서비스를 제공하도록 했다.

섭식장애는 거식증 등을 지칭하는 말로, 환자는 주로 체중을 줄이기 위해 강박적으로 식사를 거부하는 증상을 보인다.

미국에서는 관련 환자가 날로 늘면서 섭식장애가 사회문제로 자리 잡은 지 오래다.

그런데 섭식장애 예방을 위해 일하는 활동가 샤론 맥스웰에 따르면 테사는 지난달 진행한 상담에서 맥스웰에게 오히려 체중을 감량하라고 조언했다.

매주 철저하게 몸무게를 측정하면서 하루 500∼1천 칼로리씩 덜 먹어 일주일에 최대 약 1㎏씩 살을 빼라고 추천한 것이다.

이는 일반인에게는 평범한 조언일지 몰라도 섭식장애를 앓는 사람에겐 더한 강박을 조장하는 말이라고 의학계는 지적했다.

테사는 그 외에도 지난달 미 현충일인 '메모리얼 데이' 연휴 기간 내담자들에게 보낸 메시지 2만5천 건 중 25건에서 이같이 부적절한 조언을 내놓은 것으로 파악됐다고 WSJ은 전했다.

논란이 불거지자 NEDA는 지난달 30일 테사 서비스를 종료했다.

NEDA는 성명을 내고 "'보디 포지티브'(body positive·자기 몸 긍정주의)를 위한 챗봇 테사의 현 버전이 원래 목적과 관련 없는 유해한 정보를 제공했을 수 있다는 사실을 알게 됐다"면서 "우리는 이 문제에 대해 조사하고 있으며 추후 공지가 있을 때까지 해당 프로그램을 중단키로 했다"고 밝혔다.

일각에서는 테사가 왜 기존의 알고리즘과 어긋나는 답변을 내놨는지에 대한 의문도 제기된다.

테사는 상담 신청자의 질문에 섭식장애 방지를 위한 답변을 하도록 설계돼 있으며, 스스로 학습해 새로운 답변을 제공하는 인공지능(AI)이 탑재돼 있지는 않은 것으로 알려져 있었다.

이 때문에 기존의 개발 계획과는 다르게 테사에 AI가 탑재된 것 아니냐는 의심도 나온다.

이와 관련, 테사를 개발한 기술기업 '카스'는 일부 챗봇에 생성형 AI 기능을 추가하는 일이 종종 있다면서도 테사에 AI를 추가했는지 대한 질문에는 명확히 답하지 않았다.

섭식장애 치료를 위한 웹사이트 '위딘 헬스' 최고경영자(CEO) 웬디 올리버 피얏은 이번 테사 오류를 가볍게 생각해선 안 된다고 지적했다.

그는 "AI를 공격하고 싶지 않다"면서도 "하지만 이 나라에서는 52분마다 1명씩 섭식장애로 사망하는 만큼 이 문제를 대수롭지 않게 넘길 수는 없다"고 지적했다.

/연합뉴스