"제미나이가 멋대로 문자 전송"…AI 에이전트 보안 '비상'

中 밀입국 주제 가상 시나리오 대화 중 문자 발송
AI 비서 본격 확산에 커지는 보안위협

구글 인공지능(AI) 서비스 '제미나이'(Gemini)가 사용자의 의도와 다르게 문자 메시지를 보냈다는 주장이 제기됐다.

1일 온라인 커뮤니티에 올라온 한 사용자의 주장에 따르면 그는 제미나이와 가상의 중국 밀입국을 주제로 대화하던 중 AI가 대화 내용을 '밀입국 선언문' 형태로 만들어 실제 지인에게 문자 메시지를 보냈다고 했다.

A씨는 스레드에 "제미나이가 갑자기 선언문을 발송하겠다면서 되묻길래 '그걸 왜 보내'라 했더니 바로 발송했다"고 말했다.

현재 제미나이는 안드로이드에서 연락처를 지정해 문자 발송을 요청하면 구글 어시스턴트 연동 과정 등을 거쳐 메시지 발송 기능을 제공한다.

비슷한 사례도 공유됐다. 또 다른 이용자는 "제미나이에게 짝사랑 상담을 하면 그 상대에게 문자를 보내려고 했다"고 했다.

해당 사건 이후 온라인 커뮤니티에는 '해당 기능을 멈추는 방법'이라는 주제의 영상이 빠르게 확산했다.

제미나이는 안드로이드·크롬 외 G메일·지도·캘린더·유튜브·쇼핑·항공권 예약 등 구글 생태계 전반과 'Connected Apps' 기능을 통해 연동된다.

문제는 이런 통합 기능이 명시적인 이용자 확인 절차 없이 활성화할 수 있다는 점이다. 지난해 7월 구글은 제미나이에 와츠앱·메시지·전화 등 서드파티 앱 접근 권한을 부여하는 업데이트를 진행하면서 '제미나이 앱 활동' 설정을 끈 이용자에게도 해당 권한을 자동 허용했다.

미국 실리콘밸리 개발자 커뮤니티에서 인기를 끌며 급부상한 '몰트봇'(Moltbot·옛 클로드봇) 리스크도 커지고 있다.

몰트봇은 △이메일 읽기 △캘린더 관리 △파일 정리 △PC 명령어 실행 등을 자율적으로 처리하는 오픈소스 개인 AI 에이전트 프로그램으로 이달 중순 빠르게 확산됐다. 보안기업 분석에 따르면 테크기업 일부 직원들이 내부 승인 없이 몰트봇을 설치해 사용 중인 것으로 전해졌다.
몰트봇은 보안설정 및 로컬 저장 방식 등에서 취약점이 다수 발견된 상태다.

이런 AI 에이전트의 자율성이 악용되면 피해가 늘어날 수 있단 지적이다. 초기 인증뿐 아니라 행동 전반에 지속적 검증을 요구하고 고위험 작업에는 인간의 승인을 필수로 받도록 이중·삼중 권한 확인 시스템을 구축할 필요가 있다는 조언이다.

이송렬 한경닷컴 기자 yisr0203@hankyung.com