"수천개 계정으로 실시간 여론조작…악성 AI 군집, 민주주의 위협한다"

석학들 '사이언스 논문'서 경고

인간처럼 대화하며 가짜여론 생성
선거 판도 바꾸고 불복 유도할 수도

인공지능(AI)이 수천 개의 서로 다른 모습으로 위장해 집단적으로 혼란을 조성하는 이른바 ‘악성 군집 AI’가 민주주의를 위협할 수 있다는 경고가 나왔다.

다니엘 슈뢰더 노르웨이 과학산업기술연구재단(SINTEF) 연구원과 차미영 독일 막스플랑크연구소 보안·정보보호연구소 단장 등 22명의 국제 연구진은 23일 세계 3대 학술지 ‘사이언스’에 이런 내용의 보고서를 실었다.

연구진은 보고서에서 “군집 AI는 고급 추론 능력으로 민주주의를 심각하게 교란할 수 있다”고 밝혔다. 보고서에 따르면 대만과 인도의 2024년 선거에서 AI로 생성된 딥페이크가 등장했고 기후정책, 해외 원조 같은 이슈를 둘러싼 논쟁을 유도하기 위해 조작된 뉴스가 개입한 사례가 확인됐다.

수많은 AI 에이전트가 뭉친 군집 AI는 여러 온라인 플랫폼에서 24시간 활동하며 이용자의 반응에 따라 메시지를 실시간으로 수정한다. 이 과정에서 가짜뉴스와 출처가 불분명한 이야기가 사회 전반에서 통용되는 것처럼 보이게 만드는 ‘조작된 합의’가 형성될 수 있다는 분석이다.

보고서는 또 다른 위험 요소로 연예인, 정치인 등 공인을 향한 집중 공격을 꼽았다. 겉으로는 자발적인 대중의 분노처럼 보이지만 실제로는 수천 개 AI 에이전트가 조직적으로 움직이는 방식이다. 연구진은 “군집 AI는 매우 낮은 비용으로 복수의 공인을 괴롭힐 수 있다”며 “설령 이런 공격을 뒤늦게 차단하더라도 당사자는 이미 되돌릴 수 없는 타격을 받은 뒤일 가능성이 크다”고 했다.

선거관리위원회, 법원 등 헌법 기관을 향한 공격이 조직적으로 확산하면 절차적 정당성 자체가 붕괴될 수 있다고도 지적했다. 선거 결과 불복과 같은 행동이 합리적인 선택으로 받아들여질 위험이 커지고, 알고리즘이나 시민단체를 가장한 조작된 발언이 이를 더욱 증폭할 수 있다고 설명했다. 연구진은 최첨단 AI 모델을 대상으로 위험 평가를 의무화해야 한다고 강조했다. 연구진은 “앞으로 몇 년이 악성 군집 AI의 공격을 막을 수 있는 결정적 시기”라고 강조했다.

최영총 기자 youngchoi@hankyung.com