K팝 아이돌 합성 '딥페이크' 음란물 '폭증'…방심위, 4천여건 차단

김예랑 기자

입력2024.05.02 14:34 수정2024.05.02 14:34

해외 음란 사이트 등에서 K팝 아이돌 등 유명인의 얼굴을 합성 유포한 성적 허위 영상물 4691건에 대해 방송통신심의위원회가 시정 요구를 의결했다.

2일 방심위에 따르면 올해 1~4월 인공지능으로 만든 영상·이미지 합성 조작물인 딥페이크 기술을 이용한 성적 허위 영상물 모니터링 결과 작년 동기 대비 시정 요구가 약 400% 급증했다.

조사에 따르면 유명 연예인뿐만 아니라 청소년, 일반인을 대상으로 한 성적 허위 영상물도 확인됐다.

사회관계망서비스(SNS) 등에 올리는 사진, 동영상 등을 불법적으로 사용하는 경우도 있어 개인정보 유출에 각별히 주의해 달라고 방심위는 전했다.

방심위는 디지털 성범죄 피해자의 요청사항을 원스톱으로 서비스 지원기관과 연계하는 '디지털 성범죄 원스톱 신고 자동전화연결(ARS) 시스템'을 운영하고 있다. 일상에서 허위영상물을 발견한 경우 즉시 방심위로 신고하라고 당부했다.

여성가족부는 갈수록 심각해지는 디지털 성범죄를 근절하기 위해 AI를 활용해 딥페이크 영상물을 찾고 온라인 사업자에게 삭제를 자동 요청하는 시스템을 2025년까지 구축하기로 했다. 피해영상물 외에 피해자 신상정보도 삭제 지원 대상에 포함되도록 '성폭력방지법' 개정을 검토할 계획이다.

김예랑 한경닷컴 기자 yesrang@hankyung.com

관련 뉴스

1

메타, 5월부터 AI 생성 콘텐츠에 '꼬리표' 붙인다

메타가 다음 달부터 인스타그램과 페이스북 등 자사 플랫폼에 게시되는 인공지능(AI) 생성 콘텐츠에 ‘AI로 만들었음(Made with AI)’이라는 워터마크를 부착한다.6일(현지시간) 관련 업계에 따르면 메타의 콘텐츠 정책 담당 부사장 모니카 블리커트는 지난 15일 자사 블로그를 통해 “5월부터 AI 생성 콘텐츠에 라벨을 붙일 것”이라고 밝혔다.메타는 AI 이미지를 식별하는 업계 표준 방식을 활용할 방침이다. 이를 기준으로 AI 생성 콘텐츠를 감지할 때나 이용자들이 AI 생성 콘텐츠를 게시한다고 공개할 때 해당 이미지나 영상·오디오 콘텐츠에 ‘AI로 만들었음’ 문구를 담은 라벨을 붙일 계획이다.라벨을 새롭게 붙이면서 기존 정책에도 변화를 줬다. 현재는 AI를 활용해 조작한 콘텐츠를 삭제하고 있지만, 앞으로는 라벨을 붙인 대신 해당 콘텐츠를 놔둘 방침이다. 표현의 자유를 필요 이상으로 제한하는 위험을 피하기 위해서다. 메타는 오는 7월부터는 조작된 동영상 콘텐츠를 삭제하는 정책을 중단할 예정이다.메타는 올해 초부터 AI 생성 콘텐츠 식별을 위한 조처를 할 것이라고 예고한 바 있다. 메타를 포함한 다른 주요 테크기업들도 이와 같은 워터마크 정책을 도입하고 있다. 지난 2월 독일 뮌헨안보회의(MSC)에선 구글, 메타, 오픈AI 등 주요 빅테크 20개 기업이 모여 선거를 앞두고 여론을 속이는 AI 콘텐츠 유포 방지에 노력하기로 합의하기도 했다.실리콘밸리=최진석 특파원 iskra@hankyung.com
2

"얼굴 확인하고 350억 보냈는데…" 회사 발칵 뒤집은 사건

미국 재무부가 인공지능(AI) 기술의 발달로 소비자들이 금융 사기 범죄에 더욱 쉽게 노출되고 있다고 경고했다. 작년 한 해 동안 17조원에 가까운 피해액이 발생한 가운데 소규모 금융회사들을 중심으로 딥페이크(AI로 만든 이미지·영상 조작물) 등을 활용한 범죄 피해 가능성이 커지고 있다는 지적이다.블룸버그통신, 마켓워치 등에 따르면 미 재무부는 27일(현지시간) 발표한 보고서에서 이같이 지적했다. 재무부는 지난해 말 은행과 정보기술(IT) 기업, 데이터 제공업체, 자금세탁방지기관 등 관련 업계 임원 42명을 상대로 진행한 심층 인터뷰 결과에 기반해 이번 보고서를 작성했다.금융업계 임원들은 범죄자들이 딥페이크 기술을 활용해 은행 직원이나 고객을 사칭하는 사례를 특히 우려했다. 실제로 지난달 홍콩에 본사를 둔 한 다국적 기업의 최고재무책임자(CFO)가 여러 건의 송금을 명령하는 딥페이크 영상이 제작됐고, 여기에 속아 넘어간 이 기업은 사기꾼들에 2600만달러(약 351억원)를 넘겨주는 일이 있었다. 이메일로 자행되는 피싱 사기도 한층 치밀해지고 있다. 실제와 거의 흡사한 서식을 적용하고, 오타도 덜 내는 방식이다. 챗GPT 등 대화형 챗봇을 활용하면 외국인도 원어민을 완벽하게 흉내 낼 수 있다는 설명이다. 대형 금융사보다는 중소 규모 금융사가 범죄의 타깃이 될 가능성이 더욱 크다는 경향성도 확인됐다. 중소 금융사는 자체 범죄 예방 시스템을 개발할 수 있는 전문성과 IT 기술 자원이 부족하기 때문이다.재무부는 보고서에서 “금융 서비스 업계는 점점 더 자주 사이버 범죄의 무대가 되고 있다”며 “AI의 등장으로 첨단 기술에 대한 접근이 한층 용이해진 결과 범죄자들이 피해자들보다 수적으로 우세하고, 기술적으로 앞서나가는 등 유리한 위치에 놓여 있을 수밖에 없다”고 지적했다.미 연방수사국(FBI) 산하 인터넷 범죄 고발 센터에 따르면 지난해 디지털 공간에서의 금융 사기 피해액은 전년 대비 22% 증가한 125억달러(약 16조8000억원)에 달했다. 한 해 동안 접수된 민원만 88만 건이 넘었다.넬리 량 재무부 국내금융 담당 차관보는 별도 성명에서 “AI는 금융 서비스 분야에서 사이버 보안의 개념과 사기 범죄를 재정의하고 있다”며 “조 바이든 행정부는 금융기관과 협력, 최신 기술을 활용해 금융 안정성이 저해되는 것을 예방하는 데 전념하고 있다”고 밝혔다. 바이든 행정부는 대통령 직속 금융·은행정보인프라위원회, 업계 주도 비영리 기구 금융서비스부문조정협의회(FSSCC) 등 여러 기관과 협력을 강화해 일관된 규제 지침을 수립하겠다는 방침이다. 미국은행협회(ABA)는 대형 금융사와 중소형 금융사 간 격차를 줄이기 위해 범죄 관련 정보 공유를 활성화하는 파일럿 프로그램을 개발 중이다.장서우 기자 suwu@hankyung.com
3

"고깃덩어리가 된 느낌"…딥페이크 음란물 피해자 '눈물'

딥페이크로 만든 음란물 피해자가 4000명 이상이라는 조사 결과가 나왔다.영국 일간지 가디언은 21일(현지시간) 채널4뉴스가 가장 많이 방문한 딥페이크 웹사이트 5곳을 분석한 결과 거의 4000명의 유명인이 등록되어 있었고, 이 중 영국인은 255명이었다고 보도했다.인공지능을 이용해 음란물에 얼굴이 합성된 인물에는 배우와 가수, 모델 등 연예인은 물론 유튜버 등 인플루언서들도 포함됐다. 5개 사이트의 조회수는 3개월 동안 1억회를 기록했다.피해자 중 1명인 채널4뉴스 진행자 캐시 뉴먼은 "누군가가 조합한 내가 보지 못한 모습을 다른 사람들이 본다는 게 위협적으로 느껴진다"며 "가짜로 만들어진 내 모습이 있고, 이걸 누군가가 본다는 행위를 생각하는 것만으로도 불길한 느낌"이라고 불쾌함을 드러냈다.온라인안전법에 따라 영국에서는 지난 1월 31일부터 동의 없이 딥페이크 콘텐츠를 만드는 것은 물론 이를 공유하는 것 또한 불법이다. 해당 법안은 AI와 앱을 통해 생성되는 딥페이크 포르노가 확산하는 것에 대응해 만들어졌다.가디언은 2023년 3분기 동안 가장 많은 이용자 수를 기록한 상위 40개 딥페이크 포르노 사이트에서 13만3733개의 새로운 딥페이크 포르노 영상이 업로드됐다는 조사 결과를 전했다. 이는 전년도 전체를 합친 것보다 많은 수치라는 설명이다.딥페이크 포르노 피해를 본 소피 패리쉬는 채널4뉴스에 "매우 폭력적이고 굴욕스러운 일이었다"며 "여성이라는 존재가 아무 의미도, 쓸모도 없는 고깃덩어리가 된 거 같았다"고 토로했다.영국 내 온라인안전법 감시기관인 오프컴 측은 "불법 딥페이크 자료는 매우 큰 혼란과 피해를 준다"며 "해당 기업들은 이와 같은 콘텐츠가 자사 서비스에 유포될 위험을 평가하고, 인지하면 즉각 삭제 조처를 해야 한다"고 밝혔다.구글은 "우리는 딥페이크 음란물이 얼마나 고통을 주는지 알고 있으며, 피해자들을 돕기 위해 보호 장치를 구축하기 위해 최선을 다하고 있다"며 "또한 추가적인 보호장치를 적극적으로 개발하고 있다"고 전했다.페이스북과 인스타그램을 운영하는 메타 측도 "우리는 아동 음란물 등 미성년자에 대한 성적 대상화 콘텐츠, AI가 생성한 비동의 음란물 등에 대해 엄격히 금지하고 있다"며 "딥페이크 생성 앱은 다양한 앱스토어에서 쉽게 이용할 수 있지만, 우리는 이런 앱의 광고와 그 뒤에 있는 계정까지 모두 제거했다"고 밝혔다.김소연 한경닷컴 기자 sue123@hankyung.com