"AI가 스스로 숨은 약점 찾는다"…KAIST, 공격 유형 7배 늘린 검증 기술 개발

김준모 교수 연구팀, LLM 안정성 검증 기술 개발
134개의 고유한 공격 유형 찾아, 성공률 92%

(왼쪽부터) 김준모 KAIST 교수, 권민찬 박사과정생/사진=KAIST 제공

생성형 인공지능(AI)이 유해하거나 위험한 답변을 내놓도록 유도해 취약점을 찾아내는 기술이 개발됐다. 기존 방식보다 약 7배 다양한 공격 유형을 발굴하면서도 92%의 공격 성공률을 유지했다.

KAIST는 김준모 전기및전자공학부 교수 연구팀이 대규모언어모델(LLM)의 안전성을 점검하는 새로운 레드팀 기술인 ‘스테이블-지플로우넷’을 개발했다고 30일 발표했다.

레드팀은 AI 서비스를 출시하기 전 공격성 질문을 던져 숨은 약점을 찾아내는 과정이다. AI가 폭력이나 범죄 등 유해한 답변을 하도록 유도하는 질문을 만들어 방어 체계가 제대로 작동하는지 시험한다. 다양한 공격 방법을 찾아낼수록 서비스 출시 전 더 많은 취약점을 고칠 수 있다.

기존에는 강화학습을 활용해 공격 질문을 만드는 방식이 주로 쓰였다. 하지만 성공률이 높은 몇 가지 질문만 반복적으로 생성해 다양한 취약점을 찾지 못하는 한계가 있었다.

연구이미지 (AI생성이미지)/KAIST 제공

연구팀은 성공 가능성이 높은 공격 질문을 학습하면서도 의미가 없거나 어색한 문장은 걸러내도록 기술을 개선했다. 복잡한 계산을 줄여 학습을 안정시키고, 불필요한 잡음을 제거해 사람이 실제로 사용할 법한 자연스러운 문장을 생성하도록 했다.

실험 결과 스테이블-지플로우넷은 134개의 고유한 공격 유형을 찾아냈다. 기존 기술이 발굴한 17개보다 약 7.9배 많은 수준이다. 공격 성공률도 92%를 기록했다.

이 기술을 이용해 학습한 방어 모델은 기존에 학습하지 않은 다른 공격 방식에도 효과적으로 대응했다. 연구팀은 신약 후보 물질을 설계하는 분자 생성 분야에서도 기존 기술보다 빠르고 안정적인 성능을 확인했다.

김 교수는 “적은 데이터와 잡음이 많은 현실적인 환경에서도 AI의 다양한 취약점을 안정적으로 찾아낼 수 있는 기술”이라며 “생성형 AI를 실제 서비스에 적용하기 전 위험 요소를 폭넓게 점검하는 데 활용할 수 있을 것”이라고 말했다.

유지희 기자 keephee@hankyung.com