최첨단 인공지능(AI) 모델이 감춰둔 ‘생각의 과정’을 같은 회사 하위 모델을 이용해 그대로 끄집어낼 수 있다는 연구 결과가 나왔다. AI 기업의 핵심 자산인 추론 과정뿐 아니라 개인정보까지 노출될 수 있어 생성형 AI 보안 체계의 허점이 드러났다는 평가가 나온다.

◇싼 모델 이용하면 쉬워

"AI 보안 허점…싼 모델 통해 개인정보 쉽게 탈취"
알렉산더 판필로프 독일 튀빙겐대 박사과정 등은 11일(현지시간) ‘응용프로그램인터페이스(API)를 통한 폐쇄형 대규모언어모델(LLM) 추론 과정 탈취’ 논문을 발표했다. 연구진은 논문에서 “첨단 AI 모델의 추론 과정을 같은 회사 하위 모델로 추출할 수 있다”고 밝혔다.

AI 모델은 사용자의 요청을 받으면 여러 단계로 나눠 문제를 해결한다. “코드를 분석해줘”라고 지시하면, ‘A가 원인인가→아니다→B를 확인해보자’와 같은 방식으로 추론한다. 이를 ‘추론 과정’이라고 한다.

AI 모델 개발사는 추론 과정을 암호화한다. 이 과정이 공개되면 다른 기업이 자사 모델을 베끼는 ‘증류’가 쉬워진다. 작업 중에 사용자의 이름과 이메일 주소 등을 메모처럼 추론 과정에 쓰기 때문에 개인정보 유출 우려도 있다.

연구진은 추론 과정의 빗장을 벗겨낼 방법을 찾았다고 논문에서 밝혔다. 연구진은 앤트로픽 하위 모델인 하이쿠4.5에 최신 모델인 클로드 오퍼스 4.8의 추론 과정을 코드화되기 전 형태로 돌려놓는 복호화를 하라고 지시한 결과 하이쿠4.5가 추론 과정을 평문으로 풀어 써냈다고 밝혔다. 첨단 모델은 추론 과정을 출력하지 못하도록 강하게 훈련돼 있지만, 하위 모델은 상대적으로 규정이 느슨하다는 점이 드러난 것이다.

연구진은 이를 통해 깃허브·허깅페이스 등에 올라온 6708개의 공개된 AI 에이전트 실행 기록을 수집해 31만5320개의 암호화된 추론 과정을 복원했고, 이 중 1028개의 추론 과정에서 이름·주소·이메일·API키 등의 개인정보를 확인했다고도 밝혔다.

◇中, 추론과정 통해 증류했나

논문은 중국 AI 모델이 빠르게 미국 모델 성능을 따라잡는 상황에서 더욱 주목받는다. AI 개발자들 사이에서는 중국 기업이 오픈AI·앤트로픽 등의 첨단 모델을 베끼기 위해 추론 과정을 통째로 학습시킬 수 있다는 가능성이 제기된다. 연구진은 “중국 문샷의 키미-K3가 특정 명령문에 클로드 오퍼스4.8이나 GPT-5.6 솔의 추론 과정과 놀랍도록 비슷한 출력을 생성해냈다”고 말했다. 논문은 “오픈AI와 구글 AI모델에도 하위모델을 이용한 방식이 통했다”고 적었다.

연구진은 지난 달 오픈AI, 앤트로픽, 구글에 이같은 문제를 알렸다고 했다. 판필로프는 “정보 추출 문제를 해결하려면 API 작동 방식을 근본적으로 바꿔야 한다”고 했다. 일반 고객의 AI모델 추론 과정은 모델 개발회사 서버에 보관된다.

AI를 통한 개인정보 유출·해킹 등에 대한 우려가 커지는 상황 속에서 오픈AI의 마지막 윤리학자인 클로이 바칼리가 지난달 퇴사하는 등 AI의 보안 문제도 우려된다. 파이낸셜타임즈에 따르면 지난달 오픈AI 안전시스템 책임자인 요하네스 하이데커, 수석 미래학자 조슈아 아치암이 회사를 떠난 데 이어 현재 오픈AI에는 AI 윤리 책임자가 한 명도 없다.

실리콘밸리=김인엽 특파원 inside@hankyung.com