AI가 AI를 해킹하는 시대, 우리의 할일은?

한경 로앤비즈의 'Law Street' 칼럼은 기업과 개인에게 실용적인 법률 지식을 제공합니다. 전문 변호사들이 조세, 상속, 노동, 공정거래, M&A, 금융 등 다양한 분야의 법률 이슈를 다루며, 주요 판결 분석도 제공합니다.

인공지능(AI) 기술이 발전하고 활용도가 높아지면서, 많은 사람이 "AI가 해킹에 사용되면 막을 수 있냐"고 우려한다. 최근 금융기관을 대상으로 AI를 활용한 사이버공격이 실제로 발생하면서 이런 우려는 현실이 됐다. 이제 AI를 활용한 해킹 또는 사이버공격을 당한 회사 등 금융기관에 대한 제재가 가능한지, 사고가 발생하면 어떻게 대응해야 하는지 등으로 관심의 초점이 이동하고 있다.

공격 주체 vs 공격 대상으로 다른 AI

먼저 AI에 관한 해킹을 두 가지로 나눌 필요가 있다. 첫 번째는 공격자가 AI를 이용해 금융기관 등의 취약점을 탐색하고, 피싱 문안 생성, 악성코드 변형, 탈취 계정을 이용한 자동 로그인 시도 등 'AI를 사용한 공격'이다. 임직원의 음성과 영상을 위조해 내부 승인 절차를 우회하려는 딥페이크 공격, 여러 공격 단계를 스스로 수행하는 AI 에이전트의 악용도 여기에 속한다.

두 번째는 금융회사가 도입한 AI 시스템 자체를 노리는 공격이다. 아직 금융기관은 규제 등으로 인해 서비스 직접 제공에 AI 이용이 제한돼 있지만, 일반 회사의 경우에는 AI를 사용해 고객을 대상으로 하는 서비스를 제공한다. 이 같은 AI에 악의적 명령을 넣어 내부정보를 빼내거나 권한 없는 업무를 실행하게 하는 프롬프트 인젝션이 대표적이다.

전자는 기존 정보기술(IT) 시스템에 대한 안전성 확보 의무를 어떻게 이행하느냐의 문제로서 그 방법이 AI로 바뀌었을 뿐이고, 그에 대한 제재와 책임은 기존 법률 체계의 해석에 따라 달라진다. 후자는 이에 더해 AI 서비스의 설계·운영·통제에 관한 주의 의무라는 새로운 영역을 연다. 이는 기존의 법률 체계에 더해 작년부터 시행된 AI 기본법도 적용된다.

'합리적 보호조치' 판단 기준은?

전자와 같은 유형의 AI 해킹과 관련해서 일반적으로 회사 IT 시스템은 개인정보 보호법, 정보통신망법, 전자금융거래법 등 기존 법령 체계에서 보호 대상으로 하고 있다. 그리고 이러한 이를 보호하기 위해 각 법령에서는 금융기관·기업 등이 취해야 할 조치를 정하고 있다.

AI를 이용한 해킹의 경우 회사나 금융기관 등의 책임 소재도 원칙적으로는 과거 사람에 의한 해킹과 같이 각 회사나 금융기관이 위와 같은 조처를 했는지 여부가 일차적인 판단 기준이 될 것으로 보인다.

다만 이와 관련해서 한 가지 고려해야 할 사항은 예측 가능성이다. 법률은 원칙적으로 이행 불가능한 의무를 부과할 수는 없다. 이에 따라 사고 당시의 기술 수준, 위험의 예견 가능성, 결과 회피를 위한 조치의 가능성과 비용을 종합적으로 고려한다. 따라서 특정한 보호조치를 이행하기 어렵다고 판단된다면, 이를 기준으로 회사 또는 금융기관에 책임을 물을 수 없을 것이다.

예를 들어 개인정보 보호법에 따른 안전성 확보 조치 고시에 따른 의무가 인정된다고 하더라도 일반적으로 그 의무를 이행하기 위해 도입된 수단을 넘어 AI로 분석해 보면 발생할 수 있는 취약점에 대한 모든 수단을 도입할 의무까지 인정된다고 보기는 어려울 것이다.

사고 유형 따라 책임이 달라진다?

같은 AI 해킹이라도 사고 유형에 따라 책임 범위가 달라질 수 있다는 점을 고려할 필요가 있다.

고객 정보가 유출된 경우에는 개인정보 보호법과 '신용정보의 이용 및 보호에 관한 법률'(신용정보법)이 적용된다. 보호조치 의무 위반, 손해 발생, 인과관계가 주요 쟁점이 되며, 각 법이 정한 법정 손해배상 규정이 적용될 수 있는지도 함께 검토해야 한다.

고객 계좌에서 부정 송금이 일어난 경우에는 전자금융거래법 제9조가 정한 금융회사의 책임이 중심 쟁점이 된다. 또 접근 매체의 위조·변조 등 법이 정한 사고로 이용자에게 손해가 생기면 금융회사가 원칙적으로 배상책임을 지도록 하고 있다. 이용자에게 고의나 중대한 과실이 있으면 법정 요건과 약관에 따라 책임을 분담할 수 있다.

딥페이크 등 AI 기술로 접근 매체나 본인확인 절차가 무력화된 경우 이를 법이 말하는 '위조·변조'로 볼 수 있는지, 이용자의 중대한 과실은 어디까지 인정되는지가 앞으로 해석상 중요한 쟁점이 될 것으로 보인다.

결국 AI 해킹과 관련해 회사나 금융기관의 책임을 줄이는 가장 중요한 첫걸음은 현재까지 준비해 온 것과 같이 통상적으로 예견할 수 있으면서 당시의 보안 수준에 비춰 안전하다고 생각되는 조치를 법령에 따라 취하는 것이다.

방어용 AI로 책임 면제, 가능할까?

한편 회사나 금융기관은 AI 해킹을 방어하기 위한 목적으로 AI 보안솔루션을 도입할 것으로 예상된다. 그러나 주의할 점은 AI 보안솔루션을 도입했다고 해서 회사나 금융기관이 그 책임을 모두 면제받을 수 있다거나 그 솔루션 제공업체에 책임을 전가할 수 있는 건 아니라는 점이다. 솔루션이 공격을 탐지하지 못했다면 공급업체에 계약상 책임을 물을 수는 있다.

그러나 이는 금융회사와 공급업체 사이의 내부 관계일 뿐, 고객에 대한 회사나 금융기관의 책임에는 원칙적으로 영향을 주지 않는다. 반대로 AI가 정상 거래를 부정거래로 오인해 막은 경우에는 고객의 손해와 금융서비스 제공 의무 위반 문제가 생길 수 있다.

따라서 AI 보안솔루션 계약에는 탐지율·오탐률 등 성능 기준과 검증 방법, 침해사고 통지 시한, 손해배상 범위와 책임 제한 조항, 고객정보의 AI 학습 이용 금지, 금융회사의 감사·검증권, 재위탁 통제, 계약 종료 시 데이터 반환·삭제와 서비스 이전에 관한 사항을 구체적으로 정해야 한다.

기업 대응 방안은?

법적 위험을 관리한다는 관점에서 금융사 등은 단계적으로 대응할 필요가 있다. 이미 많은 곳이 이번 금융권 해킹을 기점으로 점검하고 있다. 이런 해킹이 점점 증가하고 있다는 것이 국내외 보안업체의 공통된 전망이다. 내가 속한 회사에 문제가 조만간 발생할 수 있다는 생각으로 점검할 필요가 있어 보인다.

AI 해킹에 대한 대응을 새로운 보안솔루션 도입의 문제로만 이해해서는 안 된다. 앞으로 회사나 금융기관의 사이버보안 수준은 기술적 방어 능력뿐 아니라 경영진의 위험관리, 법적 책임 체계, 고객 보호조치, 외부 업체 관리능력을 종합적으로 평가받는 방향으로 나아갈 것이다.

법률 실무 역시 개인정보보호 중심의 자문에서 벗어나 사이버보안, 금융규제, 임원 책임, 사고 대응을 아우르는 통합적 접근이 필요하다.

분쟁과 제재의 국면에서 회사와 금융기관을 지켜주는 것은 "새로운 공격이라 막을 수 없었다"는 항변이 아니다. 당시 기준에서 합리적인 보호조치를 다했음을 보여주는 객관적 기록이다. AI 해킹 시대의 법적 책임은 사고가 일어난 뒤가 아니라 그 전에 이미 정해진다.