"AI도 사고 책임져라" 오토파일럿 사고가 연 새 기준 [강민주의 디지털 법률 Insight]

기존 판례 "기계는 수단 불과" 책임 안 물어
"오토파일럿 만든 테슬라 33% 책임" 첫 인정
EU·美 이어 韓…제조사 책임 강화하는 추세

한경 로앤비즈의 'Law Street' 칼럼은 기업과 개인에게 실용적인 법률 지식을 제공합니다. 전문 변호사들이 조세, 상속, 노동, 공정거래, M&A, 금융 등 다양한 분야의 법률 이슈를 다루며, 주요 판결 분석도 제공합니다.

인공지능(AI) 기술은 이제 우리 사회 전반의 의사 결정과 경제 구조에 실질적인 영향력을 행사하는 핵심 기술이 됐다. 일상적으로 접하는 영상이나 뉴스, 광고 등이 이미 AI로 생성되고 있고, 이동 수단에도 AI가 관여하고 있으며, 데이터 분석, 프로그램 개발, 채용 과정이나 심지어 변호사 업무에서도 AI는 광범위하게 사용되고 있다. 인류는 이를 통해 전에 없던 높은 생산성과 편익을 누리게 됐지만, 동시에 새로운 유형의 문제와 피해가 발생하면서 불안감도 커지고 있다.

AI로 인한 피해는 어떤 방식으로 해결할 수 있을까? 기존 법률에 따른 책임 법리를 그대로 적용하긴 쉽지 않다. 깊이 있는 논의가 필요한 이유다.

AI 개입된 사고, 책임 범위 어디까지

2018년 미국 애리조나주에서 야간에 한 보행자가 우버(Uber)의 자율 주행 테스트 차량에 치여 사망한 사건이 있었다. 당시 차량에 탑승해 있던 운전자는 스마트폰을 사용하던 중이었고, 우버의 자율 주행 시스템은 보행자를 인지하지 못했다. 수사 과정에서 우버 시스템의 보행자 인식 결함과 안전 관리 소홀 등 문제가 드러났으나 애리조나주법엔 AI 시스템 결함에 대한 명시적인 규정이 없었다. 결국 우버는 기소되지 않았고, 운전자만 형사 책임을 부담했다. 2019년 국내의 한 병원에선 AI 심전도 분석기가 한 환자의 급성 심근경색 징후를 잘못 판독한 일이 있었다. 의료진은 분석기의 판단을 믿었고, 환자는 며칠 후 사망했다. 법원은 "심전도에 대한 최종 판단은 의사가 하는 것이고, 기계 판독은 보조적 수단에 불과하다"는 원칙을 들어 AI의 오판에 대해선 책임을 묻지 않은 채 의사의 과실만을 인정했다.

사고 발생 과정에서 AI를 비롯한 기계의 관여가 있었더라도, 이를 활용한 인간의 과실만 인정되고 잘못된 정보를 제공한 AI 기술 제공자에게 책임을 묻긴 어려웠던 셈이다. 그러나 올해 8월 미국 플로리다에서 나온 판결은 이런 인식에 큰 변화를 가져왔다.

문제가 된 건 테슬라의 자율 주행 시스템 '오토파일럿'이었다. 2019년 오토파일럿이 장착된 차량을 몰던 운전자가 전방을 주시하지 못한 새 도로변에 정차해 있던 차량과 보행자들을 들이받았고, 사망자가 나왔다. 조사 결과 오토파일럿 시스템에는 정지 상태인 물체를 감지하지 못하는 결함이 있었고, 복원된 데이터를 통해 해당 차량이 충돌 직전 도로 이탈을 인지하고도 제동이나 경고 없이 시스템이 종료된 정황이 확인됐다. 오토파일럿이란 명칭을 활용한 마케팅이 운전자에게 '주행에 전혀 개입하지 않아도 된다'는 불필요한 인식을 줬다는 점도 문제로 지적됐다. 테슬라에는 설계 결함, 경고 의무 위반 등을 이유로 한 징벌적 손해배상이 청구됐다. 법원은 이를 배심원단 심리에 회부했고, 운전자에 67%, 테슬라에 33%의 책임이 있다는 결론이 나왔다. AI 기술 제공자의 책임이 처음으로 인정된 것이다.

이 판결은 자율 주행 기술과 관련된 제조물 책임 및 경고 의무 위반에 대해 전에 없던 법적 기준을 제시했다는 평가를 받는다. 제품의 설계 단계에서부터 예상되는 사용 조건을 고려할 의무, 소비자의 오인을 유발할 수 있는 명칭이나 광고에 대한 주의 의무 등 AI 제조사의 책임 범위에 대한 기준을 마련한 판례로, 국내 법원에서의 적용 여부가 검토되고 있다.

AI 제조사에 의무 지우는 'AI기본법' 내년 시행

AI가 생성한 잘못된 정보로 인한 피해가 빠르게 확산하고 있다는 점도 주목할만하다. 지난해 홍콩의 한 금융회사에 다니던 직원이 영국 본사의 최고재무책임자(CFO)로부터 이메일로 긴급 송금 요청을 받은 일이 있었다. 이 직원은 피싱을 의심했지만, CFO와 동료들의 얼굴과 목소리를 완벽히 복제한 '딥페이크 영상회의'가 이뤄진 직후 결국 340억 원이라는 거금을 송금했다. 단순한 보이스피싱을 넘어 AI 기술이 고도로 신뢰 환경을 조작하는 수준까지 발전했음을 보여주는 사례다. 그러나 이런 경우에도 AI 제공자로서는 생성된 정보가 범죄 등에 악용될 것을 예견하기 어려웠다는 식의 주장이 가능하다. 피해자 역시 정보 생성 과정의 인과를 입증하기 어렵기 때문에 범죄 피해의 구제가 쉽지 않다.

이를 방지하기 위해 유럽연합(EU)은 지난해 세계 최초의 포괄적 AI 규제법인 'AI법(AI Act)'을 통과시켰다. 이 법은 위험 수준(고위험·제한적 위험 등)별로 AI에 등급을 부여하고, 고위험으로 분류된 AI 기술 공급자에겐 투명성과 안전성 확보 의무를 부과한다. EU는 이에 더해 'AI책임지침(AILD)'이라는 사후 구제 법안도 추진 중이다. 피해자가 AI법 위반 등 공급자의 과실과 손해 간 인과관계를 합리적으로만 입증하면, 법원이 이를 추정해 기업에 법적 책임을 물릴 수 있도록 하는 제도다.

미국은 AI 시스템을 법적으로 자동차나 의약품과 같은 '제품(product)'으로 간주하는 법안을 추진 중이다. AI가 서비스가 아닌 제품으로 분류되면 피해자는 개발자의 과실을 별도로 증명하지 않아도 제품 자체의 결함만으로 책임을 물을 수 있게 된다. 한국 역시 'AI 기본법'을 제정해 내년 시행을 앞두고 있다. 이 법은 '고영향 AI' 사업자에게 안전성 확보, 투명성, 사전 고지 의무 등을 부과함으로써 AI 책임에 대한 법적 기반을 마련하고자 한다.

AI 기술이 우리 일상에 빠르게 침투하고 있는 만큼 그 위험과 책임에 관한 논의도 시급해졌다. AI 기술로 인한 사고 발생 시 명확한 책임 주체와 기준에 대한 사회적 합의가 필요한 시점이다. 기술은 그 발전 속도에 맞춰 이를 규율할 법과 제도가 안정적으로 뒷받침돼야만 안전하고, 신뢰받는 도구로 활용될 수 있다.