[책마을] AI가 위험하다고?…진짜 경계해야할 건 '가짜 AI'

AI 버블이 온다

아르빈드 나라야난·사야시 카푸르 지음
강미경 옮김
윌북 / 420쪽│2만4800원

美 프린스턴대 전문가 조언
AI라고 다 같은 AI 아냐

생성형 AI 유용성은 인정
예측형 AI는 '가짜 만병통치약'
정확도 '동전 던지기'와 비슷해

GettyImagesBank

세상에 ‘탈것’이라는 집합명사만 있고 각 교통수단을 지칭하는 말이 없다면 어떨까. 누군가는 자전거를, 다른 누군가는 트럭을 떠올리며 탈것이 친환경적인지 아닌지를 두고 난상토론을 벌일 것이다. 사람들은 탈것 판매상에게 전화를 걸어 엉뚱한 신형 모델을 주문하고, 사기꾼들은 사람들이 이 방대한 탈것 과학기술에 관해 무엇을 믿어야 할지 모른다는 사실을 악용해 범죄를 저지른다.

여기서 ‘탈것’이라는 단어에 ‘인공지능’(AI)을 바꿔 넣으면 지금 우리가 처한 상황을 알 수 있다고 는 꼬집는다. 최근 국내 번역 출간된 이 책은 은행 대출 자격을 심사하는 AI와 ‘내 사진을 지브리 스타일로 바꿔달라’고 주문하는 AI와의 대화, 경찰의 안면인식 기술 등을 모두 한 묶음으로 바라보고 있는 실정이라고 지적한다.

또 AI 앞에 인류가 허둥대고 또 설레는 현시점에 “우리는 기술이 아니라 환상을 사고 있다”고 경고한다. AI에 관한 진짜 위협은 당신의 지갑을 노리는 ‘가짜 AI’라는 것이다. 원제는 ‘AI Snake Oil.’ 사기꾼 약장수가 파는 가짜 만병통치약 뱀기름처럼 AI 사기극이 판을 친다는 의미다.

이 책은 프린스턴대 정보기술정책센터의 아르빈드 나라야난 소장(컴퓨터과학부 교수)과 사야시 카푸르 연구원이 함께 쓴 책이다. 두 사람은 AI 연구자 및 정책 입안자 6만 명 이상이 구독하는 AI 정보 뉴스레터를 발행하고 있다. AI 최전선 미국에서 주목하는 전문가들이다. 나라야난 소장은 기업이 개인정보를 수집하고 사용하는 방법을 밝히는 연구인 ‘프린스턴 웹 투명성 및 책임성 프로젝트’를 이끌었는데, 그의 연구는 머신러닝이 문화적 고정관념을 어떻게 반영하는지 보여주는 최초의 연구로 여겨진다. 카푸르 연구원은 미국 컴퓨터학회(ACM)에서 최우수 논문상 등을 받았다.

책이 주목하는 AI 유형은 크게 두 가지다. 채용·의료·치안 등 분야에서 이미 우리의 삶을 결정하고 있는 ‘예측형 AI’ 그리고 챗GPT로 대표되는 ‘생성형 AI’다.

저자들은 예측형 AI야말로 현대판 뱀기름이라고 말한다. 미국의 많은 주정부에서 재판 전에 피고를 풀어줄지 구금할지 결정할 권한을 위험 평가 도구에 부여하는데, 여기 투입하는 예측형 AI에는 빈곤, 인종 등에 대한 인간의 편견이 반영된다. 시카고의 총기 탐지 AI 시스템 구축에는 수백억원이 들었으나 범죄 예방 효과를 입증하지 못했고, 미국 최대 의료 기업 에픽의 패혈증 예측 모델은 동전 던지기와 별반 다를 바 없는 정확도를 보였다. 미래를 예측하겠다는 것 자체가 의도했든 아니든 사기라고 책은 말한다. 수많은 변수가 상호작용해 만드는 미래는 본질적으로 예측이 불가능하므로 데이터를 아무리 많이 넣어도 AI는 미래를 예측할 수 없다고 주장한다.

생성형 AI에는 상대적으로 우호적이다. 유용성을 인정한다. 다만 ‘확률적 앵무새’라는 사실을 인지한 채 사용해야 한다고 말한다. 확률에 기반해 그럴싸한 문장을 만들어내는 것이기 때문에 절대적으로 신뢰하거나 활용할 수 없다는 지적이다. AI로 광고 수입이 줄자 비용을 줄이겠다며 AI 기자를 도입했다가 오류투성이 기사로 매체 영향력이 무너진 언론사, AI가 만들어낸 엉터리 판례를 인용했다가 자격 정지를 당한 변호사 사례 등을 근거로 제시한다.

기술 비관론과는 거리를 둔다. ‘안 되는 기술’에 대한 집착을 과감히 버려야 진정한 혁신이 가능하다고 책은 말한다. 기술이 아니라 기술을 개발하고 사용하는 인간의 태도가 문제라는 점을 분명히 한다. 에픽의 패혈증 예측 모델에 대한 신뢰도가 높지 않은데도 병원들이 앞다퉈 사용하는 건 에픽이 이 모델을 사용하는 병원에 최대 100만달러의 융자 혜택을 제공하기 때문이었다. AI 책임 소재를 탐사 보도하는 기자들을 지원하는 퓰리처 센터 등을 소개하는데 한국 사회도 눈여겨볼 만하다. 책 중간에는 이런 저자들의 선물도 담겨 있다. “이 책을 강의에 사용하려는 교수진과 학생들은 OOO 사이트에 연습 문제와 기타 교육 자료를 올려놓았으니 참고하기 바란다.”

구은서 기자 koo@hankyung.com