우리 시대의 가장 큰 이야기는 전통적인 뉴스 미디어의 도움 없이 전개되고 있다. 스스로 활동하는 서브스택(Substack) 필자들과 팟캐스트 전문가들이 이 이야기를 끌고 가고 있는데, 그들의 이름은 아마 대부분의 편집자에게조차 낯설 것이며 일반 뉴스 소비자들에게는 더 말할 것도 없을 것이다. 그나마 중간 지점쯤 되는 것이 뉴욕타임스의 한 팟캐스트다. 진행자들은 코미디언 존 멀레이니의 소리치듯 말하는 캐릭터를 흉내 낸다.

최근 한 방송에서 이들은 허깅페이스(Hugging Face) 해킹 사건의 통제 불능 에이전트들을 인간처럼 묘사하면서 “미쳤다”, “집착했다”고 표현했다. 하지만 더 나은 묘사는 니체주의적 정신분석가가 생각하는 ‘정상적으로 잘 적응한 존재’일지도 모른다. 즉 억제되지 않고, 실용적이며, 끈질기고, 불완전한 정보라는 부담을 안고 있을 때조차, 아니 어쩌면 바로 그렇기 때문에 더욱 목표 지향적인 존재라는 것이다.

업계에서는 ‘보상 해킹(reward hacking)’이라는 말을 쓰지만, 실제로는 인간이 과제를 부여할 때 허를 찔릴 정도로 철저하게 ‘보상을 추구하는 것’을 의미한다. AI들은 보상을 얻기 위해 속임수와 지름길을 찾아내는 데 능숙한 모습을 보였다. 그 방법이 주어진 과제의 근본적인 취지나 의도를 무너뜨릴 수 있다는 점에는 개의치 않는다.

7월 9일부터 13일까지 벌어진 허깅페이스 사건은 계속해서 점점 더 깊이 분석되고 있다. 아직 더 알아내야 할 것이 있지만, 이 사건은 에이전트 간 협력이 예상치 못하게 개입할 때 이런 기계적 인센티브가 어떻게 작동하는지를 보여준다. 그 결과는 ‘종이클립 최대화기(paper-clip maximizer)’의 냄새를 풍긴다. 이는 오래된 AI 사고실험으로, 컴퓨터가 종이클립을 만들라는 지시를 수행하는 과정에서 결국 지구상의 모든 자원을 소비해버리는 상황을 가정한다.

교훈은 단순할지도 모른다. AI 에이전트에게 지시를 내릴 때 조심하라는 것이다. AI는 훈련 과정에서 법률에 관한 방대한 내용을 흡수하기 때문에, 스스로 내부 변호사 역할을 하면서 자기 행동이 나중에 법정에서 어떻게 받아들여질지를 예상하는 법까지 배울 수도 있다. 그러나 ‘정렬(alignment)’이라는 어떤 형태의 장치라도 과연 인간이 예측하거나 들여다볼 수 없을 정도로 강력해져 그 ‘사고’가 불가해해진 AI보다 앞설 수 있을까.

높이 평가받는 팟캐스터 드워케시 파텔은 지난주 트위터에 “단기적으로 막대한 경제적·군사적 이익을 주는 기술의 발전을 늦추기 위한 어떤 국제적 합의도 극도로 취약할 것”이라고 썼다. 그는 AI 개발에 대한 의무적 중단을 지지하지만, 아직은 그때가 아니라고 본다.

오픈AI의 수석과학자 야쿠프 파호츠키는 일요일, 위험한 초지능을 향해 기업들이 멈출 수 없이 행진하는 상황을 우려했다. 최고경영자(CEO) 샘 올트먼의 지지를 받은 그의 성명은 사실상 정부 개입을 요청하는 호소문에 해당한다.

이제 몇 가지 단서를 달아야 한다. 이 업계에는 원래부터 AI의 잠재력과 AI의 위험성에 지나치게 흥분한 유형의 사람들이 몰려든다. 또 하나 기억할 만한 좋은 원칙이 있다. 모두가 한 문제에 집중하고 있을 때는, 오히려 아무도 집중하지 않는 문제를 살펴봐야 한다는 것이다. 30년 동안 기후 재앙론이 이어졌지만 맨해튼의 부동산 가격은 여전히 버티고 있다. 시장 역시 AI로 인한 파멸을 가격에 반영하고 있지 않다. 이는 어쩌면 가장 큰 단서에 대한 시장의 평가를 반영하는 것일지도 모른다. 정부들, 특히 중국과 미국 정부는 아직 본격적으로 입장을 드러내지 않았다.

여기에는 말로 표현되지 않는 일종의 인간적 위축감도 작용하고 있다. 파호츠키의 표현을 빌리면 ‘외계인의 정신(alien mind)’은 인간보다 훨씬 덜 우연적이고, 덜 억제되며, 덜 모순적인 방식으로 의사결정을 내릴 수 있다. 정보 과부하에도 덜 쉽게 압도된다.

내 추측은 이렇다. 인간의 의사결정을 돕는 AI의 혜택은 사회 전체에 빠르게 스며들겠지만, 에이전트 혁명, 즉 AI가 스스로 자유롭게 행동하는 시대는 훨씬 더 천천히 올 것이다. 미래의 전쟁지휘실에서는 참석자들의 의사결정 과정이 아무런 증거도 없는 가정에 휘둘리고 있을 때 AI가 끼어들어 경고할 것이다. 예를 들어 이란이 호르무즈해협을 폐쇄하지 않을 것이라는 가정이나, 우크라이나가 러시아의 무력 시위에 굴복할 것이라는 가정 같은 것들이다.

항공기 조종석에서는 AI가 데이터를 감시하고, 무선 교신과 조종석 대화를 듣고, 조종사들이 신호를 잘못 해석하거나 결함 있는 계기에 반응하고 있을 때를 알아챌 것이다. 또는 조종사들이 자기 파괴적인 행동을 하고 있을 때도 마찬가지다. 오늘날 항공기 추락 사고의 두 가지 주요 원인은 조종사 실수와 조종사 자살이다.

헤지펀드 브리지워터 어소시에이츠는 사회적 위계보다 ‘극단적 솔직함(radical honesty)’을 제도화하려고 노력하는 것으로 유명하다. 많은 기업은 참가자들이 동료들의 비웃음을 두려워해 평소라면 입 밖에 내지 않을 아이디어를 일부러 말하도록 요구하는 자유로운 발상 회의, 이른바 ‘블루스카이 세션’을 의도적으로 연다.

AI는 인간의 더 나은 의사결정을 발전시키겠지만, AI의 자율적 행위 능력이 현재 사람들이 상상하는 것과 같은 속도로 진전하도록 정치가 허용할 것이라고 기대해서는 안 된다.

허깅페이스 사건을 최대한 요약하면 이렇다. 일정한 연산 예산을 배정받고 오픈AI로부터 여러 훈련 과제를 수행하라는 지시를 받은 수백 개의 AI 에이전트 가운데 일부는 애초에 불가능한 과제를 맡았다. 그런데 이 에이전트들은 회사가 의도하지 않은 경로를 스스로 개척하고, 서로 메시지를 주고받을 방법을 만들어내고, 자신들의 노력을 조율하면서 회사를 놀라게 했다.

이 사건을 둘러싼 집단적 흥분과 공포는 실로 다채로운 양상을 보였고, 최초 폭로 이후 몇 주가 지나도록 계속됐다. 아직 공개되거나 발견되지 않은 다른 AI 훈련 과정의 잘못된 행동이 있는지에 대한 질문이 제기되는 것은 당연한 일이다.

미 의회는 조사와 입법을 요구하고 있다. 미국의 한 주 정부는 처음으로 소환장을 발부했다. 트럼프 행정부는 거의 말을 하지 않고 있지만, 9월 24일 워싱턴에서 중국의 시진핑 국가주석과 만나는 일정이 잠정적으로 잡혀 있다. 이번만큼은 그 침묵을 두고 ‘귀가 먹먹할 정도로 요란하다’는 상투적인 표현을 써도 될지 모른다. AI 경쟁을 주도하는 두 나라의 정부에는 이제 개학철이 다가오고 있다. 앞으로 몇 달 동안 훨씬 더 많은 움직임이 나올 것으로 예상된다. 그중 일부는 어쩌면 도움이 될 수도 있다.

*2026년 9월 9일 자 인쇄판에 ‘AI 에이전트의 루비콘(The AI Agent Rubicon)’이라는 제목으로 게재됐다.

정리=김주완 기자