인공지능(AI) 데이터센터 붐이 어떤 방식으로 끝날지는 어느 정도 예측할 수 있다. 다만 언제 끝날지는 알 수 없다. 대규모언어모델(LLM)을 구현하는 방식은 지금까지 막대한 자원을 투입하는 물량 공세에 가까웠다. 엔비디아의 크고 빠르며 값비싼 그래픽처리장치(GPU)가 엄청난 양의 메모리를 활용해 1조 개의 매개변수를 처리한다. 이 모든 작업은 액체 냉각 시스템을 갖추고 기가와트급 전력을 집어삼키는 데이터센터에서 이뤄진다. 가격 책정 방식마저 막대한 자원을 투입하는 구조에 맞춰져 있다. 과거 IBM의 메인프레임 컴퓨터를 떠올리게 하는 모습이다.

현재의 가격을 토대로 미래를 예측하는 데는 신중해야 한다. 모든 신기술이 그렇듯 AI 역시 기술이 정교해지는 개선 단계에 접어들고 있다. 과거 메인프레임이 더 저렴한 미니컴퓨터와 마이크로프로세서, 웹서버에 자리를 내줬고 이제 AI 아키텍처로 기술이 발전하고 있는 것과 마찬가지다. AI 토큰 가격은 이미 하락하고 있지만, 앞으로는 대부분의 사람이 예상하는 것보다 훨씬 빠르게 급락할 것이다. 기술의 성장은 결코 직선으로 이뤄지지 않는다.

수십 년 동안 실리콘밸리의 구호는 더 작게, 더 저렴하게, 더 빠르게, 더 좋게 만드는 것이었다. 나는 벤처투자자 스티브 저벳슨에게 이 구호를 숫자로 설명해 달라고 요청했다. 그는 “새로운 접근 방식이 기존보다 10배 뛰어날 때 기술의 전환이 일어나는 경우를 자주 목격한다. 성능이 10배 높아질 수도 있고, 비용이 10분의 1로 줄어들 수도 있다. 때로는 두 가지가 동시에 일어나기도 한다”고 말했다. 그는 이를 ‘10배의 법칙(factor of 10)’이라고 부른다.

그리고 지금 실제로 그런 일이 벌어지고 있다. 오픈라우터에 따르면 지난주 오픈AI와 앤트로픽은 일부 AI 모델에 대해 입력 토큰 100만 개당 1~2달러의 높은 가격을 책정했다. 반면 비슷한 성능을 갖춘 중국의 공개 가중치(open-weight) 모델인 Z.ai의 GLM과 알리바바의 큐원(Qwen)은 6~12센트만 받았다. 약 90% 저렴한 가격이다. 바로 10배의 법칙이 작동하는 변곡점이다. 미국 AI 연구소들의 시장점유율은 지난해 70%에서 현재 30%로 떨어졌다. 모든 업체가 여전히 성장하고 있지만, 가격은 중요하다.

AI의 구조 자체도 진화하고 있다. 1조 개의 매개변수를 사용하는 대신 효율적인 소형언어모델(SLM)은 700억 개의 매개변수만으로 작동할 수 있으며, 애플의 맥 컴퓨터에서도 구동할 수 있다. 이러한 로컬 AI 모델은 하드웨어와 전기요금을 제외하면 별도의 토큰 비용이 발생하지 않는다.

그렇다면 소형 모델의 성능은 대규모언어모델보다 떨어질 수밖에 없지 않을까? 꼭 그렇지는 않다. 스탠퍼드대 연구진은 로컬 환경에서 실행되는 소형언어모델이 “단일 차례의 채팅 및 추론 질문 중 88.7%에 성공적으로 답변할 수 있다”고 밝혔다. 물론 앞으로도 데이터센터에서 작동하는 최고급 AI 모델은 존재할 것이다. IBM도 여전히 메인프레임을 판매하고 있다. 하지만 성장은 다른 곳에서 일어날 것이다.

그곳은 어디일까? 내가 오랫동안 믿어온 실리콘밸리의 또 다른 격언이 있다. 지능은 네트워크의 가장자리, 즉 엣지(edge)로 이동한다는 것이다. 진정한 돌파구는 강력한 AI 모델이 스마트폰에서 작동할 때 열릴 것이다. 이미 그런 변화가 시작됐다. 지난 9월 캘리포니아에 본사를 둔 프리즘ML은 인기 오픈소스 AI 모델인 큐원3.8(Qwen3.8) 270억 매개변수 모델을 압축한 버전을 공개했다. 이 회사는 모델의 크기를 6기가바이트(GB) 미만으로 줄였다. 이제 이 모델은 PC뿐 아니라 고급 스마트폰에도 탑재할 수 있다. 메모리 사용량이 약 9\~10분의 1로 줄어든 것이다. 여기서도 10배의 법칙이 나타난다.

기술은 멈춰 있지 않다. 퀄컴은 최근 스마트폰용 새로운 스냅드래곤 신경망처리장치(NPU)를 발표했다. 퀄컴이 ‘전문가 혼합(mixture-of-experts)’이라고 부르는 모델을 활용하면 메모리 3GB만으로 300억 개의 매개변수를 가진 AI 모델을 실행할 수 있다. 더딥뷰(The Deep View)에 따르면 지금까지 스마트폰에서 실행된 가장 큰 AI 모델은 애플 A20 프로 칩에서 구동되는 40억 매개변수 모델이었다. 퀄컴은 이보다 7.5배 큰 모델을 실행할 수 있게 만든 것이다.

퀄컴의 새로운 스냅드래곤과 구글 픽셀 스마트폰에 탑재되는 텐서 칩처럼 NPU는 빠르게 확산하고 있다. 애플의 최신 M시리즈와 A시리즈 칩도 마찬가지다. 이 칩들은 아이폰에서 AI 모델을 직접 실행할 수 있는 엔진이다. 어쩌면 이것이 애플이 AI 데이터센터 투자 광풍에 동참하지 않은 이유일지도 모른다.

엔비디아가 투자한 스타트업 리플렉션 AI는 자사 모델이 중국의 주요 공개 가중치 AI 모델과 동등한 성능을 내면서도 “추론에 필요한 연산량은 3~4배 적다”고 주장한다. 그게 전부인가? 겨우 3~4배라고? 10배가 되면 나를 깨워달라. AI가 발전하는 속도를 보면 올해 말에는 그런 일이 벌어질 수도 있다.

메타의 뮤즈(Muse)부터 xAI의 그록봇(Grokbot)에 이르기까지 AI 에이전트가 선풍적인 인기를 끌고 있다. 이들은 데이터센터의 가상머신에서 작동하지만, 온갖 개인정보 보호 문제를 일으킨다. 스타트업 퍼플렉시티는 최근 엔비디아와 협력해 PC에서 AI 에이전트를 실행할 수 있도록 했다. 토큰 비용은 전혀 들지 않는다. 게다가 데이터에 대한 소유권도 사용자에게 있다.

나는 토큰 가격이 내려가면 수요가 증가할 것이라는 주장을 자주 듣는다. 이른바 ‘제번스의 역설(Jevons Paradox)’이다. 물론 가격에 따른 수요의 탄력성은 작동한다. 하지만 가격이 90% 하락한다면 매출을 기존 수준으로 유지하기 위해서는 수요가 900% 증가해야 한다. 인터넷 수요가 폭발적으로 늘어나는 와중에도 막대한 부채를 짊어진 글로벌크로싱이 가격이 너무 빠르게 떨어진 탓에 극적으로 몰락했던 일을 기억하는가? 역사적으로 반도체 가격은 매년 30%씩 하락했다. 하지만 가격이 50% 이상 떨어졌을 때는 반도체 제조공장이 문을 닫고 기업들이 파산하는 재앙이 벌어졌다.

2027년이 데이터센터의 정점이 되는 해가 될까? 다시 말하지만 시점을 예측하기는 어렵다. 현재 수요는 폭발적이다. 하지만 여러 분야에서 10배의 성능 개선이나 비용 절감이 현실화하고 가격이 무너질 때까지 투자 경쟁은 치킨게임처럼 이어질 것이다. 이러한 변화가 본격화하면 토큰 수요가 계속 증가하더라도 데이터센터 건설 중단과 채무불이행이 연쇄적으로 발생할 수 있다.

물론 AI 모델 훈련과 신약 개발, 최근 해결된 나비에-스토크스 방정식과 같은 문제를 풀어 상을 받는 일에는 데이터센터에 설치된 고성능 반도체가 필요하다. 하지만 챗봇과 AI 에이전트, 그 밖의 여러 작업은 앞으로 PC와 스마트폰, 스마트 안경, 그리고 향후 10년 동안 실리콘밸리가 발명할 온갖 새로운 기기에서 점점 더 많이 처리될 수 있다. 나는 이러한 현상을 ‘대이동(Great Migration)’이라고 부르는 것을 들은 적이 있다.

저벳슨이 말한 10배의 법칙은 이미 눈앞에 나타나고 있다. 흔히 그렇듯 사람들은 이를 무시하고 있을 뿐이다. 변화는 하루아침에 일어나지 않는다. 처음에는 서서히 진행되다가 어느 순간 갑자기 몰아닥친다.

정리=김주완 기자