"다음 엔비디아는 여기"…AI에이전트 열풍에 CPU도 동난다

GPU·메모리칩 이어 CPU 공급난 온다
단순 연산 넘어 업무 대행하는 AI에이전트
업무 지연 비중 50~90%가 CPU서 발생
인텔 중국 CPU 납기 6개월로 지연
엔비디아는 CPU 별도 판매 전략

중앙처리장치(CPU). /사진=게티이미지뱅크

그래픽처리장치(GPU)와 메모리 반도체에 이어 중앙처리장치(CPU)가 인공지능(AI) 시대의 새로운 병목점으로 떠오르고 있다. 스스로 의사결정을 내리는 AI에이전트를 실행하기 위해서는 CPU 수요가 커질 수밖에 없다는 이유에서다.

24일(현지시간) 테크전문 뉴스레터 언커버알파 등에 따르면 최근 인텔은 중국 고객사에 특정 서버 CPU 배송기간이 최장 6개월이 걸릴 수 있다고 통보했다. 중국에 판매하는 서버용 CPU 가격은 10% 상승했다. AMD 제품도 배송받으려면 2개월 이상 걸린다.

그간 GPU·메모리칩에 비해 여유가 있던 CPU 납기가 길어진 것은 AI에이전트에 활용하기 위한 칩을 미리 확보하려는 수요가 늘었기 때문이다.

GPU는 대규모언어모델(LLM)의 핵심 작동 원리인 단순 행렬곱셈 등에 주로 쓰인다. LLM은 파라미터(매개 변수)와 데이터를 곱하는 곱셈 연산을 천문학적인 횟수로로 반복해 작동한다. 이 경우 여러 작업을 병렬적으로 처리할 수 있는 GPU가 유리하다. 사용자가 챗봇에 질문하면 CPU가 컴퓨터가 이해할 수 있는 데이터로 변환하고, GPU가 곱셈 연산으로 답을 도출하면 다시 CPU가 생성된 응답을 자연어로 바꾸는 과정을 거친다. 이 과정에서 CPU가 차지하는 비중은 5~10%에 불과하다.

AI에이전트를 작동할 때 GPU와 CPU 작동 방식을 보여주는 개념도. AI 챗봇에서 질답을 할경우 그림 왼쪽의 CPU만 활용하게 되지만, AI에이전트로 넘어갈 경우 CPU 활용 범위가 훨씬 넓어진다. /자료=빅스뉴스레터

챗봇에서 AI에이전트로 넘어가면 CPU의 역할이 훨씬 커진다. AI에이전트는 챗봇처럼 단순히 질문에 대답하는 것이 아니라 도구 사용, 웹 검색, 데이터베이스 조회, 응용프로그램 인터페이스(API) 호출, 코드 작성 등 실제 사람이 하는 업무를 대신하기 때문이다. 이런 실행의 영역에는 복잡한 연산을 하는 CPU가 필수다. CPU 코어가 늘어나면 더 많은 AI에이전트를 운영할 수 있고, CPU 성능이 좋아지면 여러 에이전트가 서로 원활하게 조율할 수 있다는 것이다.

인텔과 조지아텍이 지난해 11월 한 논문에서 "AI 에이전트 기반 업무에서 CPU로 인해 데이터 처리가 지연되는 비중은 50~90%에 달했다"고 분석했다. 명령을 수행하는 데 걸리는 시간의 대부분이 CPU를 이용한 검색·코딩에서 발생했고 추론(GPU)하는 데는 0.5초도 걸리지 않았다는 얘기다.

AI칩 개발사들도 AI에이전트가 본격화하면서 CPU 비중을 늘리고 있다. 리사 수 AMD 최고경영자(CEO)는 작년 4분기 실적발표에서 "에이전트 기반 또는 새롭게 떠오르는 AI 업무가 고성능 CPU를 요구함에 따라 AMD의 고성능 서버용 EPYC CPU 수요가 급증하고 있다"고 밝혔다.

엔비디아는 GPU 루빈과 CPU 베라로 이뤄진 차세대 AI 가속기 '베라 루빈'에서 베라를 떼어내 독립 플랫폼으로 출시하는 구상을 그리고 있다. 메타가 지난 17일 엔비디아 AI칩 중 그레이스 등 CPU까지 사들여 데이터센터에 활용하겠다고 밝힌 것도 이 같은 맥락으로 풀이된다. 엔비디아 CPU를 독립형 서버에 사용하는 하이퍼스케일러(대형 데이터센터 운영업체)는 메타가 처음이다. 메타는 작년 말 '마누스AI'를 인수하며 AI에이전트 개발에 박차를 가하고 있다.

실리콘밸리=김인엽 특파원 inside@hankyung.com