GPU, 비싸도 모든작업 처리 '만능'…TPU, AI 특화된 '가성비칩'

GPU, 동시 연산 가능하지만
엔비디아 쿠다 생태계에 갇혀
TPU, 효율 높지만 범용성 떨어져

“GPU(그래픽처리장치)는 모든 작업을 무난하게 처리하는 만능 로봇이고, TPU(텐서처리장치)는 인공지능(AI)만 빠르게 처리하도록 설계한 특수 기계다.” 이종호 서울대 전기정보공학부 교수의 설명이다. GPU는 게임 그래픽 처리용 칩으로 개발됐지만 많은 계산을 한꺼번에 처리할 수 있는 특성 때문에 AI 시대의 가장 중요한 부품으로 자리 잡았다. 이미지 생성, 영상 처리, 대규모언어모델 학습까지 못 하는 계산이 없는 데다 동시 연산이 가능해 ‘만능 칩’으로 불린다. GPU를 이용해 AI·과학 연산을 빠르게 돌릴 수 있도록 만든 전용 프로그래밍 소프트웨어(SW) 플랫폼 ‘쿠다(CUDA)’를 무기로 엔비디아는 테크 생태계 전반을 독점하는 구조를 구축했다.

이에 비해 TPU는 특정 업무만 빠르게 처리하도록 만든 전용 칩에 가깝다. 공장에서 하나의 작업을 효율적으로 수행하는 특수 기계에 비유할 수 있다. 이 교수는 “딥러닝의 핵심인 행렬 계산에 최적화됐기 때문에 TPU가 GPU보다 높은 에너지 효율과 많은 처리량을 보이는 사례가 적지 않다”고 설명했다. 다만 특정 기능에 특화된 만큼 GPU처럼 범용적으로 쓰기는 어렵다.

그럼에도 구글, 메타, 아마존 등 빅테크가 ‘탈(脫)엔비디아’를 시도하는 가장 큰 이유는 비용이다. 최신 GPU 가격이 중형 세단 한 대 값에 육박하는 수준까지 가파르게 올라 AI 모델을 돌리는 비용이 기업 실적을 좌우할 정도로 커져서다. 기술 종속 우려도 빅테크의 리스크로 떠올랐다. 쿠다 생태계에 갇히면 데이터센터 운영과 AI 전략 측면에서 자율성을 확보하기 어렵다.

현장 엔지니어 사이에선 성능 차별화 문제도 제기되고 있다. 모두가 같은 GPU를 쓰면 서비스 속도나 품질에서 우위를 확보하기 어렵다는 판단이 기술자 사이에서 나오기 시작했다. 업계에선 향후 2~3년 내 AI 칩 패권의 향방이 갈릴 것으로 보고 있다.

강경주 기자 qurasoha@hankyung.com