사진=게티이미지뱅크
사진=게티이미지뱅크
AI시대는 반도체가 열었다. AI는 학습과 추론의 두 가지를 수행한다. 이 과정에서 데이터 센터향 AI반도체는 거대언어모델(LLM)의 학습(Training)과 추론(Inference)을 담당한다. 이와 달리 온디바이스AI향 AI반도체는 중앙 서버나 클라우드를 거치지 않고, 스마트폰·로봇·CCTV 같은 기기 자체(Edge)에서 직접 추론만을 수행하게 된다. AI반도체는 연산을 담당하므로 가속기가 주된 역할이다. 학습은 데이터를 받아서 순방향 연산과 역전파 메커니즘을 통해서, 인간 뉴런의 시냅스에 해당되는 모델의 가중치(Weights)를 구하는 과정에서 대규모의 행렬연산이 생긴다. 추론은 학습에서 구한 가중치를 이용해서 질문에 대한 예측값을 구하는데 학습대비 연산량이 훨씬 적다. 학습, 추론의 실제 구현 과정에서 AI 반도체는 연산을 담당하는 가속기 역할을 하고, 메모리는 대용량 데이터를 고속으로 서로 주고받으며 이를 뒷받침하게 된다.

다행스러운 것은 우리나라가 강한 메모리 반도체가 AI시대의 핵심역할을 담당한다는 사실이다. AI 데이터센터 투자가 크게 늘어나면서 고대역폭메모리(HBM) 뿐만 아니라 DDR, 플래시메모리도 많이 사용되면서 SK하이닉스, 삼성전자는 큰 수혜를 보고 있다.하지만 현재의 성과가 일부 메모리 대기업에 집중되어 있다는 점은 과제다. 반도체 산업 전반으로 온기가 퍼지려면 팹리스·디자인하우스·후공정(OSAT) 등 중소·중견기업이 뿌리 내리고 있는 시스템반도체 분야로 결실이 확대되어야 한다.
AI 시장의 중심축이 학습에서 추론으로 이동하는 거대한 패러다임 전환기가 찾아왔다. 이는 메모리 착시를 넘어 한국 반도체 생태계 전체가 시스템반도체 시장의 주역으로 도약할 수 있는 결정적 기회다.

국내 AI반도체 팹리스의 기회

데이터센터용과 온디바이스용 NPU기반 추론 시장 지금은 AI 시장의 중심축이 학습에서 추론으로 이동중이다. 국내 AI반도체 팹리스가 도전해야 할두 가지 영역이 있다. 첫째는 데이터센터용 추론 시장이다. 데이터센터에서의 학습은 한번의 큰 연산이지만, 추론은 수없이 반복되는 연산이다. 사용자들은 하루 수십억 번 질문을 할 수 있다. 추론 비용이 커질 수 있다는 얘기다. 기업 입장에서는 추론 비용을 낮추는 것이 매우 중요해졌다. 또한 단순 답변을 넘어 사용자의 비서 역할을 하는 'AI 에이전트'로 진화해 가고 있다. 다시 말하면 'AI 에이전트'는 추론 수요를 폭발 시킨다. 전 세계 수억 명의 사용자가 실시간으로 AI 서비스를 일상과 업무에 쓰기 시작하면서 추론 연산의 빈도와 절대적인 양이 학습 연산을 넘어서기 시작했다.