“제 결론은 하나입니다. 인공지능(AI)은 곧 메모리 반도체라는 것이죠. AI의 능력은 앞으로 메모리의 고도화 수준에 따라 결정될 겁니다.”

AI 시대에는 반도체가 패권을 가른다. 오픈AI가 챗GPT를 처음 내놓자 세계의 시선이 엔비디아 그래픽처리장치(GPU)로 쏠린 이유다. 초거대 생성형 AI를 학습시키려면 막대한 연산 능력이 필요하고, 엔비디아의 GPU는 AI 시대를 상징하는 제품이 됐다.
김정호 KAIST 교수가 미래 메모리 반도체 설계에 관해 설명하고 있다. KAIST 제공
김정호 KAIST 교수가 미래 메모리 반도체 설계에 관해 설명하고 있다. KAIST 제공
글로벌 반도체·AI 석학인 김정호 KAIST 전기및전자공학부 교수는 이제 무게중심이 메모리 반도체로 이동하고 있다고 강조했다. AI를 서비스하기 위해선 추론 능력이 점점 중요해지고, 자율형 AI 에이전트가 떠오를 것이란 게 이유다.

◇“AI칩 성능은 메모리가 결정”

김 교수는 대전 KAIST 나노종합기술원에서 이달 초 진행한 한국경제신문과의 인터뷰에서 “AI 컴퓨팅의 본질은 연산 자체가 아니라 연산과 메모리 사이의 소통”이라며 “앞으로 이 소통을 위한 핵심 인프라로서 메모리 입지가 크게 강화될 것”이라고 했다.

AI 모델 규모가 커질수록 소통의 병목은 GPU 계산보다 데이터 저장과 배치, 이동에서 발생한다. AI 칩 성능을 좌우하는 것은 이제 연산장치 속도가 아니라 데이터를 어디에 두고 어떻게 움직이게 하는지 결정하는 ‘메모리 설계’라는 얘기다.

김 교수는 이를 ‘아파트 입지’로 비유하며 설명했다. “AI 컴퓨팅은 곧 ‘시간 싸움’입니다. 지방 아파트나 서울 강남 아파트나 집 안은 별반 다를 게 없지만, 목적지와 가까운 강남의 가치가 높은 것과 같습니다. AI 칩도 마찬가지죠. 다만 다른 것은 추론 시대 AI 칩의 성능은 GPU보다는 GPU가 필요로 하는 메모리(데이터)가 어디 배치되느냐에 따라 결정된다는 점입니다.”

이는 현재 메모리 절대강자인 한국 반도체산업에도 중요한 의미를 갖는다. 김 교수는 AI 칩의 필수 인프라로 자리 잡은 고대역폭메모리(HBM)에 대해 산파 역할을 한 데 이어 차세대 고대역폭낸드플래시(HBF)의 글로벌 연구 흐름도 주도하고 있다. 김 교수는 “AI 모델과 데이터가 계속 커진다면 HBM에 모든 것을 담기 어렵다”며 “2028년께 상용화될 HBF가 GPU 가까이에서 대용량 추론 데이터를 고속 공급할 수 있을 것”이라고 예상했다.

◇“미국 견제 리스크 대응해야”

김 교수는 인터뷰에서 새로운 개념을 한 가지 제시했다. ‘고대역폭S램(HBS)’이다. D램과 낸드뿐 아니라 S램까지 수직으로 쌓자는 아이디어다. 김 교수가 HBS 개념을 외부에 제시한 건 이번이 처음이다. S램을 쌓을 수 있다면 데이터를 초고속 전송할 수 있는 장점을 유지하면서 용량도 대폭 늘릴 수 있다는 게 김 교수 개념의 출발점이다.

그는 “세레브라스도 대형 온칩 S램을 쓰지만 면적을 넓히는 것만으로는 용량 문제를 해결할 수 없다”며 “그렇다면 적층이 용량을 늘리는 유일한 방법”이라고 했다. 앞으로 HBM, HBF, HBS가 동시에 패키징되면서 AI 칩의 ‘메모리 타운’을 이루고, 자율형 AI 에이전트 시대의 핵심 인프라가 될 수 있다는 게 김 교수의 구상이다.

김 교수는 “HBM에 GPU를 결합해 메모리에서 일부 연산까지 수행하는 아키텍처를 연구하고 있다”고도 말했다. ‘프로세싱 인 메모리(PIM)’로 주로 불리는 개념이지만 그는 ‘컴퓨팅 인 HBM’이라는 표현을 선호한다고 강조했다. 메모리에 연산 기능을 붙였다는 전자의 뜻이 메모리 역할을 너무 좁게 정의하고 있다는 게 이유다. 이 같은 아키텍처가 확산되면 향후 GPU와 메모리 사이 역학관계 자체가 달라지는 변곡점이 될 수 있다.

메모리의 중요성이 커지면서 국가 간 주도권 경쟁도 치열해지고 있다. 김 교수는 K반도체에 불어올 수 있는 최대 리스크 중 하나로 미국의 ‘견제’를 꼽았다. 미국 내 팹 설립을 압박하는 동시에 미국 기업인 마이크론과 샌디스크를 물량·기술 측면에서 지원할 수 있다는 것이다. 그는 “마이크론 HBM, 샌디스크 HBF와 한두 세대 차이는 있지만 미국의 물량과 자본 투자가 더해지면 뒤집히지 않으리라는 법도 없다”고 우려했다.

김 교수는 일론 머스크가 추진하는 메모리 자체 생산 프로젝트 ‘테라팹’의 성공 가능성도 무시하지 않았다. 시간은 10년가량 걸리겠지만, 걸림돌을 꾸준히 해결한 머스크가 주도하고 있어서다. 김 교수는 “테라팹의 가장 큰 걸림돌은 숙련된 인력일 것”이라며 “한국 엔지니어를 가장 많이 뽑아갈 것 같아 걱정”이라고 했다.

다만 중국에 대해서는 “우리와는 3~4세대 차이가 나고 미국 규제로 속도를 내지 못한다”며 격차가 유지될 것으로 내다봤다. 김 교수는 AI 사이클 진행 정도를 묻는 질문에는 “기술적으로는 이제 야구의 1~2회 정도로 본다”고 했다.

박한신 기자 phs@hankyung.com