삼성전자와 SK하이닉스가 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 ‘인공지능(AI) 인프라 서밋’에서 차세대 메모리 기술의 방향성을 제시했다.

김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당(상무)은 이날 현장에서 ‘AI 혁명을 이끄는 메모리·스토리지의 3차원 혁신’을 주제로 강연에 나섰다. 김 상무는 “현재 대화형 AI 시스템의 응답 속도는 이용자당 초당 100토큰 수준”이라며 “응답 속도를 초당 1000토큰으로 10배 끌어올릴 수 있는 차세대 메모리를 개발하는 것이 목표”라고 말했다.

구체적으로는 차세대 메모리 ‘zHBM’을 제시했다. zHBM은 고대역폭메모리(HBM)를 그래픽처리장치(GPU), 신경망처리장치(NPU) 등 연산용 칩 위에 수직으로 쌓은 반도체다. AI 가속기 옆에 HBM을 배치하는 기존 방식보다 데이터 이동 거리를 대폭 줄여 HBM5(8세대 HBM)보다 여덟 배 높은 성능을 구현할 수 있다.

임의철 SK하이닉스 설루션AT담당(부사장)은 AI 성능을 높일 미래 기술로 ‘프로세싱인 메모리(PIM)’에 주목했다. PIM은 메모리 내부에 연산기를 통합해 데이터 저장과 계산을 한 곳에서 처리한다. 데이터 병목을 개선할 수 있는 기술로 거론된다. 임 부사장은 “AI 초고속 추론에 주로 쓰이는 S램은 비용 측면에서 한계가 명확하다”며 “PIM은 S램 대비 약 300배에 달하는 대용량을 제공하면서 높은 대역폭을 유지한다”고 강조했다.

원종환 기자 won0403@hankyung.com