김주영 하이퍼엑셀 대표(가운데)는 “제품 부족과 고비용이라는 문제가 있는 그래픽처리장치(GPU)를 하이퍼엑셀의 오리온 서버가 대체할 것”이라고 말했다. 임대철 기자
김주영 하이퍼엑셀 대표(가운데)는 “제품 부족과 고비용이라는 문제가 있는 그래픽처리장치(GPU)를 하이퍼엑셀의 오리온 서버가 대체할 것”이라고 말했다. 임대철 기자
최근 인공지능(AI) 산업계의 최대 고민은 비용이다. AI 기술과 서비스 수준은 몇 년 새 높아졌다. 하지만 이를 제대로 구동하기 위해서는 고가 반도체가 필요하고 전력 사용량도 상당하다. 오픈AI의 챗GPT 하루 운영비는 최대 70만달러(약 9억원)에 달한다. AI 연산에 많이 쓰이는 엔비디아의 반도체 H100은 가격이 수천만원에 이르지만 공급 물량이 부족해 예약을 해도 구하기 어렵다.

반도체 스타트업 하이퍼엑셀은 이런 문제 해결에 힘을 쏟고 있다. 김주영 하이퍼엑셀 대표는 “최근 AI 관련 반도체 공급 부족과 높은 비용이 문제인 그래픽처리장치(GPU) 서버를 대체하고 AI에 특화된 반도체 서버를 개발했다”고 강조했다.

"엔비디아 뛰어넘는다…AI 맞춤형 칩으로 승부" [긱스]
하이퍼엑셀은 올 6월 AI 맞춤형 반도체인 하이퍼엑셀 오리온을 개발했다. 챗GPT처럼 AI 연산에 비용이 많이 드는 대규모언어모델(LLM)에 최적화했고 메모리 대역폭 사용을 극대화해 비용 효율성을 높인 AI 반도체다. 엔비디아의 AI용 반도체인 A100보다 처리 속도는 50% 빠르다. 가격 대비 성능은 최대 2.4배 뛰어나다는 게 회사 측 설명이다. 전력 사용량도 기존 제품의 절반 이하다.

하이퍼엑셀은 올 7월 이 기술을 담은 연구 결과를 미국 국제반도체설계자동화학회(DAC)에 발표해 공학 부문 최고 발표상을 받았다. 하이퍼엑셀의 오리온이 LLM 연산에 필요한 비용을 줄일 수 있는 반도체 솔루션으로 인정받았다는 뜻이다. DAC는 인텔, 엔비디아, AMD, 구글, 마이크로소프트, 삼성전자, TSMC 등 글로벌 반도체회사가 참여하는 학회다.

지난 1월 설립된 하이퍼엑셀은 초기 스타트업이지만 성과가 뛰어나다. 창업자인 김 대표의 이력 때문이다. 김 대표는 KAIST 전기및전자공학부 교수다. 2012~2019년 미국 마이크로소프트(MS)에서 하드웨어 엔지니어로 일했다.

김 대표는 “2021년에 트랜스포머 모델(생성형 AI 바탕 기술)을 보고 뭔가 굉장히 크게 될 것이라고 판단해 트랜스포머 맞춤형 반도체를 개발하기 시작했다”며 “당시에는 트랜스포머 모델에 대한 업계의 관심이 크지 않았지만 작년 말 챗GPT가 나오고 AI 붐이 일면서 창업을 결심했다”고 설명했다. 하이퍼엑셀은 기술력을 인정받아 8월 미래에셋벤처투자와 KB인베스트먼트 등에서 60억원 규모 시드(초기) 투자를 유치했다.

하이퍼엑셀은 고성능 서버 제품 오리온을 지난달 정식 출시했다. AI에 특화된 반도체 프로세서 LPU(latency processing unit) 8개를 장착하는 방식의 제품이다. 오리온 서버는 오픈AI의 GPT와 메타의 라마 등 LLM을 효율적으로 수행한다. 서버당 최대 66B(매개변수 660억 개) 크기의 모델까지 처리가 가능하다. 김 대표는 “오리온으로 국내 대기업 세 곳과 데이터센터에서 이미 PoC(기술 검증)를 진행하고 있다”고 설명했다.

하이퍼엑셀은 사업 분야를 확대할 계획이다. 지금은 AI 가속기(반도체)가 8개 들어가는 데이터센터용 제품을 제작하고 있지만 가속기 3개 이하로 작동하는 제품도 내놓을 계획이다. 이 제품은 식당의 키오스크 등에 적용돼 AI 서비스 사용처가 지금보다 늘어날 전망이다. 김 대표는 “AI 특화 반도체 설계 지식재산권(IP)도 확보해 수익 모델을 다변화할 것”이라며 “산업계 재편 속도에 맞춰 3년 안에 승부를 볼 것”이라고 말했다.

김주완 기자 kjwan@hankyung.com