SK하이닉스 HBM1이 장착된 AMD의 그래픽카드. HBM1이 GPU 옆으로 4개 장착됐다. /SK하이닉스 제공
SK하이닉스 HBM1이 장착된 AMD의 그래픽카드. HBM1이 GPU 옆으로 4개 장착됐다. /SK하이닉스 제공
"하이닉스 다니면서 평생 소원이었던 경쟁사를 한 번 이겨보고 싶었다."(HBM1 개발에 참여한 이재진 전 하이닉스 연구위원, 책 슈퍼 모멘텀)

2008년 미국 AMD 고위급 엔지니어가 박성욱 당시 하이닉스반도체 연구소장을 찾아왔다. 신개념 고성능 그래픽처리장치(GPU)를 출시할 테니 하이닉스가 연구 중인 TSV(칩 간 수천~수만개 구멍을 뚫고 전극을 연결하는 '수직관통전극' 기술)로 D램을 개발해달라고 했다.

2009는 닻 올린 HBM 개발

AMD의 주문은 명료했다. 'GPU가 제대로 일할 수 있게 데이터를 대량으로, 적시에 보내줄 수 있는 D램을 만들어달라'는 것이었다. 두 회사는 의기투합했다. 근저엔 "메모리 2위 하이닉스와 그래픽처리장치(GPU) 2위 AMD가 손잡고 1등 해보자"는 열망이 있었다.
리사 수 AMD CEO가 2015년 HBM1이 최초 적용된 그래픽카드를 소개하고 있다. /AMD
리사 수 AMD CEO가 2015년 HBM1이 최초 적용된 그래픽카드를 소개하고 있다. /AMD
하이닉스는 2009년부터 HBM 개발을 본격화했다. 2013년 12월 HBM1을 처음 공개했다. 적자에 휘청이던 하이닉스가 '과연 시장이 커질까'라는 의문 속에 수년의 시간과 조(兆) 단위 투자금을 쏟아부은 역작이다.

HBM1은 GPU와 D램의 I/O(연결 통로)를 1024개로 늘린다. D램은 4개를 적층하고 TSV로 수천 개의 구멍을 뚫어 연결했다. 현재 HBM은 범용 서버 D램 대비 속도는 느리지만, 한 번에 10배 이상의 데이터를 보낼 수 있게 됐다.

2015년 6월 리사 수 AMD 최고경영자(CEO)가 HBM1이 장착된 최초의 GPU '라데온 R9 퓨리'를 공개한다. 당시 GPU는 주로 게임용으로 활용됐다. 당시 SK하이닉스도 HBM을 GPU용 D램으로 소개했다.

HBM1, "모닝에 제네시스 엔진 단 격"

라데온 R9 퓨리의 데이터 처리 능력은 경쟁 제품 대비 4배 뛰어났지만, 용량이 상대적으로 적어 고해상도 게임을 구현하지 못했다. GPU 소비자는 가격이 비슷하지만, 고성능 게임을 구현할 수 있는 엔비디아 제품을 택했다. SK하이닉스 관계자는 "도로는 넓게 뚫어놨는데, 주차장 크기가 작은 것과 같은 상황"이라며 "모닝에 제네시스 엔진을 단 격"이라고 설명했다.

그래도 HBM1에 대한 고객사의 관심은 컸고, 문의는 이어졌다. 김주선 AI 인프라 사장(당시 SK하이닉스 영업기획팀장)은 "회사에 재고가 쌓인 걸 보면 한숨이 나왔지만, 밖에서 고성능 메모리를 원하는 고객을 만나면 영업은 계속해야 할 것 같다"고 말했다. (책 슈퍼 모멘텀)
2016년 젠슨 황 엔비디아 CEO가 일론 머스크 오픈AI 공동 창업자(테슬라 CEO)에게 DGX-1을 전달하는 모습. / 일론 머스크 X
2016년 젠슨 황 엔비디아 CEO가 일론 머스크 오픈AI 공동 창업자(테슬라 CEO)에게 DGX-1을 전달하는 모습. / 일론 머스크 X
그즈음 엔비디아가 HBM에 관심을 두기 시작했다. 2014년 젠슨 황 엔비디아 CEO는 GPU를 게임용이 아니라 AI 컴퓨팅용으로 활용한다는 비전을 갖고 신개념 GPU 개발에 속도를 냈다. 이를 뒷받침할 HBM이 꼭 필요한 상황. 2016년 AI 가속기 'DGX-1' 출시를 공언한 젠슨 황은 삼성전자와 SK하이닉스에 HBM2를 요청했다.

2016년 8월 엔비디아가 오픈AI에 공급한 'DGX-1'(사진)엔 엔비디아 GPU 1개당 HBM2 4개가 적용됐다. GPU 8개로 만드는 DGX-1에는 HBM2 32개가 장착됐다. HBM2 시장은 삼성전자가 장악했다. SK하이닉스에서는 "망했다"는 한탄이 쏟아졌다.

하이닉스 "HBM2 완전히 망했다"...삼성이 장악

"돈이 안 된다"는 내부 비판 속에 가성비 제품을 만들어보려는 SK하이닉스 개발팀의 승부수가 결과적으로 무리수가 됐다. 원가를 낮추면서 HBM에서 지적받은 용량을 높이기 위해 SK하이닉스는 HBM2용으로 '2z D램'을 선택하는 모험을 했다. HBM에 들어갔던 2x D램 대비 '2세대' 앞선 제품이다.

그러다 보니 두뇌 역할을 하는 베이스 다이에 복잡한 기능을 몰아넣었고, 고객사 사정으로 기존 설계가 막판에 바뀌는 악재가 겹쳤다. SK하이닉스 HBM2의 동작 속도는 목표의 4분의 1로 떨어졌다.(당시 동작속도 초당 0.5Gb, 올해 하반기 주력이 될 삼성전자 HBM4의 최대 동작 속도는 13Gb)
삼성전자의 HBM2
삼성전자의 HBM2
D램을 쌓는 패키징에서도 사고가 났다. 2014년 개발을 시작한 HBM2 샘플은 번번이 고객사 품질테스트에서 '불합격' 통보를 받았다. 2016년 삼성전자는 HBM2 양산을 시작해 엔비디아의 1번 공급사가 됐다. SK하이닉스가 양산을 시작한 것은 그보다 2년 뒤인 2018년이다. (5~6년 뒤 얘기지만 삼성전자가 2024년 HBM3E에서 고전한 과정과 비슷하다) 이렇게 SK하이닉스는 뼈아픈 실패를 겪었다.

≫ HBM 열전 2회에서 계속

설 연휴에 HBM 열전을 한경닷컴의 반도체 전문 플랫폼 '반도체 인사이트'에 연재합니다. HBM1부터 최근 경쟁이 격화하고 있는 HBM4까지 산업의 스토리를 다룹니다. 한경 기사와 취재 내용에 컨설팅그룹 플랫폼9와3/4이 최근 발간한 책 <슈퍼 모멘텀>을 참조했습니다.

황정수 기자 hjs@hankyung.com