유회준 KAIST 교수.
유회준 KAIST 교수.
챗GPT의 등장으로 초거대 인공지능(AI)이 우리 삶에 한 발짝 다가섰다. 마이크로소프트(MS), 구글, 엔비디아 등이 순식간에 판을 바꾸어버린 형국이다. 그런데 한국에서도 오랫동안 AI 반도체를 연구해 오고, 또 국제사회에서 인정받는 이들이 있다는 것은 잘 모르는 사람들이 많다.

유회준 KAIST 교수(63·사진)는 반도체 분야에서 손꼽히는 실력자다. 256메가SD램(1994년), 휴대전화용 게임 칩(1999년), 웨어러블 컴퓨터 개발(2008년), 신경망처리장치(NPU·2015년) 등을 잇달아 세계 최초로 내놓았다. 특히 최근 20년 간 그는 '두뇌와 닮은 반도체'라는 화두와 줄곧 씨름해 왔다.

'반도체 설계 올림픽'이라는 별칭을 가지고 있는 글로벌 톱 클래스 학회 국제고체회로학회(ISSCC)에서 그를 모르면 간첩이다. 1995년부터 올 초까지 그가 이 학회에서 발표한 논문은 모두 63편이다. 학회가 지난 2월 미국 샌프란시스코에서 개최한 70주년 기념 행사에서 그는 '논문실적 톱5'로 꼽혀 상을 받았다. 톱 5 중 아시안은 그가 유일하다.

그는 이 자리에서 제자들과 여러 새로운 논문을 또 발표했는데, 그 중 가장 주목을 받은 것은 김상진 박사과정생이 1저자로 참여한 '재구성형 PIM 반도체'였다. "메모리와 연산장치를 분리 운영하는 현대 컴퓨터의 방식(폰 노이만 구조)을 완전히 흔드는 방식"이라는 평가를 받았다. 하나의 셀에서 메모리 기능과 연산기(연산장치), 아날로그-디지털 데이터 변환기 기능을 모두 지원해서 D램을 AI반도체처럼 활용할 수 있는(트리플모드 셀 기반, 재구성 가능한 아날로그형 D램-지능형반도체(PIM)) '다이나플라지아'다.

▷PIM 개념이 생소하다.
"하나의 칩 안에 메모리와 프로세서 연산기를 같이 넣은 차세대 반도체를 PIM이라고 부른다. 데이터와 프로그램을 갖고 있는 메모리와 연산을 담당하는 중앙처리장치(CPU)가 분리되어 있는 기존 컴퓨팅 방식은 메모리와 프로세서 간에 정보가 오가는 과정에서 병목현상이 생긴다. 서울에서 일하다가 대전 가서 결재받고 서울에 돌아와야 하는 직장인과 비슷한 처지다. 차도 막히고, 내가 아무리 일을 빨리 해도 결재가 늦으면 기다려야 하고, 오가는 데 기름값(전력)도 든다.

이미지나 언어와 같은 데이터를 처리할 때는 이런 문제가 더 크게 느껴진다. 이를 개선해서 그래픽처리장치(GPU)와 신경망처리장치(NPU)가 나왔는데, 여전히 메모리(D램)과 연산기가 분리된 형태였다. PIM(Processing-In-Memory)은 아예 이를 한 장소에서 처리하는 것이다."
PIM의 발전 방향. /과기정통부 제공
PIM의 발전 방향. /과기정통부 제공
▷아날로그형 PIM 반도체는 뭔가.
"PIM 반도체에는 디지털과 아날로그가 있다. 디지털 PIM은 메모리와 연산기가 함께 집적돼 있다. CPU, GPU, NPU처럼 D램이 별도로 분리되어 있지 않으므로 PIM이다. 그러나 '함께' 있는 것이지 '하나가 되어' 있는 것은 아니다. 아날로그형은 수백만개의 메모리 셀마다 모두 연산기가 붙어 있다. 삼성전자가 2021년 발표한 HBM-PIM, SK하이닉스가 지난해 발표한 AiM은 디지털 PIM 반도체다. 다이나플라지아는 국내에선 처음으로 개발된 아날로그 PIM이다."

▷'트리플 모드' 개념을 추가했다.
"우리가 개발한 것은 AI 연산에 맞춰 하드웨어 구조를 변경하는 방식(동적 코어 아키텍처)을 도입해서 효율성을 높이고 집적도를 향상시킨 것이다. 아이디어는 단순하다. 3개의 트랜지스터를 써서 메모리도 됐다가, 연산기도 됐다가, 아날로그-디지털 변환기도 됐다가 하면서 3가지 모드를 오가게 한 것이다. 처리해야 하는 대상에 따라 메모리 기능이 더 많이 필요할 수도, 연산기 기능이 더 많이 필요할 수도 있는데 이를 변형해 가며 쓸 수 있다면 훨씬 효율적인 연산이 가능할 것이다. 집적도를 높일 수 있다. 전력도 더 적게 든다. "
다이나플라지아. 고집적도-고성능 DRAM 기반 구현으로 기존 세계 최고수준보다 2배 이상 많은 9600Kb의 메모리를 집적하고, 높은 벤치마크 성능을 위해 다양한 인공지능 모델에 하드웨어 구조를 맞춰 변화하도록 개발된 PIM 칩. /과기정통부 제공
다이나플라지아. 고집적도-고성능 DRAM 기반 구현으로 기존 세계 최고수준보다 2배 이상 많은 9600Kb의 메모리를 집적하고, 높은 벤치마크 성능을 위해 다양한 인공지능 모델에 하드웨어 구조를 맞춰 변화하도록 개발된 PIM 칩. /과기정통부 제공
▷얼마나 효율성이 높아질까.
"기존 아날로그형 D램과 비교하면 집적도를 27배, 아날로그형 S램 PIM에 비하면 2.3배 높일 수 있다. 칩당 처리량은 디지털PIM이 1~1.2테라플롭스(1초에 1조번의 부동소수점 계산)라면 다이나플라지아는 19.5TOPS(1초에 1조번의 연산)을 할 수 있는 수준으로 15배 가량 크다. 또 그동안 발표된 여러 아날로그 PIM은 실제 AI를 돌려보면 누설전류 등의 문제로 인해 이론상 가능한 것에 비해 10분의 1, 30분의 1 수준 밖에 나오지 않곤 했다. 다이나플라지아는 메모리와 연산기를 오가는 방식으로 효율성을 높였고, 누설전류 문제도 상당부분 해소해서 실제 AI를 돌렸을 때 연산 효율이 종전 방식보다 2.5배 높아지는 것을 확인할 수 있다.
트리플 모드 D램-PIM 셀 / 기존 프로세싱-인-메모리 프로세서들은 집적도가 낮은 SRAM 기반 구현으로 용량에 제한이 있었다. 개발한 DynaPlasia는 셀 하나에 3개의 트랜지스터만을 사용해 높은 집적도와 처리량을 달성하고, 병렬 연산으로 높은 처리량를 달성하였다. 또한 트리플-모드 셀은 목적에 따라 연산기와 메모리 사이에서 동적 리소스 전환으로 더욱 속도를 향상 시킬 수 있다. /과기정통부.
트리플 모드 D램-PIM 셀 / 기존 프로세싱-인-메모리 프로세서들은 집적도가 낮은 SRAM 기반 구현으로 용량에 제한이 있었다. 개발한 DynaPlasia는 셀 하나에 3개의 트랜지스터만을 사용해 높은 집적도와 처리량을 달성하고, 병렬 연산으로 높은 처리량를 달성하였다. 또한 트리플-모드 셀은 목적에 따라 연산기와 메모리 사이에서 동적 리소스 전환으로 더욱 속도를 향상 시킬 수 있다. /과기정통부.
▷AI반도체 분야 개발에 뛰어든 배경이 궁금하다.
"처음에는 반도체가 아니었다. KAIST에서 전자공학 박사를 받고 미국 벨연구소를 거쳐 한국에 돌아왔는데 현대전자에 입사하게 됐다. 레이저가 전공이라고 생각했는데, 전혀 계획에 없던 16메가 D램 개발에 투입되면서 반도체 인생이 시작됐다. 처음에는 소자 쪽이었는데 설계실의 애로사항을 해결해 주는 일이 몇 번 있자 32세에 갑자기 반도체 설계1실장으로 승진하게 됐다. 불가능할 것 같았던 256메가SD램을 연구실에서 종이박스 깔고 자면서 세계 최초로 개발했다. 살면서 아주 뿌듯하고 기쁜 순간이 여럿 있었는데, 이때 정말 좋았다.

강원대를 거쳐 KAIST에 합류했고, 1998년 외환위기의 한복판에서 산업자원부 기획과제를 서울대 박영준 교수님과 함께 한 것이 AI반도체로 마음이 쏠린 계기였다. 그때 '임베디드 메모리' 로직을 개발했는데, PIM의 원형과 같은 것이었다."

▷당시 국내 반도체 회사들도 사정이 어려웠을 텐데.
"개발 과제인 임베디드 메모리는 게임 칩 용도였는데, D램 공정을 이용해야 하는 상황에서 기획에 참여한 LG전자 반도체부문과 현대전자가 합병하여 하이닉스가 되는 등 혼란스럽고 모두 휘청거릴 때였다. 다행히 박 교수님이 하이닉스 연구소장으로 갔고, 이 과제를 위해 256메가 D램 공정을 완전히 열어줬다. 이때 나온 것이 램프(ramP)다. 메모리(ram)와 프로세서(P)를 합쳤다는 뜻이니 PIM과 연결된다. 이것을 들고 2000년 엔비디아에 찾아갔다."

▷당시 엔비디아는 이런 것이 없었나.
"엔비디아는 당시 PC용 큰 게임 칩은 있었지만 휴대폰용은 없었다. 우리 아이디어를 "놀랍다"고 했지만 "휴대폰 화면이 작아서 그런 게 필요하겠느냐"는 반응이었다. 우리는 3~4년 가량 램프 개발에 매달렸고 3차원(3D) 그래픽 칩에서 성과가 있었지만, 마지막해 무렵에 엔비디아가 본격적으로 그래픽처리장치(GPU)를 만들기 시작하는 것을 보고 접었다. 학생들이 하는 것과 그런 큰 회사가 하는 것은 게임이 되지 않을 테니까."

▷신경망처리장치(NPU)는 언제부터 본격적으로 만들게 됐나.
"2006년께부터 뇌과학을 반도체에 접목할 방법을 구체적으로 생각하기 시작하여 2008년에 ISSCC에 두뇌를 모방한 AI반도체를 처음으로 발표했다. 웨어러블 기기에 들어가는 칩을 위해 NPU를 개발했다. 눈동자의 움직임을 따라가면서 오래 머물면 화면에 '커서'가 나타나고, 깜빡이면 화면을 촬영하는 K-글래스 시리즈를 하면서 진전이 상당히 있었다. 2016년에 개발한 K-글래스 3에 처음으로 심층신경망(DNN)을 가속화한 NPU가 들어갔다. 이후 NPU를 단독으로 따로 연구하기 시작했다. 정지화상 인식, 움직이는 화상 인식, 두 가지를 묶는 것, 서로 다른 방식을 자유롭게 오가는 것, 학습을 시키는 것 등으로 계속 발전시켰다. 현재 다이나플라지아까지 모두 연결된 연구들이다."
유회준 KAIST 교수가 K-글래스 개발 과정에 대해 설명하고 있다. /이상은 기자
유회준 KAIST 교수가 K-글래스 개발 과정에 대해 설명하고 있다. /이상은 기자
▷최근 챗GPT 열풍이 뜨겁다. 우리가 뭘 할 수 있을까.
"AI에는 세 가지 요소가 있다. 빅데이터, 알고리즘, 그리고 그 연산을 해줄 반도체다. 빅데이터는 빅테크가 가지고 있다. 네이버가 크다 해도 구글이 가지고 있는 데이터 양에 비하면 적을 수 밖에 없고, 데이터가 쌓이는 속도가 달라 따라잡기 어렵다. 한국어에 특화된 모델을 만들 수 있으나 그것도 AI가 점점 더 발달하면 만만치 않을 것이다. 알고리즘이 챗GPT다. 알고리즘을 개발할 수 있는 회사는 많지 않다. 오픈AI는 2015년에 만들어졌다. 일론 머스크가 투자하고 마이크로소프트(MS)가 투자하고 장비비가 8000억원씩 들어갔다. 이렇게 해야 새로운 알고리즘이 나온다. 우리가 그것을 따라하는 것도 어려운 일이다."

▷반도체는 할 수 있나.
"그렇다. 반도체는 우리가 할 수 있다. 챗GPT든 다른 무엇이든 반드시 우리나라의 메모리(D램)가 사용된다. 이 분야에서 우리가 쌓아온 지식과 기술이 있다. 특히 전력 소모를 줄이는 반도체를 개발하는 것이 관건이다. 전력은 수요가 늘어난다고 공급을 쉽게 늘릴 수가 없다. 정부가 전력 소모가 심한 데이터센터를 서울 근교에 만들지 말라고 하는 이유다. 그렇다고 지방으로 보내면 발전소, 통신시설 등을 오가며 버려지는 전력이 엄청날 것이다. 결국 데이터센터의 전력 소모를 줄이는 것이 아주 급하다. 메모리와 CPU 사이를 오가는 전력을 줄이는 문제는 이 모든 것을 해결할 수 있는 첫 단추가 되어줄 수 있다."

▷우리만 하는 것은 아닐 텐데.
대만, 중국, 미국 모두 다 PIM 열심히 개발하고 있다. 그러나 전체 AI판 가운데 우리가 주도적으로 큰 시장을 그릴 수 있는 분야는 이것이라고 본다.

▷다음 연구과제는 무엇인가.
보다 인간의 뉴런과 닮은 방식의 반도체를 연구 중이다. 전력을 덜 쓰고 일은 더 많이 할 수 있는 방법을 계속 찾고 있다.

이상은 기자 selee@hankyung.com