AI 추천 뉴스
스스로 똑똑해지는 AI…GPU 부족이 걸림돌? [AI 엑스파일]
-지난 16일 유튜브 채널 'Latent Space'에서 그렉 브록만
그렉 브록만은 누구
그렉 브록만이 하고 싶은 얘기는
AI 발전의 병목 현상이 '인간이 만드는 데이터'에서 '컴퓨팅 파워(계산 능력)'로 옮겨갔다'는 주장이다. 과거의 AI는 인간이 만든 수많은 '정답' 데이터를 일일이 학습해야 했다. 하지만 이제 일명 '강화학습(RL)' 같은 새로운 방식 덕분에 AI가 마치 게임을 하듯 수많은 시도를 통해 스스로 정답을 찾아낼 수 있게 됐다.과거 방식인 지도 학습은 이런 식이다. AI에 고양이 사진 100만 장을 보여주며 '이게 고양이야'라고 일일이 가르치는 것과 같다. 인간의 데이터(정답) 제작 노력이 많이 필요했다.
최근의 강화학습(RL)은 다르다. AI에 '최고의 결과를 만들어내라'는 목표만 준다. AI 스스로 수만 번의 무작위 시도하게 한다. 그중 가장 결과가 좋았던 방식을 스스로 학습하게 하는 것이다.
다른 예로 AI 로봇에게 팔로 물건을 집는 법을 가르친다고 가정해보자. AI는 처음에는 허공을 휘젓거나 물건을 쳐서 떨어뜨리는 등 수천 번의 실패를 반복한다. 그러다 우연히 물건을 살짝 잡는 데 성공하면 보상받는다. AI는 이 '보상'을 기억하고 '어떻게 하니 보상받았지?'를 분석한다. 점점 더 정교하게 물건을 잡는 법을 터득한다.
이 과정에서 수만, 수억 번의 시도(계산)가 필요하다. 이것이 바로 막대한 컴퓨팅 자원을 소모하는 이유다. 인간의 노력은 줄었지만 AI가 시도하는 데 필요한 막대한 양의 컴퓨터 자원(전기, GPU 등)이 필요해졌다.
지금은 다르다. 재능 있는 신입 요리사에게 최고의 주방(컴퓨팅 자원)을 제공한다. '세상에서 가장 맛있는 파스타를 요리하라'라는 목표만 설정한다. 이 요리사는 수천 번의 실패(재료 낭비와 시간 낭비)를 거듭한 끝에 아무도 생각지 못한 최고의 레시피를 발명한다. 최신 LLM 모델이 이런 식이다.
"인간 디자이너로 얻을 수 있는 인적 레버리지는 극도로 높다"는 브록만이 설명도 관련이 있다. 지금은 과거처럼 인간이 모든 데이터를 만들 필요 없다. 이제 AI가 학습할 환경과 목표만 잘 설계해주면 된다. 인간의 역할이 '데이터 생산자'에서 'AI 훈련 환경 설계자'로 바뀐 것이다.
한 명의 뛰어난 엔지니어가 만든 이 설계는 AI의 대규모 시도를 통해 인간의 능력을 훨씬 뛰어넘는 결과를 낳을 수 있다. 이것이 바로 인간의 노력이 지렛대(레버리지)처럼 증폭되는 효과로 나타난다.
하지만 인간이 더 복잡하고 어려운 과제(신약 개발 등)를 설계할수록 AI가 정답을 찾기 위해 시도하는 경우의 수는 기하급수적으로 늘어난다. 인간의 창의적인 설계(레버리지)가 커질수록 그것을 구현하기 위한 컴퓨팅 비용도 비례해서 폭발적으로 증가하게 된다.
실제 오픈AI의 추론형 LLM인 o1 계열은 대규모 강화학습(RL)으로 '생각하는 법(사고 연쇄)'을 학습한다. 이런 접근은 사람의 데이터 라벨링(직접 지도 학습)의 의존도를 낮춘다.
모델이 스스로 많이 시도하고 자기 평가와 검증을 거쳐 최선을 고르도록 AI 학습 방식을 설계한다. 오픈AI 시스템 카드에는 o1이 '대규모 RL로 사유(Chain‑of‑Thought)를 학습하고 테스트‑타임 컴퓨트(test‑time compute)를 활용한다'고 적혀 있다.
인간의 역할이 '단순 데이터 생산자'에서 'AI의 행동을 교정하는 교사 및 평가자'로 바뀌었다. 이는 인간에게 더 높은 수준의 판단력을 요구한다. 그래서 여전히 막대한 인적 자원이 투입된다.
대규모 컴퓨팅 자원이 필요한 다른 이유도 있다. AI 모델 자체의 규모(Scale)가 커졌기 때문이다, 수천억 개에서 조 단위의 매개변수(파라미터)의 거대 모델을 한 번 학습시키는 데 천문학적인 컴퓨팅 자원이 필수다.
강화 학습은 이미 거대해진 모델을 미세 조정하고 개선하는 과정에서 추가적인 컴퓨팅 파워를 요구한다. 브록만은 컴퓨팅 병목의 주된 원인이 모델의 '규모'를 설명하지 않았다는 지적이다.
브록만이 강화학습(RL) 방식을 과대평가했다는 의견도 있다. 그는 목표만 주면 AI가 알아서 학습하는 마법처럼 강화학습을 묘사했다. 하지만 수많은 현실적인 어려움이 있다. 일명 '보상 설계의 함정'이 대표적이다. AI에 '최고의 결과를 만들어내라'는 목표(보상)를 설정하는 것은 매우 어렵다.
잘못 설계된 보상 함수는 AI가 꼼수를 발견하고 보상 극대화만 실행하게 할 수 있다. 실제 목표는 달성하지 못하는 '보상 해킹' 문제로 이어질 수 있다. 예를 들어 청소 로봇에게 '쓰레기를 많이 주울수록 높은 보상'을 주면 쓰레기를 줍는 대신 스스로 쓰레기를 만들어 줍는 행위를 학습할 수 있다.
[AI 엑스파일은 글로벌 AI 산업, 학계 등의 최전선에서 AI를 고민하는 이들의 얘기를 전달합니다. 색다른 AI 이슈를 편하게 보시려면 기자 페이지를 구독해 주세요]
김주완 기자 kjwan@hankyung.com