'로봇도 배워야 산다'…피지컬 AI 시대 로봇 교육법은 [정지은의 산업노트]

로봇도 경험 필요…인간 작업 경험 학습해
피지컬 AI 경쟁 핵심 떠오른 ‘학습 데이터’

토요타리서치연구소에서 사람이 로봇을 원격 조작하며 작업을 시연하는 방식으로 학습 데이터를 수집하고 있다. 토요타리서치연구소 제공

“제대로 된 로봇을 만들려면 더 많이 학습시켜야 한다.”

요즘 글로벌 로봇 업계에선 양질의 학습 데이터를 확보하려는 경쟁이 치열해지고 있다. 피지컬 인공지능(AI) 업계는 로봇 학습 데이터를 위해 시간과 비용을 아끼지 않는다. 아무리 기술이 발전해도 로봇이 스스로 알아서 진화하는 데엔 한계가 있어서다. 현실 세계의 다양한 작업 경험을 로봇 학습 데이터로 제공해야 로봇 경쟁력을 높일 수 있다.

○가상환경서 반복 학습

24일 업계에 따르면 최근 로봇 학습에 디지털 트윈과 시뮬레이션 기술이 적극 활용되고 있다. 공장이나 물류창고 같은 실제 작업 환경을 가상 공간에 구현해놓고, 그곳에서 벌어지는 각종 상황을 로봇에게 학습시키는 식이다. 로봇은 현실에서 반복적으로 구현하기 어려운 다양한 환경과 상황을 학습하고 대응 방법을 검증한다.

사람이 직접 로봇의 작업을 시연하거나 원격으로 조작해 데이터를 수집하는 기존 방식을 벗어난 새로운 시도다. 업계 관계자는 “가상 환경에선 실제 로봇을 반복 가동하며 학습시키는 데 필요한 비용과 안전상의 제약을 줄일 수 있다”며 “로봇은 다양한 상황의 데이터를 쌓게 된다”고 말했다.

관련 솔루션을 개발하고 나선 기업도 있다. 디지털 트윈과 인간 동작 데이터 등을 활용해 피지컬 AI 학습에 필요한 데이터 기반을 구축한 NC AI가 대표적이다. NC AI는 현대로템과 협력해 무인 장비와 로봇이 운용될 다양한 상황을 가상환경에 구현하고, 학습 및 검증할 수 있는 ‘피지컬 AI 통합 시뮬레이터’를 개발하고 있다.

미국 엔비디아가 산업용 로봇과 설비를 디지털 트윈으로 구현해 가상환경에서 시뮬레이션하고 있다. 엔비디아 동영상 갈무리

이들이 데이터 확보에 공들이는 것은 로봇 학습용 데이터가 인터넷의 텍스트나 이미지와는 성격이 다르기 때문이다. 피지컬 AI는 실제 공간에서 움직이며 물체와 상호작용해야 한다. 그만큼 현실 세계에서 축적되는 행동·상호작용 데이터가 중요한 학습 자원이 된다. 경험 데이터가 충분하지 않으면 로봇이 산업 현장의 수많은 변수를 학습하고 적응하는 데 한계가 발생한다.

○유튜브 학습 연구도 활발

물론 로봇 학습의 가장 직관적인 방법은 사람이 직접 로봇의 움직임을 시연하거나 조작해 작업 데이터를 수집하는 것이다. ‘텔레오퍼레이션’ 등을 통해 사람이 로봇을 움직이면 로봇은 실제 환경에서 물체를 보고, 집고, 옮기는 등 다양한 작업을 수행한다. 이 과정에서 카메라 영상이나 관절 움직임, 위치와 자세 등의 정보가 데이터로 축적된다.

최근에는 유튜브 등 인터넷에 공개된 인간의 행동 영상을 로봇 학습에 활용하는 연구도 활발하다. 사람이 도구를 다루고 과업을 수행하는 데이터를 쉽게 확보할 수 있는 게 장점이다. 하지만 2차원(2D) 영상만으로는 물체의 무게나 마찰력 같은 물리 정보를 얻기 어렵다. 인간의 영상 데이터와 실제 로봇의 행동 데이터, 시뮬레이션 데이터 등을 함께 활용해 부족한 정보를 보완하는 게 핵심 연구 방향이다.

앞으로는 로봇에게 ‘무엇을 시킬 것인가’보다 ‘무엇을 어떻게 배우게 할 것인가’가 중요한 과제가 될 전망이다. 업계 관계자는 “로봇이 공장이나 물류 현장에서 얼마나 정교한 동작을 구현할 수 있느냐는 하드웨어 성능만으로 결정되지 않는다”며 “사람의 작업 경험을 데이터로 만들어 제공하는 동시에 현실에서 얻기 어려운 경험을 가상환경에서 학습시키는 게 중요하다”고 말했다.

정지은 기자 jeong@hankyung.com