북극성 도심폭발 장면 뒤엔…네이버 비밀기술 있었다

최근 공개된 디즈니플러스의 시리즈 <북극성> 4화. 복잡한 서울 도심에서 도로에서 대형 폭발 장면이 연출됐다. 서울 강남에 빼곡히 들어선 높은 고층건물이 배경으로 깔린 장면이었지만 실제론 대전의 한적한 공간에서 촬영됐다. 서울 도로에서 촬영한 3D 이미지를 학습시켜 실제로 촬영하지 않은 새로운 시점의 도시 장면을 생성한 것이다. 3D 데이터와 공간지능 기술을 결합해 만들어낸 네이버랩스의 신기술이 적용됐다. 이 공간기술이 영상을 넘어 게임과 스포츠 등 콘텐츠 전 영역으로 확대될 것이란 전망이 나온다.

<북극성>에 적용된 네이버 기술

네이버가 네이버랩스의 디지털 트윈 기술을 기존 도시계획이나 건축 영역을 넘어 콘텐츠 영역으로 확대 적용하고 있다. 1일 네이버에 따르면 <북극성>의 폭발 장면엔 네이버랩스의 3D 비전 기술인 '노블뷰 신세시스(Novel View Synthesis, NVS)'가 적용됐다. 네이버랩스의 이 기술이 외부에 공개적으로 적용된 건 <북극성>이 처음이다. NVS는 이미지 데이터 학습만으로 다양한 각도의 영상을 생성할 수 있는 비전 기술이다.

네이버랩스는 파운데이션 모델에 네이버 지도의 역삼동 언주로 거리뷰 이미지 데이터를 넣어 3차원 공간을 학습시켰다. 가상 공간에 해당 공간을 구현해 원하는 시점과 각도에서 드라마에 삽입할 장면을 만들었다. 네이버랩스 관계자는 "이 기술은 실제로 촬영이 불가능한 각도의 시점 영상도 추출할 수 있다"며 "특정 공간의 이미지 데이터만 있으면 그동안 하지 추출하지 못한 새로운 뷰의 영상을 만들 수 있는 것"이라고 말했다.

<북극성>에 적용된 NVS 기술은 정교한 거리뷰 데이터가 기반이 됐다. 고정밀도의 3D 거리뷰 데이터가 뒷받침되지 않으면 NVS로 복원한 모델의 완성도가 떨어질 수밖에 없다. 보통은 현장을 직접 카메라나 드론으로 촬영하지만, 네이버랩스는 3차원 공간 정보 수집에 최적화된 거리뷰 차량 기반의 파노라마 매핑 장비인 ‘P1’을 자체 개발했다. P1으로 구축한 고정밀 데이터를 활용하면 현장에 직접 출동하지 않아도 3차원 공간 복원이 가능하다.

네이버랩스의 공간지능 기술이 콘텐츠 제작에 활용된 것은 이번이 처음이 아니다. 넷플릭스 시리즈 <스위트홈> 시즌 2에도 네이버랩스는 항공사진을 기반으로 제작한 서울시 3D 모델링 데이터를 재가공해 잠실 지역의 사실적인 도시 풍경을 구현한 적 있다. 다만 <스위트홈2>가 항공사진 기반으로 만들어진 정교한 3D 디지털 트윈을 배경에 활용한 것이라면, <북극성>은 거리뷰 데이터를 학습시킨 후 NVS 기술로 촬영하지 않은 시점의 장면을 구현해 한 단계 더 발전했다.

콘텐츠로 확장하는 공간지능 기술

공간지능 기술의 콘텐츠 적용이 더 빨라질 것이란 전망이 나온다. 실제 공간의 이미지 정보만 있으면 직접 촬영하지 않아도 원하는 시점과 각도에서 본 장면을 구현할 수 있기 때문이다. 공간지능 기술이 드라마나 영화의 시각특수효과(VFX) 뿐만 아니라 게임, VR·AR 등 차세대 콘텐츠 제작의 핵심 기술로 자리잡을 수 있다는 얘기다. 네이버랩스 관계자는 "그동안 축적해온 3D 비전 기술과 자체 데이터셋을 바탕으로 NVS가 대규모 실외 환경에서도 안정적으로 동작할 수 있도록 기술을 고도화해놨다"고 설명했다.

NVS에 활용된 네이버 3D 거리뷰 데이터(좌) NVS로 복원된 3D 공간(우)

네이버는 콘텐츠는 물론 게임, 스포츠 쪽으로도 공간지능 기술 적용을 확대한다는 계획이다. 게임 공간을 구축할 때 '노블뷰 신세시스;를 활용하면 퀄리티를 확보할 수 있다. 스포츠 영역에서도 중계의 품질을 높이는 데 활용 가능하다. 예를 들면 축구경기에서 선수가 슛하는 장면을 멈춰놓고 360도로 돌려보는 콘텐츠에 적용할 수 있다. 네이버랩스 관계자는 "넷플릭스, 디즈니+에 이어 게임, 스포츠 등 다양한 분야로 협업을 확대해 네이버랩스의 기술을 실제 환경에 적극 적용해 나가겠다”고 말했다.

고은이 기자 koko@hankyung.com

테크

'북극성' 도심폭발 장면 뒤엔…네이버 '비밀기술' 있었다 [영상]

<북극성>에 적용된 네이버 기술

콘텐츠로 확장하는 공간지능 기술