정기훈 교수(왼쪽)와 배상인 연구원 /KAIST 제공
정기훈 교수(왼쪽)와 배상인 연구원 /KAIST 제공
표정 또는 감정 판독 기술은 장애인과의 소통이나 원격 진료 등에 활용된다. 첩보, 요인(要人) 감시 등 특수 군사 임무용으로도 쓴다. 이런 기술에는 얼굴의 3차원 이미지를 효율적으로 추출하는 인공지능(AI) 기법이 필요하다. 일명 ‘라이트 필드 카메라’가 그 역할을 한다.

일반 디지털카메라는 단순히 보면 이미지 센서와 광학 렌즈로 구성돼 있다. 렌즈를 통해 들어오는 빛을 한 방향으로만 모아 상을 맺는다. 이 구조는 2차원 사진만 촬영 가능하다. 라이트 필드 카메라는 이미지 센서와 광학 렌즈 사이에 다양한 형태의 마이크로 렌즈를 삽입한 특수 카메라다. 수십~수백 개의 광 수용체를 가진, 눈이 중첩돼 있는 곤충의 겹눈 구조에서 착안해 개발됐다.

라이트 필드 카메라는 피사체에서 반사된 모든 빛의 정보를 기록한다. 심도(배경 흐림)와 초점을 변경하는 것도 자유롭다. 이를 적절히 이용하면 3차원 영상 구성이 가능해진다. 나아가 멀미를 유발하지 않는 고화질 가상현실(VR) 기기를 개발할 수도 있다. 다만 아직 기술이 성숙하지 않았다.

대표적 문제가 광학 렌즈와 센서 사이에 삽입된 마이크로 렌즈 간 ‘광학 크로스토크(Optical Crosstalk)’ 현상이다. 크로스토크는 원래 어떤 통신 회선의 전기 신호가 다른 회선의 신호와 혼합돼 전체 통신 시스템 성능이 떨어지는 것을 말한다. 광학 크로스토크는 복수의 렌즈가 존재하는 경우, 한 렌즈를 통과한 빛이 다른 렌즈로 들어온 빛과 겹치는 현상을 말한다.

광학 크로스토크가 생기면 이미지 해상도가 저하되는 것은 물론, 3차원 영상 구성이 아예 불가능해진다. 겹눈을 가진 곤충은 눈과 눈 사이 빛을 차단하는 색소 세포가 있어 시야각이 넓고 주변 움직임을 포착하는 민감도가 높다. 자연적으로 광학 크로스토크를 막은 셈이다. 잠자리를 잡으려고 살금살금 다가가도 훌쩍 날아가 버리는 것을 떠올리면 된다.

정기훈, 이도헌 KAIST 바이오및뇌공학과 교수 연구팀은 AI 기술 등을 활용해 3차원 표정 재구성에 최적화된 라이트 필드 카메라를 개발했다고 7일 밝혔다. 연구팀은 라이트 필드 카메라에 근적외선 영역의 레이저와 필터를 적용해 조명·그림자 등에 따라 3차원 영상 정확도가 떨어지는 문제를 해결했다. 가시광선 및 근적외선을 흡수하는 필터를 마이크로 렌즈 사이에 넣어 광학 크로스토크를 최소화했다.

연구팀 관계자는 “기존 라이트 필드 카메라 대비 오류 발생률을 54%까지 줄였고, 3차원 영상 선명도를 2.1배 늘리는 데 성공했다”고 말했다.

연구팀은 획득한 3차원 얼굴 이미지로 기계학습(머신러닝)을 한 결과, 감정 판독 정확도가 2차원 이미지보다 통계적으로 유의미하게 높았다고 밝혔다. 기쁨, 화남, 슬픔 등 기본적 감정부터 역겨움, 비아냥, 무관심, 체념, 격노, 우울, 피곤, 귀찮음 등 다양한 감정을 판독할 수 있는 기반을 마련했다는 평가다.

연구팀은 앞서 ‘제노스 페키’라는 곤충의 겹눈 구조를 본떠 넓은 광시야각을 갖는 초박형 카메라를 선보였다. 정 교수는 “정량적으로 인간의 표정과 감정을 분석하는 새로운 플랫폼을 만든 것”이라며 “모바일 헬스케어, 범죄 현장 진단, 심리 치료, 인간-기계 상호작용(인터페이스) 등 분야에서 활용될 것으로 기대한다”고 말했다. 배상인 KAIST 바이오및뇌공학과 박사과정 졸업생이 주도한 이번 연구 결과는 학술지 ‘어드밴스트 인텔리전트 시스템스’에 실렸다. 과학기술정보통신부가 연구를 지원했다.

이해성 기자 ihs@hankyung.com