갤럭시·구글 픽셀도 뚫리는 해킹 구멍, 서울대 연구진이 발견했다

이번 연구 참여진들. 왼쪽부터 정재영 서울대 전기정보공학부 학생, 김을규 학생, 이병영 전기정보공학부 교수. /서울대

서울대 연구진이 컴퓨터와 스마트폰의 시스템 전체를 제어할 수 있는 관리자 권한을 일반 사용자 권한만으로 탈취할 수 있는 보안 취약점을 발견했다. 이는 전 세계 서버와 컴퓨터에 널리 사용되는 리눅스 운영체제뿐 아니라 삼성전자 갤럭시와 구글 픽셀 등 최신 안드로이드 스마트폰에도 영향을 줄 수 있는 것으로 나타났다. 연구진은 실제 공격을 통해 관리자 권한을 획득하는 데 성공해 구글로부터 약 9만2000달러(약 1억3000만원)의 포상금을 받았다.

서울대 공과대학은 이병영 전기정보공학부 교수 연구팀이 리눅스 운영체제의 핵심 부분인 커널에서 새로운 보안 취약점 '배드 에폴(Bad Epoll·CVE)'을 발견했다고 8일 밝혔다.

Bad Epoll 공격을 안정화하는 기법의 모식도. 연구진은 짧은 경쟁 구간을 넓히고 반복 재시도하는 방식으로 99%의 공격 재현성을 확보했다고 설명했다. /서울대

리눅스 커널은 컴퓨터나 스마트폰에서 프로그램과 하드웨어가 정상적으로 작동하도록 관리하는 운영체제의 핵심 부분이다. 이곳에서 보안 취약점이 발생하면 공격자가 정상적인 접근 권한을 넘어 시스템의 주요 기능을 마음대로 조작할 수 있다. 특히 관리자 권한을 탈취하면 중요한 정보에 접근하거나 보안 장치를 우회하는 것도 가능해진다.

이번에 발견된 취약점은 리눅스 커널의 '에폴(epoll)'이라는 기능에서 발생한다. 에폴은 여러 프로그램에서 들어오는 데이터를 효율적으로 처리하는 역할을 한다. 연구진은 컴퓨터의 여러 처리 장치가 동시에 작업하는 과정에서 실행 순서가 어긋나면 이미 사용이 끝난 메모리에 다시 접근하는 오류가 발생할 수 있다고 설명했다. 공격자가 이 오류를 악용하면 시스템의 메모리를 조작해 관리자 권한까지 얻을 수 있는 이유다.

연구진은 구글의 보안 포상 프로그램인 '커널CTF(kernelCTF)'에서 이 취약점을 통해 실제 공격 가능성을 입증했다. 커널CTF는 단순히 보안상 문제를 발견하는 것을 넘어 실제 공격 코드를 이용해 시스템 침투가 가능하다는 사실까지 증명해야 포상금을 받을 수 있는 프로그램이다.

특히 이번 취약점은 안드로이드 스마트폰에도 영향을 줄 가능성이 있다는 점에서 주목된다. 에폴은 안드로이드에서도 널리 사용되는 핵심 기능이기 때문이다.

인공지능(AI)이 분석했던 코드에서 직접 보안 문제를 추가로 찾아냈다는 점에서도 의미가 있다. 앞서 앤스로픽의 AI 모델 미토스는 같은 코드 영역에서 다른 취약점을 발견했지만 이번 취약점은 찾아내지 못했다. 연구진은 오류가 발생하는 순간이 매우 짧고 기존 보안 검사 도구로도 탐지하기 어려운 특성이 영향을 미쳤을 것으로 분석했다.

연구팀은 지난 2월 17일 리눅스 커널 보안팀에 취약점을 신고했다. 수정 사항은 지난 4월 24일 리눅스 커널에 반영됐다. 연구진은 영향을 받을 수 있는 리눅스 및 안드로이드 기기 사용자들에게 제조사와 운영체제 배포업체가 제공하는 최신 보안 업데이트를 적용할 것을 권고했다.

이 교수는 "AI 기술이 빠르게 발전하면서 취약점 탐지와 보안 연구의 방식도 크게 변화하고 있지만 복잡한 시스템에서 새로운 보안 위협을 발견하고 실제 위험성을 규명하는 데에는 여전히 깊이 있는 분석과 새로운 관점이 중요하다"고 말했다.

최영총 기자 youngchoi@hankyung.com