왼쪽부터 숭실대 최대선 교수, 김동현 박사과정, 김승민 석사과정, 김다인 학사과정, 권준석 교수, 홍진 박사과정.

 

[대학저널 온종림 기자] 숭실대학교 AI안전성연구센터 최대선 교수 연구팀이 중앙대학교 권준석 교수 연구팀과 공동으로, 개인의 목소리를 도용해 실제로 말하는 것처럼 꾸민 ‘립싱크 딥페이크’의 제작을 막는 기술 ‘MUTE(뮤트)’를 개발했다.

음성 보호 처리만으로 가짜 영상의 입 모양과 소리의 일치를 무너뜨린 기술은 이번이 처음이다.

AI 기술의 발전으로 사진 한 장과 짧은 음성만으로도 실제 사람이 말하는 듯한 정교한 가짜 영상을 만들 수 있게 됐다. 온라인에 공개된 인터뷰나 강연 속 얼굴과 목소리가 무단으로 수집돼, 본인이 한 말을 전혀 다른 자리에서 한 것처럼 꾸민 가짜 광고나 가짜 뉴스에 악용될 수 있다. 얼굴과 목소리는 개인을 식별할 수 있는 개인정보지만, 한번 공개되면 정보주체가 그 이용을 통제하기 어렵다.

MUTE는 영상이나 녹음 파일을 온라인에 올리기 전, 음성에 사람이 거의 느끼지 못하는 미세한 보호 신호를 더하는 기술이다. 원래 목소리의 자연스러움은 유지하면서도, AI가 해당 음성을 이용해 가짜 영상의 립싱크를 만들어내는 과정을 방해한다. MUTE로 보호된 음성으로 만든 가짜 영상은 소리와 입술 움직임이 크게 어긋나 립싱크가 눈에 띄게 무너진다.

최대선 교수는 “AI 기술이 발전하면서 딥페이크 악용도 사진이나 목소리의 위조를 넘어, 음성을 바탕으로 실제 인물이 말하는 듯한 정교한 가짜 영상을 만드는 수준으로 진화하고 있다”며 “이에 대응하려면 얼굴과 목소리 같은 개인정보를 공개 전에 보호하는 기술이 필요하다. 이번 성과는 개인정보 보호 기술이 갈수록 정교해지는 딥페이크 위협에 맞설 수 있음을 보여준다는 점에서 의미가 크다”고 말했다.

이번 연구는 얼굴, 음성 등 개인정보의 악용을 막기 위한 기술로 세계 최고 권위의 국제학술대회 ‘NeurIPS 2026’에 채택됐으며, 개인정보위·KISA의 R&D 과제를 통해 수행한 성과이다.

이번 연구는 개인정보위·KISA를 통해 선정된 R&D 과제로, 올해부터 수행 중인 '딥페이크 억제 기술 개발’ 과제의 일환으로 진행됐다.

[ⓒ 대학저널. 무단전재-재배포 금지]