생성형 AI의 발전과 함께 AI를 악용한 딥페이크 문제도 심각해지고 있다. 우리 대학 소프트웨어학과를 비롯해 인공지능대학원, 데이터사이언스융합학과에 소속된 우사이먼성일 교수는 이러한 사회적 흐름에 발맞춰 딥페이크 탐지 연구를 통해 이에 대응하고 있다. 그는 Google Scholar 기준 딥페이크 분야 전 세계 8위에 오를 정도로 두각을 드러내고 있다.

기술은 학문적 연구에만 국한된다는 과거 통념과 달리, 우사이먼성일 교수가 보여주는 기술은 실질적인 문제 해결의 핵심 키로 작용하고 있다. 이번 579호 인물포커스에서는 인공지능 연구자이자 교육자로서 그의 철학을 자세히 들어보며, 기술은 어떤 방향성을 갖고 연구되어야 할지 질문을 던진다.

| 안녕하세요, 교수님. 간단한 자기소개 부탁드립니다.

저는 현재 성균관대학교 소프트웨어학과, 인공지능대학원, 데이터사이언스융합학과에 소속된 우사이먼성일입니다. 2019년에 성균관대에 부임한 이후 인공지능 보안, 특히 딥페이크 탐지 관련 연구를 열심히 수행하고 있습니다. 고등학교 3학년 때 미국으로 이민을 가서 살다가 다시 한국으로 돌아왔습니다. 한국으로 돌아오기 전, 미국 NASA 제트추진연구소에서 9년 정도 연구원으로 일하였습니다. 직장을 다닐수록 공부를 더 해야 한다는 생각이 들어서 늦깎이로 박사과정을 시작하게 되었지만, 지금 생각해 보니 인생에서 후회 없는 가장 큰 투자였던 것 같습니다. 현재 학생들과 새로운 지식을 공유하고, 하고 싶은 연구 및 일을 할 수 있어서 바쁘면서도 행복한 나날을 보내고 있습니다.

▲ (왼쪽부터) 우사이먼성일 교수, 오픈AI 창업자 샘 알트만

| 최근 딥페이크 탐지 기술 연구로 과학기술정보통신부 장관 표창을 수상하셨습니다. 해당 연구에 대해 자세히 설명해 주실 수 있으실까요?

저는 2017년부터 딥페이크 탐지 관련 연구를 수행하고 있습니다. 예전에는 딥페이크 및 인공지능의 악용 사례가 큰 사회적 문제로 여겨지진 않았지만, 현재 생성형 AI 기술의 발전에 더불어 점점 더 큰 문제로 떠오르고 있습니다. 정보 조작, 가짜 뉴스, 지인 능욕 등 많은 분야에서 인공지능의 악용 사례가 시간이 지날수록 점점 늘어나고 있어서 안타까운 마음입니다.

저는 이를 해결하기 위해, 다양하게 진화하는 여러 종류의 딥페이크를 높은 성능으로 탐지할 수 있는 강건성과 일반화 성능이 높은 탐지 기술을 연구하고 있습니다. 현재는 많은 데이터를 효율적으로 학습하여 탐지할 수 있는 딥러닝 아키텍처를 연구하고 있습니다. 특히 CLIP, DINO 등 거대 딥러닝 모델을 활용해서 탐지의 일반화 성능을 높이고, 추가로 크고 똑똑한 모델이 화질이 나쁜 모델을 먼저 학습한 뒤 그 내용을 작은 모델에 전달하는 지식 증류(Knowledge Distillation) 기법을 활용해 다양한 환경, 특히 저화질이나, 압축된 딥페이크를 탐지할 수 있는 연구를 수행 중입니다. 제가 세계 최초로 공개한 멀티모달 딥페이크 데이터셋(FakeAVCeleb)*을 전 세계 많은 연구자가 활용하는 등의 성과가 났습니다. 또한, 지난 2025년 10월 세계적인 컴퓨터 비전 학술대회인 IEEE ICCV에서 열린 딥페이크 탐지 챌린지에서 우리 팀이 전 세계 2위를 달성하는 쾌거를 이루기도 했네요.

*멀티모달 딥페이크 데이터셋(FakeAVCeleb): 음성과 영상을 동시에 조작한 데이터를 포함해, 보다 현실적인 딥페이크 공격을 탐지하기 위한 핵심 자료

장기간 축적해 온 연구 성과를 바탕으로, 국내 딥페이크 탐지 기술 분야에서는 우리 연구팀이 최고라고 확신하고 있습니다. 이러한 연구 성과와 더불어 딥페이크의 악용을 방지하고 사회적 문제 해결에 기여하고자 한 노력들이 높이 평가되어 이번 장관상을 수상하게 되었다고 생각합니다.

| 교수님 연구팀은 연구에 그치지 않고 국가경찰청 등 다양한 기관과 협력하며 딥페이크 해결에 기여하고 있는 것으로 알고 있습니다. 이러한 협업이 실제로 어떤 방식으로 이뤄지고 있으며, 낸 성과가 있다면 소개해 주세요.

과거에는 국립과학수사연구원, 삼성SDS, 경찰청, 대검찰청과 공동연구를 수행하였고요. 현재는 경찰청, 그리고 중앙선거관리위원회와도 협력하고 있습니다. 특히, 경찰청에서 수사관이 실제 수사에 적용할 수 있도록 정확도는 물론 활용도까지 높아 손쉽게 사용할 수 있는 기술을 개발하고 있습니다. 이 기술은 100% 국산 기술이며 성균관대에서 개발한 이미지/영상 딥페이크 탐지 기법이라고 자부합니다. 나아가 경찰청과 주기적인 미팅을 통해, 구체적인 수사에서의 어려움을 파악하고 어떻게 실질적인 도움을 더 드릴 수 있을지 꾸준히 모델을 개선하고 있습니다. 국내 경찰청뿐만 아니라, 독일 뒤셀도르프 경찰청과도 협력을 진행하고 있으며, 저희가 만들 탐지 모델을 API화 하여 독일 경찰청에서도 현재 테스트 및 활용 중입니다.

또한, 내년 6월 지방선거를 맞아 현재 중앙선관위와 딥페이크 악용을 사전에 막을 수 있도록 협력을 시작하였습니다. 이처럼 저희가 만든 탐지 기술이 더 나은 사회를 만드는 데 이바지하고 있어 개인적으로도 뜻깊습니다.

| 딥페이크처럼 기술 발전 속도가 빠른 분야를 연구하면서 어려움도 많았을 것 같습니다. 연구 과정에서 마주한 난관과 이를 어떻게 극복해 오셨는지 궁금합니다.

AI 기술이 정말 빠르게 일어나고 있습니다. 특히 생성형 AI 기술이 딥페이크에 접목되어 많이 악용되고 있습니다. 즉, 학습 데이터에서 사용되지 않은 새로운 딥페이크 기법이 나올 경우, 기존의 모델은 성능이 아주 크게 떨어지게 되는 문제가 생깁니다. 따라서, 지속적으로 새로운 데이터를 수집하고 모델을 학습하고, 새로운 모델을 만드는 과정이 난관이고요. 이를 해결하기 위해 머신러닝에서 활용되는 Continual Learning, Domain Adaptation Method, 그리고 다양한 Data Augmentation 기법 및 고성능 얼굴인식 기법을 적용해서 탐지 성능을 향상시키고 있습니다. 또한, 최근 생성형 AI가 만든 이미지나 음성이 특정 주파수 영역에 반복적인 패턴을 가지고 있는 경향을 활용해 탐지 성능을 지속적으로 높이도록 모델을 업데이트하고 있습니다.

당면한 가장 큰 과제는 예측하기 어려운 실세계에서의 딥페이크에도 높은 성능을 보여주는 탐지 기법을 만드는 것입니다. 저와 우리 연구실에서는 앞에서의 기술들을 활용하여 현실에서 악용되는 딥페이크를 탐지하는 연구를 계속 진행하고 있습니다.    

| 교수님의 이력 중에 ‘불멸의 6·25전쟁 영웅, 청년으로 돌아오다 특별 사진전’ 참여가 인상 깊었습니다. 해당 전시에 참여하게 되신 계기와 연구자 개인으로서 이 프로젝트가 지닌 의미는 무엇이었나요?

▲ AI 얼굴 복원기술(GFP-GAN) 및 안면 복원(Face Restoration)을 활용해 복원된 김두만 장군의 사진, 출처= 국가보훈처

우연히 국가보훈부에서 6.25 종전 70주년을 맞아 훼손되고 빛바랜 6.25 영웅들의 사진을 인공지능 기술을 활용하여 복원할 수 있는지 문의를 주셨어요. 너무나 뜻깊은 일이라 학생들과 기쁘게 참여하게 되었습니다. 연구자로서 저희가 개발한 기술들이 나라를 위해 숭고하게 목숨을 바치신 영웅들의 노고 및 희생에 조금이나마 답할 기회가 되어서 너무나 기쁘게 진행한 프로젝트였습니다. 또한, 복원한 사진이 아래와 같이 유족에게도 큰 기쁨을 드릴 수 있어서 더욱 보람이 컸던 것 같습니다.

-당시 복원된 사진 속 6.25 영웅 유족의 말-

“소프트웨어학과·인공지능학과 학생 여러분 엄청나게 감사합니다. 특히, 우사이먼 성일 교수님 고생 많으셨습니다. 감사함을 전하려 했으나 찾지 못해 이곳이라도 고마움을 전하기 위해 감사의 인사말을 전합니다. (중략) 지난 3월 보훈부와 성균관대학 소프트웨어학과·인공지능학과 학생들이 피땀 흘려 이 세상에 단 한 장 남은 사진을 너무나도 자연스럽고 이쁘고 아름답게 복원작업을 해주셨습니다. 70년 전 아버지의 색 바랜 육사 8기생 생도 시절 사진이 단 한 장 남아 있었는데, 그것도 육사 민원실에 요청해 간신히 생도 시절 사진이 한 장 남아 있어 집으로 보내준 것입니다. 전사하신 아버님의 사진 한 장은 돈으로나 그 무엇으로도 바꿀 수 없는 소중한 보물 1호입니다. 그런 사진을 자연스러운 컬러 사진으로 너무나도 생동감 있게 복원작업을 해 주셔서 말도 못 하게 감사합니다. 이 자리를 빌려 성균관대학, 고생하신 학생분들께 진심으로 고마움과 감사의 말씀을 올립니다.”

>해당 프로젝트 관련 기사 보러 가기

| 교수님의 연구를 살펴보면 기술을 통해 사회 문제를 해결한다는 공통된 의의가 느껴집니다. 연구 주제를 결정하실 때 가장 우선시하는 기준이나 가치가 무엇일까요?

제가 연구 주제를 결정하는 기준은 다음과 같습니다.

1. 해당 기술이 경제적 가치를 넘어서 사회에 도움이 될 수 있는가?

2. 의미 있는, 그리고 진정 사람들을 도와줄 수 있는 기술인가?

3. 나를 포함한 연구원들이 즐겁게 연구할 수 있는 주제인가?

4. 이전에 많이 연구가 되지 않은 새로운 분야인가?

5. 앞으로 꼭 필요한 기술인가?

학문적 가치도 중요하지만 동시에 근본적으로 사람을 도와주고 나아가 사회 전체에 도움을 줄 수 있는 기술개발이 필요하다고 생각합니다. 특히, 인공지능의 발전으로 인간적, 사회적 가치가 변동되고, 훼손될 수 있다는 것을 현재만 봐도 알 수 있습니다. 또한, 인공지능의 폐해 및 위험성이 점점 늘어나고 있어서 걱정이 많이 됩니다. 따라서 저는 연구자 및 기술자로서, 사회에 공헌할 수 있으면서도 인간적 가치를 포괄할 수 있는 인공지능 연구 및 개발에 큰 관심을 가지고 해당 연구를 준비합니다.

| 이전에 NASA 제트추진연구소에서 연구원으로 활동하신 경험도 있으십니다. 이 과정에서 기억에 남는 에피소드나 현재 연구에 영향을 준 경험이 있다면 소개해 주세요.

2005년 참여한 화성 정찰 궤도선(MRO)* 연구가 저의 첫 번째 스페이스 미션 프로젝트였습니다. 저는 화성에서 촬영한 사진 파일을 지구로 전송하는 CFDP file transfer protocol과 DTN (Delay-Tolerant Networking)을 연구 및 개발하였는데요. 제가 개발에 참여한 인공위성이 화성에 갔다는 사실과, 설계 수명을 훨씬 넘긴 20년이 지난 오늘날까지도 작동하고 있다는 사실은 정말 놀라운 것 같습니다.

*화성 정찰 궤도선(MRO): 화성에 물이 존재하는지 탐색하고 화성 탐사 임무를 지원하기 위해 설계된 우주선으로, 화성 착륙선의 안전한 착륙지 선정 및 화성 표면에서 물이 흐르던 추가 증거 등을 제공함.

▲ 화성정찰궤도선 그래픽 이미지. 출처= NASA

물질적 가치를 떠나 과학적으로 인류의 발전을 위해서 프로젝트에 참여할 수 있었던 것 자체가 정말 소중한 경험이었던 것 같습니다. 나사에서 정말로 뛰어난 엔지니어, 과학자, 기술자들과 연구할 수 있는 것 또한 큰 영광이었습니다. 그들과 함께 일하며 여러 명이 함께 과제를 수행할 때 어떤 방식으로 일을 해야 하는지를 배웠습니다. 현재 저는 나사에서 했던 것과는 전혀 다른 연구를 진행하고 있지만, 그곳에서 배운 협업 방법, 조화의 방식, 연구 문제에 대한 접근, 연구 논문 및 제안서 작성법 등은 지금의 저에게 다방면으로 아주 큰 도움이 되고 있습니다.

| 앞으로 새롭게 도전해 보고 싶은 연구 분야나, 현재 관심을 갖고 준비 중인 연구 주제가 있다면 무엇인가요?

인공지능 보안, 그리고 앞서 말했듯 인간적 가치를 소중히 여기고 존중하는 인공지능 기술, 새로운 인공지능 파운데이션 모델을 연구해 보고 싶습니다.

| 연구 활동 외에도 교육자이자 연구실 책임자로서 다양한 역할을 수행하고 계십니다. 교수님이 생각하시는 ‘좋은 연구실’은 어떤 모습인지 궁금합니다.

좋은 연구실은 모든 참여 연구원이 인간적으로나 일로나 맡은 업무에 대한 책임감이 있어야 한다고 생각합니다. 이것은 서로에 대한 배려와 약속이기에 어디서나 정말로 중요한 부분입니다. 어떤 조직이든 1명으로는 그 개인이 아무리 뛰어나다고 할지라도 아무것도 할 수 없습니다. 개인들이 모여 시너지를 내야 더 좋은 결과가 나오는 것 같습니다. 따라서, 구성원끼리 서로 존중과 배려를 해야 하고, 이기적이지 않아야 할 것입니다.

학생들이 공부 및 연구는 자신의 미래에 대한 투자라고 생각하면 좋겠습니다. 과정이 쉽지 않기에, 제가 본 바에 의하면 똑똑한 학생이 성공하는 게 아니라 끈기가 있고 열심히 하는 학생이 연구실 생활 및 사회에서 성공하는 것 같습니다. 따라서, 책임감 있고 끈기 있는 학생이 많으면 자연스럽게 성과가 잘 나오고 저절로 좋은 연구실이 될 수 있다고 생각합니다.

▲ 학생들과 사진 복원 중인 우사이먼성일 교수, 출처= 전자신문

| 마지막으로 교수님의 연구실인 DASH Lab에 관심을 갖고 있는 학생들에게 한 말씀 부탁드립니다.

단순히 지금 관심도가 높고 돈을 많이 벌 수 있는 인공지능기술(예: LLM의 성능을 어떻게 높일까?) 을 벗어나서 한 발짝 더 나아가, 정말로 의미 있는 인공지능 기술(예: LLM의 문제점을 어떻게 근본적으로 해결할까?) 을 연구 및 개발하고 싶은 학생들은 연락하시기 바랍니다. 또한, 앞서 말했듯 좋은 연구실을 만들기에 필요한 착하고 책임감 있게 열심히 연구하실 학생분들이 지원하셨으면 좋겠습니다.

>우사이먼 교수의 DASH Lab 연구실 탐방 기사 읽으러 가기

>DASH Lab 홈페이지