이번 연구실탐방은 컴퓨터를 활용해 영상 관련 인공지능 기술에 대해 연구하는 이준호 교수의 Computer Vision Lab(CVL)을 취재했다.

Q. CVL 간단한 소개 부탁드립니다. 

컴퓨터 비전(Computer Vision)은 한마디로 시각 지능을 컴퓨터로 구현하는 인공지능입니다.

CVL(Computer Vision Laboratory)에서는 영상 인식 및 검출 그리고 이를 위한 영상 합성 등에 관련된 인공지능 기술을 연구합니다. 최근에는 딥러닝 기술을 많이 활용하고 있으며, 특히 영상 생성 기술인 Generative adversarial network(GAN)를 활용하여 연구를 진행하고 있습니다. 대표적으로 서로 다른 모달리티 영상(포토 vs. 스케치, 2D vs. 3D 등)을 합성하거나 매칭하는 이종 모달리티 영상 합성(synthesis) 및 매칭 연구, 얼굴 영상에서 마스크나 손 등 얼굴을 가리는 물체를 제거하는 face de-occlusion 연구, 그리고 실사 객체를 그림(painting)에 자연스럽게 합성하는 style harmonization 연구를 진행하고 있습니다. 현재 연구실 인원은 박사후 연구원 1명, 박사과정 2명, 석사과정 2명, 학부생 1명으로 이루어져 있습니다.

Q. 대표적인 연구 활동이 있으신가요?

CVL에서는 그동안 얼굴영상을 주로 다루었는데 얼굴인식 및 검출 등에서 학계의 주목을 받는 우수한 연구결과를 성취하였습니다. 그중 ‘가면을 착용한 얼굴의 검출’과 ‘구조광을 이용하는 depth filtering’ 연구는 기존에 다른 연구자들에 의해 시도되지 않았던 pioneering work라고 할 수 있습니다.

최근에는 주어진 포토에 대응하는 스케치 합성 연구와 face de-occlusion 연구에서 성과를 얻어 여러 편의 논문을 국제 학회 및 학술지에 발표하였습니다. 현재 진행 중인 연구에는 포토-스케치 영상 매칭과 실사 객체를 그림에 자연스럽게 합성하는 style harmonization이 있습니다.

1) 포토-스케치 영상 합성 연구는 실제 포토를 입력으로 받아 같은 사람의 스케치 영상을 인공지능을 통해 합성하는 연구입니다. 실제 스케치는 같은 대상을 그리더라도 화가의 스타일에 따라 전혀 다른 결과물을 얻게 됩니다. 기존 연구들은 이를 고려하지 않아 하나의 네트워크가 하나의 스케치 스타일을 학습하였습니다. 본 연구는 기존 연구와는 달리 하나의 네트워크 학습만으로 다양한 스타일의 스케치를 합성하는 GAN 기반의 네트워크를 개발하여 효율적인 포토-스케치 합성을 수행하였습니다. 현재는 문제를 확장하여 여러 포토/스케치 중 같은 사람을 나타내는 포토-스케치 쌍을 찾는 포토-스케치 영상 매칭 또한 연구하고 있습니다.

2) Face de-occlusion은 얼굴을 가리는 특정 물체를 제거하고 물체로 가려졌던 얼굴 영역을 자연스럽게 합성해내는 연구입니다. 입 부분을 가리는 마이크 제거에서 시작하여, 의료 마스크 제거, 그리고 손이나 안경 등으로 연구를 확장해 나가며 성능을 향상시키고 여러 편의 논문을 발표하였습니다. 특히, 코로나 팬데믹 상황에서 우리 연구실에서 최근 발표한 “Unmasking of masked faces” 연구는 많은 관심을 받고 있습니다. 현재는 연구를 더욱 다양한 객체로 확장하고, 실생활 적용을 목표로 연구를 수행하고 있습니다.

Q. 하나의 연구를 진행하는 과정은 어떻게 되나요?

연구 진행의 첫 단계는 구체적인 연구 주제를 선정하는 것입니다. 이를 위해서는 매년 컴퓨터 비전 분야의 저명한 학술대회에 적극적으로 참가하여 다양한 연구를 접하여 최신 기술 동향을 분석하고 연구실의 연구과제와 관련이 있거나 향후 추구할 가치가 있는 연구주제를 선정합니다. 연구주제를 선정하면 더욱 심도 있게 관련 연구들을 검색하여 최신 논문들의 분석을 통해 해당 분야의 문제점을 파악하고 새로운 개선 아이디어를 모색합니다.

연구실 미팅을 통해 새로운 아이디어가 어느 정도 검증되면 해당 아이디어를 구현하고 실험합니다. 해당 주제 관련하여 현재까지의 최고 수준의 연구와의 비교 실험을 통해 얻은 결과를 연구실 미팅에서 발표하여 공유하고 정리하여 논문을 작성하게 됩니다. 이러한 과정을 통해 학생 연구원 스스로 문제를 파악하고 해결하는 능력을 증진시키게 되고 발표 능력을 함양하게 됩니다.

Q. CVL 자랑 부탁드립니다. 

CVL의 가장 큰 장점은 적정한 구성원 수와 자유로운 분위기인 것 같습니다. 지도 교수와 연구원 간 그리고 연구원들 간 밀접한 인터액션을 위해 구성원 수를 과대하지 않게 6~7명 수준으로 유지하는 것이 연구실의 방침입니다. 정기 미팅을 제외하고는 정해진 출퇴근 시간이 없어 학생들이 주체적으로 연구 시간을 계획하여 활용할 수 있습니다. 구성원들의 흥미에 따라 폭넓은 연구 주제를 선택할 수고, 소통과 토론을 즐기는 수평적인 분위기를 지향합니다. 매주 정기 미팅을 진행하여 연구 진행 상황을 공유하고 구성원 및 지도 교수님으로부터 여러 조언을 얻을 수 있습니다. 또한, 글로벌 경쟁력을 갖춘 연구자로서 성장하기 위해 매년 컴퓨터 비전 분야의 저명한 국제 학술대회에 적극적으로 참여하고 있습니다.

Q. CVL에 들어가려면 어떻게 해야 하나요? 어떤 자격이 필요한가요?

모르는 것에 대해 알기 위해 질문할 수 있는 학생이면 대환영입니다. 질문을 작성할 수 있다면 우리가 모르는 것에 대해 창의적 해법을 찾기 위해 생각을 정리할 수 있는 자질을 기본적으로 갖추고 있는 것입니다.

물론, CVL에서의 연구를 위해서는 어느 정도 프로그래밍 능력(Python, TensorFlow 등)과 기본적인 수학적 능력(선형대수학, 확률 및 랜덤 프로세스 등)이 있으면 도움이 됩니다. 또한, 최근 연구는 대부분 딥러닝 기법을 기반으로 수행되고 있음으로 이에 대한 기초적인 개념을 미리 알아보는 것도 좋습니다. 하지만 이런 것들은 연구실 구성원이 된 후에 배워도 됩니다. 컴퓨터 비전 분야에 관심이 있는 학부생도 연구실에 들어와서 연구실 미팅과 대학원생 선배들과의 교류를 통해 빠르게 성장할 수 있습니다.

Q. 연구원들에게 해주고 싶은 말. 

“One small step at a time can lead to a big difference.”라는 말이 있습니다. 인생의 성공이란 커다란 한 번의 성취가 아니라 매일매일의 작은 승부로 쌓아가는 것입니다. 연구에 대한 열정을 갖고 조바심 내지 않고 끈기 있게 노력하고 도전한다면 시작할 때와는 전혀 다른 훌륭한 연구자로 성장한 자신을 졸업할 때 보게 됩니다. 지도 교수는 그런 과정 중에 학생들의 내재된 능력을 최대한 이끌어낼 수 있도록 도와주는 사람입니다.

*연구실 홈페이지: http://vision.skku.ac.kr