국가보훈처는 독립운동가 15인의 흑백 사진을 인공지능 기술을 활용해 컬러 사진으로 복원했다고 밝혔다. 최근에 우리는 인공지능 발전으로 새로운 가능성들을 경험하고 있는데 이번엔 인공지능 사진 복원 기술을 통해 독립운동가의 모습을 더욱 생생하게 마주할 수 있게 됐다. 역사를 잊은 민족에게 미래는 없다는 신채호 선생님의 말씀처럼 독립운동가의 컬러 사진은 대한민국을 더욱 견고하게 만들어주는 역할을 했다. 이런 뜻깊은 사업에 참여한 이강준, 정다혜 원우를 만나보자.

Q. 만나서 반갑습니다. 본인 소개 부탁드려요.

정다혜 | 안녕하세요. 저는 공과대학 인공지능융합학과에서 석박통합과정을 밟고 있는 정다혜입니다. 2020년 3월에 인공지능융합학과 1기로 입학하여 현재 박은일 교수님 지도하에 DX Lab.에서 연구하고 있어요.

이강준 | 안녕하세요. 저는 이번 학기에 소프트웨어학과 융합보안트랙 전공을 석박통합과정으로 입학한 이강준입니다. 현재 우사이먼성일 교수님 연구실인 DASH Lab에서 딥러닝 기반 보안관련 연구를 하고 있는데요. 연구실에 들어오자마자 국가보훈처에서 진행하는 독립운동가와 6‧25 참전 영웅들의 사진을 복원하는 사업에 참여하게 되어 정말 영광으로 생각해요. 이렇게 흔치 않은 좋은 기회를 주신 보훈처와 지도교수님께 감사한 마음을 전합니다.

Q. 독립운동가들의 흑백사진을 컬러로 복원하셨는데 복원 과정에 대해 자세히 설명해주세요.

복원 과정은 해상도 복원 과정과 컬러링 과정, 총 2가지로 나뉩니다.

이강준 | 해상도 복원 과정은 화질이 떨어지는 사진을 face restoration을 이용하여 복원하는데요. 이 과정은 제가 맡아서 진행하고 있어요. Face restoration을 위해서 GFP-GAN 모델을 사용합니다. 이 모델은 딥러닝 모델로 사람의 얼굴이 담긴 영상(이미지)을 거의 완벽하게 고해상도로 복원할 수 있도록 하는 기술이에요. 저해상도 이미지는 노이즈가 많고 픽셀의 수가 적어서 해상도가 낮아요. 그래서 GFP-GAN모델을 통해 노이즈를 없애고, 적은 수의 픽셀을 얼굴 특성에 맞게 충분한 양의 픽셀을 생성해 줌으로써 고해상도 이미지를 만들어요. 고해상도로 복원된 영상은 다음 과정으로 넘어가 정다혜 님께서 컬러링을 통해 사진의 색상을 입힙니다.

정다혜 | 컬러화 과정에서 사용되는 딥러닝 모델은 icoloriT 모델인데 이 모델은 흑백 이미지를 입력으로 받아서 컬러 이미지로 변환하는 작업을 수행하는 모델이에요. 컬러화를 진행할 때 얼굴과 머리카락, 옷, 배경 등의 색깔을 모델에게 픽셀 단위의 힌트로 주면 패치 간 상호작용을 고려하여 컬러를 예측하고 있어요. 이렇게 진행하면 조금 더 자연스럽고 생동감 있게 표현 되더라고요.

▲출처: 국가보훈처

Q. 오래된 사진이어서 복원이 힘들었을 것 같아요. 사진을 복원하면서 힘들었던 부분이 있나요?

정다혜 | 색이 바랬거나 이목구비가 흐리거나, 흑백의 경계가 모호한 사진들은 아무리 힌트를 줘도 컬러화가 자연스럽게 잘 안되더라고요. 그럴 때는 최대한 힌트를 많이 줘서 해당부분이 주위의 색과 비슷하게 예측할 수 있도록 했습니다.

이강준 | 위인께서 사진을 사진관에서 찍었으면 너무나 좋았겠지만, 나라의 큰일을 하기 위해서 그럴 여력이 없으셨던 것 같습니다. 사진이 제대로 찍히지 않은 부분이 많더라고요. 제대로 찍혔더라도 지금까지 보존되는 과정 중에 빛에 바랬거나 훼손이 많이 발생한 경우도 있었어요. 그렇다 보니 얼굴을 복원하는 과정에서 수많은 노이즈로 인해 눈의 모양이나 얼굴의 테두리 부분이 제대로 복원이 안된 경우도 있었죠. 이런 작업 결과가 나오면 우리 영웅들의 역사를 되살리지 못한 것 같아 안타까워요.

Q. 사진 복원 과정에서 인상 깊었던 독립운동가가 있었는지 궁금합니다.

정다혜 | 제가 사진 복원 과정에서 인상 깊었던 독립운동가는 김구 선생님이에요. 이 복원작업을 시작하고 처음 작업했던 분이기도 하고, 김구 선생님을 교과서에서만 봤을 때는 몰랐는데 컬러 사진으로 보니 그분들의 열의나 의지가 더 잘 느껴지는 것 같았어요.

이강준 | 어니스트 베델 선생님과 호머 헐버트 박사님입니다. 대한 독립에 헌신하신 분 중 외국인도 있었다는 점이 인상 깊었거든요. 생판 모르는 다른 나라에 와서 자신의 인생을 바친다는 건 어렵고 힘든 일이잖아요. 수많은 우리나라 국민들이 대한 독립을 위해 희생할 때, 외국인도 함께 우리나라를 지켰단 것이 마음에 와닿았어요. 이 두 분에 대해서 더 자세히 알아봤습니다. 헐버트 박사님은 선교사로 와서 조선에 한글과 영어를 교육하고 독립신문 발행을 도왔더라고요. 신기했던 것은 박사님이 한글에 띄어쓰기, 가운뎃점을 도입했단 사실이었어요. 이를 통해 헐버트 박사님이 우리나라를 얼마나 사랑했는지 알 수 있었어요.

Q. 복원된 색채 사진이 대한민국역사박물관 대형전광판에 송출됐는데요. 직접 가서 보셨나요?

정다혜 | 얼마 전 광화문에 회의가 있어서 다녀왔습니다. 그동안 사진으로만 봤던 대형 전광판을 실제로 보니 감회가 무척이나 새로웠어요. 제가 복원한 독립운동가 사진들을 실제로 많은 국민들이 볼 수 있다는 것도 굉장히 뿌듯했고요. 대형 전광판을 통해 흑백에서 컬러 이미지로 변하는 영상과 함께 그분들이 말씀하셨던 어록을 같이 볼 수 있어서 더욱 맘에 다가왔어요.

이강준 | 광화문광장 대형전광판에 복원한 사진이 올라간다는 소식에 가슴이 두근거렸어요. 이런 일을 맡은 것만해도 영광인데 역사박물관에 영상이 전시된다니 뜻깊은 일을 한 것 같아 감사했죠.  하루 빨리 가서 그 영상을 직접 눈에 담고 싶은데, ‘이번 주말엔 꼭 가야지’라고 마음을 먹어도 시간이 잘 안 나더라고요. 4월 11일까지 전시 된다는데 더 늦기 전에 직접 가서 보려고요.

Q. 이번 프로젝트를 진행하는 과정에서 배운 점이 있다면 무엇인가요?

정다혜 | 이번 프로젝트를 진행하면서 제가 역사에 대해서 잘 모르고 있다는 걸 느꼈어요. 공대생이다 보니 평소에 역사 공부를 상대적으로 소홀했는데 복원 작업하면서 이분들이 어떤 일을 하셨는지 찾아보게 됐어요. 다른 분들도 복원된 사진을 보면서 자랑스러운 우리 역사를 다시 한번 되새기는 계기가 되면 좋을 것 같아요.

이강준 | 복원작업 하면서 제가 몰랐던 인물이 많았단 것에 가슴 아팠습니다. 알려지지 않았더라도 이분들의 활동 모든 것이 의미 있고 절대 잊히면 안 되는 역사임을 깨달았어요. 저는 이번 사업이 우리나라를 위해 희생한 위인이 오래 기억될 수 있도록 하며 한국 역사의 깊이를 강조하고 있다 생각해요. 저는 국가 보훈처와 이번 작업이 처음인데, 제 인생에서 의미 있는 일이었어요. 올해 이 작업을 시작하고 마무리하는 기간이 저에겐 3∙1운동과 6‧25를 지속적으로 되새기고 기념하는 날이 됐어요. 이렇게  영광스러운 순간을 다시 맞이할 수 있는 작업이 더 있었으면 좋겠습니다!

Q. 흑백 사진과 색채 사진 각각의 장단점이 있는 것 같아요. 두 사진 중 어떤 사진을 더 좋아하는지 궁금합니다.

정다혜 | 저는 개인적으로 색채 사진이 더 맘에 들어요. 흑백 사진으로만 접했을 때는 단지 역사 속 인물이란 생각이 들었는데, 색채 사진을 보니까 지금 살아 계셨다면 이런 모습이셨을까? 이분들이 우리 나라를 위해 열심히 싸워 주신 분들이구나! 하면서 그분들의 희생과 열의를 더 감명 깊게 느끼는 것 같아요.

이강준 | 흑백 사진 속에는 역사의 흔적이 담겨 있어요. 사진의 변색이나 그을림, 균열 등이 그분들의 희생에 대한 영광을 표현해주는 듯해요. 반면에 복원한 후의 컬러사진은 확실히 활력 있고 임팩트 있게 다가와요. 복원된 사진에서 위인들의 선명해진 눈을 보고 있으면 많은 것이 느껴지거든요. 실제로 나와 눈을 마주치는 것 같기도 하고 위인의 신념과 의지가 저에게 넘어오면서 울컥함 같은 마음속 깊은 울림을 느끼기도 해요. 저는 위인들의 생전 모습을 더욱 생생하게 알 수 있는 컬러 사진이 더 좋습니다.

▲출처: 국가보훈처

Q. AI 얼굴 복원기술과 같은 이미지에 대한 인공지능 생성모델이 사회에 어떤 도움을 줄 수 있을 것으로 생각하시나요?

정다혜 | AI 얼굴 복원기술은 요즘 다양한 분야에서 유용하게 활용되고 있어요. 저희 처럼 오래된 사진이나 손상된 사진을 복원할 수도 있고, 범죄 현장에서 얻은 용의자 얼굴을 재구성하거나 예술 작품을 생성할 수도 있어요. 대표적인 예로 예전에 방송에서 돌아가신 울랄라세션 임윤택 가수의 목소리와 얼굴을 AI로 복원해 무대에서 공연한 적이 있습니다. 이처럼 다양한 곳에서 많이 활용되고 있어요.

이강준 | 복원한 위인들의 사진을 역사 교과서 같은 곳에 활용할 수도 있어요. 이렇게 복원한 이미지를 가지고 동영상으로 만들어 실제 녹화된 영상과 같이 딥페이크로 재현이 가능해요. 위인들 말고도 흑백 TV 시절에 유행했던 가수나 배우 같은 유명한 분들의 사진도 복원이 가능해서 옛추억도 되살릴 수 있죠. 이것 말고도 누구나 개인이 가지고 있는 추억이 담긴 사진이 훼손되었거나 너무 옛날에 찍은 사진을 복원하고 싶을 때도 활용할 수 있어요. 더 나아가 방범용 CCTV 영상의 인물 추적에도 사용이 가능한데요. CCTV는 주로 화질이 낮은 영상이다 보니 사람 얼굴 식별이 어렵습니다. 이러한 영상을 프레임별로 쪼개서 영상 속 인물 얼굴을 복원하여 해당 인물의 신분을 확인하는 데 활용할 수도 있죠.

Q. 디지털 기술이 빠르게 발전하고 있는데 대학교 입학 때와 비교하여 디지털 기술을 바라보는 시각이나 진로에 변화가 있었는지 궁금합니다.

정다혜 | 학부 전공은 소프트웨어 공학인데, 입학할 때만 해도 빅데이터 분석가를 꿈꾸고 있지만 어느 분야에서 어떻게 일하고 싶은지는 구체적이지 않았어요. 지금은 디지털 기술이 IT 산업 외에도 다양한 분야에서 활용되고 있고 저도 다양한 프로젝트를 해보면서 조금 더 구체적으로 하고 싶은 일들이 생기는 것 같아요.

이강준 |  대학교 입학했을 때는 디지털 기술은 게임 말고는 잘 몰랐어요. 그때까지만 해도 디지털과 아날로그의 차이도 제대로 구분을 못했죠. 입학했을 때만해도 대기업 가서 돈 많이 벌자는 생각뿐이었는데요. 학사과정을 거치면서 돈을 많이 벌어도 나 혼자만 잘 사는 건 의미 없단 생각이 들더라고요. 학사과정 중 디지털 기술의 역사와 활용 분야 등을 공부하면서 내 일생 동안 전세계에 기여할 수 있는 분야를 찾아봤죠. 그러던 중 인공지능에 대해 알게 되었는데 사람이 할 일을 기계가 대신해 준다는 점이 매력적으로 다가왔어요. 소프트웨어라는 눈에 보이지 않는 존재가 알파고나 Chat GPT처럼 세계를 뒤흔들 만한 일을 할 수 있다는 점에서 제가 평생 잡고 가야 할 분야라는 점이 마음이 들었죠. 이러한 인공지능을 어떻게 활용하여 내가 인류에 기여할 수 있을지 고민하다가 학사과정 정도로는 깊게 파고들지 못해서 대학원에 진학하겠다는 결심이 섰어요. 대학원에서 하루가 다르게 발전을 거듭하는 인공지능을 연구하다 보면 저도 인공지능과 함께 발전하고 있다는 생각이 들어요.

Q. 새로운 것에 도전할 땐 많은 노력과 인내가 필요한 것 같아요. 무언가를 새롭게 도전할 때 갖는 마음가짐이나 태도가 있을까요?

정다혜 | 저는 원래 도전을 무서워하는 학생이었는데 일년전에 스페인으로 6개월 동안 파견연구를 갔어요. 처음에는 두려웠는데 막상 경험해보니 새롭게 도전하는 모든 경험이 저를 성장시키고 있었어요. 저처럼 무언가를 새롭게 도전할 때 망설이는 분들은 긍정적인 태도로 실패를 두려워하지 않는 것이 중요한 것 같아요. 일단 해보고 생각하는 거죠!

이강준 | 저는 2학년때 까지만 해도 무엇이든 계산적으로 계획한 지름길로 가서 빠르게 성장하려고 했어요. 그러나 연구할 때 쉬운 길만 찾으려 했다가 삽질만 계속하며 좌절을 많이 했어요. 그 좌절을 겪으며 뛰어난 아이디어나 최상의 결과는 하루 아침에 마법처럼 번쩍하고 생기지 않는다는 것을 깨달았습니다. 뜻을 이루기 위해서는 한 발자국씩 가야 하고, 노력에 노력을 더하다 보면 결과에 싹이 피고 반드시 열매를 맺게 된다는 것을 알게 되었죠. 연구 결과를 내기 위해 밤을 하루, 이틀 새우다 보면 가끔은 몸 건강에 대한 걱정이 들기도 했어요. 하지만 맹자의 생어우환 사어안락(生於憂患 死於安樂)말과 같이, 막막한 상황 속에서 고생하고 여러 번 실패를 한 것이 오히려 제게 앞으로 나아가야 할 힘으로 작용하더라고요. 그렇기에 저에게는 오랫동안의 휴식보다는 항상 최소한의 긴장감을 가지면서 사는 것이 안일해지지 않고 계속 노력할 수 있도록 하는 것 같아요.

Q. 자신과 어울리는 노래 한 곡을 선정해야 한다면, 어떤 곡을 소개하고 싶나요?

정다혜 | 제가 제일 좋아하는 노래는 Alen Walker의 On My Way인데요. 이 노래의 가사를 들어보면 이전일은 잊고 모든 에너지를 본인의 인생에 투자하겠다는 당찬 포부를 나타내고 있어요. 저도 이 노래처럼 흐트러지지 않고 저만의 목표를 향해 열심히 걸어갔으면 해요. 노래 멜로디도 좋아서 새로운 일을 시작할 때 의지가 생기게끔 해주는 노래인 것 같아요.

이강준 | 저는 대학원 연구실에 들어오면서 Colde의 Light를  가장 많이 들었어요. 학사과정 때 앞날의 진로로 걱정이 많아서 진로에 대해 가족이나 교수님, 멘토 분과 함께 자주 상담했어요. 주변 분들이 모두 대학원 진학을 말씀하셔서 대학원이 바다 위 등대 빛과 같이 너무나 확실한 방향으로 보였어요. 현재 제 연구실 지도 교수님이신 우사이먼성일 교수님과는 처음 뵐 때부터 지금까지 저와 마음이 잘 맞고 지금도 교수님 덕분에 이렇게 영광스러운 인터뷰를 할 수 있단 것 자체가 저만의 길을 잘 찾아왔다는 증거 같아요. 비록 남들이 취업하고 돈 버는 시간 동안 저는 몇 년을 더 공부하면서 학교에 서 지내지만 저 자신을 다듬어가는 시간으로 여겨요. 오래 준비한 만큼 제 그릇이 완성 될 때 사회에서 어떤 일을 할지 기대되고 매일이 힘들기 보다는 뿌듯함이 더 크답니다.  이 노래 가사를 보면 제 감정과 닮아서 매일 두 번은 듣는 것 같아요.

Q. 앞으로의 계획이나 목표가 있다면 무엇인가요?

정다혜 | 이 프로젝트와 관련해서는 앞으로 독립운동가들 이외에도 참전영웅까지 해서 총 700명정도 복원할 계획이에요. 성공적으로 문제없이 잘 복원돼서 많은 분들이 볼 수 있으면 좋겠어요.

이강준 | 저는 인공지능 기술로 우주항공 기술에 활용하고 싶어요. 현재 연구하는 것도 인공위성 궤도 데이터를 가지고 딥러닝 기술을 접목하는 것입니다. 처음 교수님께서 이 연구를 제안하셨을 때 재밌어 보였습니다. 물론 연구 과정 중 이해하기 어려운 전문용어도 많고 공부해야 할 물리 공식도 많지만, 광활한 우주에 대해 연구할수록 제 흥미는 더욱 커져만 가더라고요. 앞으로도 이런 인공위성 궤도 데이터를 포함한 우주 물체 궤도 같은 시계열 데이터를 가지고 궤도 예측이나 이상 감지를 딥러닝으로 해결하는 연구를 하고 싶어요.

Q. 마지막으로 성균관대학교 학우들에게 한 말씀 부탁드려요.

정다혜 | ‘도전은 인생을 흥미롭게 만들며, 도전의 극복이 인생을 의미하게 한다’ 라는 말이 있어요. 저도 이런 뜻깊은 프로젝트에 참여해서 인터뷰도 하고 많은 국민이 제가 복원한 위인의 사진을 보게 돼서 감회가 무척 새로워요. 처음에는 과연 내가 잘 해낼 수 있을지 의문이 들긴 했지만 역시 실패하더라도 도전하는 것이 더 중요한 것 같아요. 성균관대 학우들도 모두 자신을 믿고 새로운 일에 도전할 때 두려워하지 않았으면 해요.

이강준 | 자신이 성공하고자 하는 목표가 돈을 벌기 위해 살기 보다는 ‘인류를 위해 무엇을 기여할 수 있을까’를 주안점으로 고민해 봤으면 좋겠어요. 한번 사는 인생 나 한 명의 인생이 아닌 다른 사람의 인생에 기여를 한다면 그게 바로 성공한 인생이 아닌가 싶어요. 인생 목표를 인류 발전 기여에 초점을 맞춘다면 한 사람의 인생을 산 것이 아닌 여러 사람의 인생을 산 것과 마찬가지라고 생각해요. 이러한 선한 영향력은 언젠가 빛을 발한다는 것을 믿기에 아무리 힘들고 고생스러운 일도 잘 버텨낼 수 있는 것 같아요. 다들 공부하느라, 인간관계에 치이느라 고생 많으십니다. 앞으로의 진로에 대해 다들 고민 많으실 텐데 그래도 끝까지 포기하지 말고 항상 좋은 일만 가득하시고 좋은 만남 있길 바라며 손에 잡히시는 일마다 잘 되길 바랍니다!