이번 <성대생은 지금>에서는 <일상생활 영상 데이터 인공지능 모델 알고리즘 개발 해커톤>, <2021 저음질 음성 데이터 인공지능 모델 알고리즘 개발 아이디어톤>에서 최우수상을 받은 이형욱 학우를 만나 보았다. 분야를 가리지 않고 다양한 경험에 부딪혀 온 그는 ‘융합형 인재’라는 말이 딱 맞는 사람이었다. 평생 콘텐츠를 구상하고 설계하며 살고 싶다는 이형욱 학우의 이야기를 들어보자.

▶ 자기소개 부탁드립니다.

안녕하세요. 저는 4학년으로 신소재공학과와 컬처앤테크놀로지 융합전공을 복수전공 중인 15학번 이형욱입니다. 공학과 콘텐츠를 결합한 스토리텔링에 관심을 두고 공부하고 있습니다. 학기 중에는 열심히 율전과 명륜을 넘나들며 Pygame 제작, Mixed Reality*를 이용한 메타버스 콘텐츠 기획, 웨어러블을 통한 여행 서비스 디자인 등 다양한 분야에서 공학적 지식을 이용한 콘텐츠를 개발했어요. 현재는 방학을 맞아 신소재공학과 김상우 교수님의 NESEL(Nano Energy Science and Engineering Lab)에서 학부 연구생을 하고 있으며, 웨어러블에 적용 가능한 에너지 하베스팅 실험을 진행하고 있습니다.

*Mixed Reality(혼합현실): 현실 세계에 가상 현실(VR)이 접목되어 현실의 물리적 객체와 가상 객체가 상호 작용할 수 있는 환경.

▶ <일상생활 영상 데이터 인공지능 모델 알고리즘 개발 해커톤>은 어떤 대회인가요?

말 그대로 일상생활을 촬영한 영상 데이터를 응용해 새로운 콘텐츠를 기획 및 개발하는 해커톤이에요. ‘일상생활 영상 데이터’라 하면 낯설게 느껴질 수도 있는데요. 조금 더 직관적으로 이야기하면, 우리가 흔히 보는 Vlog를 의미해요. 즉, <일상생활 영상 데이터 해커톤>은 Vlog 영상을 활용하는 해커톤인 셈이죠.

대회 과정에 대해 간략히 설명해 드리겠습니다. 먼저, 해커톤 아이디어 제안서를 제출하면 심사관들이 검토한 후에 참가 팀을 선정해요. 선정된 팀은 데이터를 유출하지 않겠다는 보안 서약서를 작성한 뒤 주최 측으로부터 데이터를 받아 이를 토대로 알고리즘이나 인공지능을 구상하죠. 이번 대회는 일반적인 해커톤과는 다르게 온라인으로 주어진 기간 동안 자유롭게 과제를 개발하도록 했어요. 과제 개발 기간이 끝난 후에는 오프라인으로 제안서와 전체적인 구상안, 최종 결과물을 가지고 발표를 진행했죠. 이후에는 심사위원과의 질의응답이 이어졌어요. 발표는 유튜브를 통해 생중계된 것으로 알고 있는데, 거리두기로 인해 심사위원이 Zoom을 이용해 비대면으로 심사했어요. 일상생활 영상을 활용한다는 점도 그렇고, 온라인과 오프라인을 혼합하여 해커톤을 진행한다는 점도 그렇고 이번 대회는 일반적인 해커톤과 결이 다르다고 느꼈어요. 코로나를 의식해서인지 최근에는 기존 해커톤을 변형해 진행하는 경우가 많더라고요. 저도 이번에 참가하며 처음 알았습니다.

▶ 최우수상을 받은 ‘일상생활 영상 데이터를 이용한 메타버스 3D Map 구현’ 작품에 대해 설명해주세요.

Vlog 데이터를 가공하여 텍스처 리소스를 만드는 인공지능 모델이라고 생각하면 돼요. 주어진 Vlog의 촬영 위치와 영상 데이터를 분석하여 VR/AR과 같은 메타버스에 유저들이 즐길 수 있는 맵으로 재생성하는 것입니다. 가게, 도로, 자연물 등 다양한 분류로 나누어진 텍스처 리소스는 지속해서 쌓여 차후 VR/AR 콘텐츠 개발에 사용할 수 있게 되죠.

저는 예전부터 Mixed Reality(이하 MR) 콘텐츠에 관심이 많았어요. 현재 웨어러블을 공부하는 이유도 MR과의 연계 때문이기도 하고, 올해 열린 Creative Bridge Festival에서 MR 기획안을 내서 수상한 경험도 있습니다. 그 때문에 데이터 활용방안에서 처음 생각한 것도 메타버스 콘텐츠였던 것 같아요. 대부분의 Vlog가 시청자의 단편적인 정보 습득이나 간접 경험에만 쓰이지만, 동영상 내에는 좀 더 다양한 정보가 담겨 있음에 주목했어요.

현재 유튜브에 업로드된 Vlog 동영상이 360만 개입니다. 스마트폰의 보급률이 높아지며 누구나 손쉽게 영상을 제작할 수 있게 되었고 그만큼 다양한 수요가 생겨났죠. 온라인에는 국가와 인종, 시간과 관계없이 촬영한 영상들이 올라오잖아요. 그런 환경의 다양성이 가상공간 텍스처를 만들기에 충분한 재료라고 보았어요.

▶ 어떤 계기로 해커톤에 참가하게 되셨나요?

관련 소식은 성균관대 공지를 통해 처음 접했어요. 기말고사가 얼마 안 남은 시점이라 참가를 굉장히 고민했습니다. 제 신념이 ‘시야를 넓히기 위해서는 해본 적 없는 일을 도전해야 한다’라서 최대한 시간을 쪼개 참가하기로 했죠. 기획서 작성할 시간도 부족했지만, 무엇보다 어려웠던 건 같이 진행할 팀원을 구하는 것이었습니다. 주변에 구인했지만, 모두 기말고사 기간이라 힘들다는 반응이었어요. 그래서 일단은 저 혼자 할 수 있는 부분까지 구상하여 필요 인원을 줄이고자 했어요. 과거 여러 아이디어 공모전에 참가해본 경험이 있어서 기획이나 사업적인 구상, PPT 제작은 자신 있었어요. 

문제는 코드였죠. Python을 이용해 게임도 제작하고 통계도 돌려봤지만, 저 혼자 해커톤에 참가하기엔 코딩 실력이 턱없이 부족했습니다. 기술적인 면이 뒷받침되지 않으면 경쟁력이 떨어진다고 생각했기에, 기술을 담당할 인원이 한 명은 필요했어요. 그러다 생각난 것이 형이었습니다. 처음에는 형과 같이 공모전에 같이 나가는 것이 맞는지 굉장히 고민했습니다. 형도 마찬가지였어요. 하지만, 형제가 같이 공모전에서 우승하는 것도 재밌는 경험이겠다 싶어 형을 설득하기로 했습니다. 형은 교내 프로젝트에는 여러 번 참가해 봤지만, 대외 공모전 참가 경험은 없었어요. 형에게 우승을 못 해도 되니 미리 한 번 경험 쌓는다 생각하고 나가보자고 했습니다. 처음에는 형도 시험기간 때문에 거절했는데, 밥도 계속 사주며 설득하니 마지못해 승낙했어요.

▶ 수상 소감 부탁드립니다.

최우수상을 받을 줄은 전혀 생각하지도 못했어요. 저는 제가 아직 미완성이라고 생각합니다. 제 작품들도 마찬가지고요. 그런데도 이렇게 인정해 주셔서 정말 감사할 따름입니다. 수상 소식에 부모님께서 가장 좋아하셨어요. 특히나 형과 제가 같이 뭔가를 해냈다는 걸 크게 여기시는 것 같아요. 학교 홈페이지에도 수상 소식이 올라왔기 때문인지 학교 지인분들 외에, 계절학기 교수님도 ‘이형욱 학생 큰 상 탔다면서요?’라고 물어보시더라고요.

▶ 친형과 팀으로 해커톤에 참가하며 생긴 에피소드가 있다면 들려주세요.

처음 아이디어를 구상할 때가 가장 기억에 남아요. 저는 코딩 실력이 상대적으로 부족해서 전체적인 기획을 담당했고, 형은 컴퓨터공학 전공자라 기술적인 부분을 담당했어요. 일상생활 영상 데이터를 어떻게 이용할지는 서로 문제없이 정했는데, 세부적인 사항에서는 의견이 갈리더라고요. 가령 제가 인공지능이 영상 데이터를 인식하면, 빛의 세기와 위치를 이용해 광원의 위치를 역추적해보자는 의견을 냈으나, 형은 해당 기술을 도입하면 제시간 안에 제출이 불가능하다고 말하더라고요. 그 외에도 인공지능이 영상에서 트랙인과 줌인의 차이를 인식할지에 대해 서로 오랜 시간 이야기했던 것도 기억나네요. 저는 히치콕 감독의 <버티고>에서 사용된 트랙인-줌아웃 기법을 보여주며 인공지능도 충분히 인식이 가능하다고 주장했고, 형은 인공지능이 영상을 인식하는 벡터 그래프를 보여주며 불가능하다고 말했습니다. 이때는 논문을 같이 찾아본 결과 충분히 인식할 수 있다고 판단했어요.

형과 성향이 아주 달라서 평소에도 의견이 잘 맞지 않아요. 식당에 가도 어떤 음식을 시켜 먹을지 매번 의견이 달라요. 이번 해커톤을 진행할 때도 마찬가지였습니다. 저의 경우에는 조금 더 문화, 산업 및 예술적인 관점으로 바라보았고, 형은 철저히 기술적인 측면으로만 바라봤어요. 초반엔 의견이 많이 충돌해 오랜 시간 동안 이야기 했는데, 하루 정도 지나니 조금씩 서로 이해를 하고 적절히 의견을 조율할 수 있게 됐습니다. 이 경험이 도움이 됐는지 차후 참가한 아이디어톤에서는 거의 의견이 갈리는 일 없이 진행할 수 있었어요.

이건 저와 형 모두 동의한 의견인데요. 이번 경험 덕분에 서로에 대해 새롭게 알게 된 측면도 있어요. 서로 가끔 장난만 치고 할 일만 했는데, 각자 능력에 관해 확인하면서 어느 정도 능력적인 신뢰가 생겼습니다. ‘너 그 정도로 할 수 있는지는 몰랐는데’ 하면서요.

▶ <2021 저음질 음성 데이터 인공지능 모델 알고리즘 개발 아이디어톤>에서도 최우수상을 수상하셨어요. 어떤 아이디어를 제안하셨나요?

<저음질 아이디어톤>은 저음질 음성 데이터를 활용하여 인공지능 모델 알고리즘을 개발하거나 AI 응용 서비스 아이디어를 제안하는 대회입니다. 여기서 제시했던 아이디어는 ‘저음질 음성 데이터를 이용한 음향 노이즈 효과 개발’이었어요. 저음질 데이터의 음성과 노이즈를 분석하여, 차후 영화, 게임, 메타버스 등 다양한 콘텐츠에서 이용 가능한 음질 필터로 가공하는 인공지능 개발안이에요. 가상공간을 염두에 뒀다는 점에서 일상생활 영상 데이터와 결이 좀 비슷하긴 합니다.

▶ 해커톤이나 아이디어톤 같이 단 기간에 결과를 내야하는 대회에서 좋은 성적을 보여주고 계세요. 특별히 이런 대회에서 두각을 나타낼 수 있었던 이유가 있을까요?

분야와 관계없이 다양한 경험을 했던 것이 도움이 많이 됐어요. 지금은 바빠서 잠깐 쉬고 있지만, 2년 정도 캐릭터 디자인 전문학원에 다녔어요. 도전을 좋아하는 성격이라, 제대로 배우기 위해 1년 휴학을 생각했습니다. 당시 주변에서는 추후 취업에 문제가 생긴다며 저를 만류했어요. 하지만, 디자이너들이 보는 시야가 어떤지 너무나도 궁금했기에 그냥 휴학을 결정했습니다. 결국 그곳에서 처음으로 타이포그래피, 디포메이션, 레이아웃 등 연출의 기본을 배웠어요. 이때 경험이 시야를 넓히는 데 가장 큰 도움이 됐습니다. 공대생으로서의 편견을 많이 깰 수 있었거든요. 이공계와 다르게 예술에서는 대칭이 가장 아름답지 않은 모습이라는 것을 처음 알았어요. 거기서부터 시작해 분야와 관계없이 궁금한 분야를 모두 닥치는 대로 경험하고 공부했던 것 같아요. 학교에서 진행하는 대부분의 특강이나 성균공부방과 같은 비교과 프로그램에도 열심히 참여했습니다. 덕분에 시나리오 창작, 영상 편집, 아두이노 사용법, 노션 활용 등 다양한 경험을 할 수 있었어요. 이런 다양한 지식이 조금 더 특별한 아이디어를 내고 기획 할 수 있게 도움을 주지 않았나 생각해요.

학교에서 들었던 기획안 수업도 도움이 많이 됐어요. 한 학기 내내 기획서 작성법을 배웠는데요. 수업을 통해 원하는 콘텐츠를 찾고, 그것이 왜 필요한지 다른 사람에게 설득하는 법을 알게 됐습니다. 그다음 학기에 서울시와 성균관대학교 문화예술 미디어융합원에서 Creative Bridge Festival이라는 디지털 융복합 아이디어 공모전을 주최한다는 것을 알게 되었어요. 마침 1학기 때 만들었던 MR 콘텐츠 기획안이 있어 수정한 뒤 제출했더니 입상을 했습니다. 그때부터 기획안 쓰는 법에 대해 감이 왔던 것 같아요. 이 자리를 빌려 <문화콘텐츠기획> 교수님이셨던 김지연 교수님께 감사 말씀을 드리고 싶네요.

▶ 앞으로의 계획은 어떻게 되시나요?

이번 방학에 학부 연구생을 마무리하면 웨어러블 쪽으로 공부를 조금 더 할 것 같습니다. 웨어러블을 이용한 MR 콘텐츠를 구상하고자 합니다. 조금 욕심을 부리면 남은 방학 기간 동안 현재는 잠시 중단한 캐릭터 디자인 공부와 이야기 창작도 계속하고 싶어요. 원래는 졸업하기 전에 아트북을 내놓는 게 제 꿈이었거든요. 졸업 전까지 이 꿈들을 이루고 싶습니다. 아마 평생 이렇게 콘텐츠를 구상하고 설계하며 살지 않을까 생각해요. 그렇다면 전 정말 행복할 것 같습니다.

▶ 마지막으로, 해커톤에 관심을 갖고 있는 학우들에게 전달할 팁이 있다면?

꼭 다양한 분야에 관심을 가지고, 해보지 않은 일이라도 도전해 보셨으면 좋겠습니다. 웨어러블, 코딩, 그림, 문예창작, 영상 편집, 파이낸싱, 반도체 등 다양한 방면을 조금이라도 찾아보거나 경험해 보면 아이디어 구상 시 도움이 됩니다. 단순히 코드를 짜는 것이 목표가 아닌 새로운 아이디어를 제시해야 하는 해커톤이라면 무엇을 위해 코드를 구상하는지가 설득되어야 해요. 기술과 문화가 적절히 조화가 이루어져야 보는 사람도 납득이 가는 것 같습니다. 다른 학우분들께서도 저처럼 다양한 경험을 해보시면 좋겠습니다.