미디어 콘텐츠를 단지 보는 것을 넘어 그 속으로 들어가 경험할 수 있는 것, 이는 최근 각광받는 실감형 콘텐츠를 한 마디로 설명한 것이다. 이는 앞으로 미디어 산업이 나아갈 방향이자 미디어 시장의 흐름을 뒤바꿀 중요한 키워드이다. 마찬가지로 이를 구현할 수 있는 기술력 또한 차세대 산업을 선도하는 데에 있어 특히 중요하다.

우리 대학은 이러한 실감미디어콘텐츠 구현 역량을 지닌 미래의 글로벌 인재를 양성하고자 2023년 8월 실감미디어공학과를 신설했다. 실감미디어공학과는 소프트웨어융합대학 소속의 대학원 과정 신설학과로, 최근 주목받는 실감형 콘텐츠의 기술적 측면, 콘텐츠의 내용적 측면 모두를 다루는 커리큘럼을 제공한다. 이번 커버스토리에서는 실감미디어공학과의 신임 교수인 이장원 교수와 홍성은 교수를 만나 실감미디어공학과에 대해 이모저모 알아보는 시간을 가졌다. 두 교수의 이야기를 통해 실감미디어공학과에 깊이 들어가 보자.

| 만나서 반갑습니다. 자기소개 부탁드립니다.

이장원 교수(오른쪽 사진) | 안녕하세요. 2023학년도 1학기에 새로 부임한 실감미디어공학과 및 컴퓨터공학과의 신임 교원, 이장원입니다. 성균관대 부임 이전에는 한국항공대학교에서 3년간 연구와 강의를 진행했습니다. 그전에는 미국 인디애나대학교에서 박사학위를 받고, Alarm.com과 NASA JPL에서 다양한 프로젝트를 수행하며 즐거운 연구 경험을 쌓았습니다. 이전에는 성균관대학교에서 학부와 석사 과정을 마치고 삼성전자에서 6년간 SW Engineer로 일하기도 했습니다. 만나서 정말 반갑습니다.

홍성은 교수 | 안녕하세요. 저는 2023학년도 2학기에 실감미디어공학과에 새로 부임한 홍성은입니다. 저는 현재 AI & Media (AIM) Lab을 이끌고 있으며, 저희 연구실은 시각 인지 및 생성과 관련된 인공지능 연구와 이미지, 텍스트, 음성 등 다양한 데이터를 융합하여 추론하는 인공지능 연구에 중점을 두고 있습니다. 개인적으로는 다양한 미디어 매체에 깊은 관심이 있으며 특히 필름 카메라 사진에 열정을 쏟아 사진 전시회를 여는 등 사진과 영상 작업을 매우 좋아합니다.

| 교수님의 대표적인 연구 활동 및 성과 소개 부탁드립니다.

이장원 교수 | 제 연구 분야는 Computer Vision 및 Robotics입니다. 구체적으로 “Learning Activities from Human Demonstration Videos”라는 주제로 박사 학위를 받았는데요. 비디오와 같은 데이터로부터 사람의 행동을 이해 및 분석하고 이를 바탕으로 사람과 보다 자연스럽게 상호작용 할 수 있는 지능시스템을 개발하는 데 관심이 있습니다. 관련한 연구 주제로 비디오 데이터로부터 인간의 행동을 모방하는 방법을 연구하여 2017년도에 컴퓨터 비전 및 패턴인식 분야 세계 최고 권위 학회인 CVPR에서 열린 “Deep Learning for Robotic Vision” Workshop에서 최우수 논문상을 받기도 했습니다.

홍성은 교수(아래 사진) | 

지난 3년간 저는 주로 두 가지 연구 분야에 집중해 왔습니다. 첫 번째 연구 분야는 인공지능이 다양한 종류의 데이터를 융합하여 환경을 인식하고 추론하는 방법에 관한 것입니다. 예를 들어, 우리가 일상에서 흔히 접할 수 있는 RGB 영상 외에도 깊이나 열화상 영상, 언어 및 음성 정보 등 다양한 종류의 데이터를 상호 보완적으로 결합하는 방법을 연구하고 있습니다. 최근에는 삼성전자 미래기술사업의 지원을 받아, 로봇이 인간처럼 물체를 조작하기 위해 시각과 촉각 정보를 효율적으로 융합하는 연구를 진행했습니다. 두 번째 연구 분야는 환경 변화에 적응가능한 인공지능 모델 개발입니다. 이는 메타버스 내에서의 휴먼 모델링이나, 시뮬레이션에서 학습된 모델을 실제 환경에 적용하는 분야에 활용되는 연구로, 실제와 가상의 경계를 허무는 기술 발전에 기여하고 있습니다.

| 실감미디어공학과에 대한 소개 부탁드립니다. 어떤 걸 배우는 학과인가요?

실감미디어공학과는 소프트웨어융합대학 소속으로서 인문사회과학캠퍼스에 있으며 2023년에 신설되었습니다. 실감미디어공학과에서는 영상처리, 그래픽스, 인공지능, 플랫폼, 인터랙션 등의 기술적 분야뿐만 아니라, 콘텐츠, 인터랙션, 문화 기술의 융합에 관한 학문을 배웁니다. 이를 통해 실감형 메타버스와 ICT기술, 문화 및 영상 콘텐츠 기술을 아우르는 글로벌 리딩 전문가를 양성하는 것을 목표로 합니다.

| ‘실감미디어’라는 단어가 생소한데요, 실감미디어학과에서 배우는 ‘실감미디어’가 정확히 무엇인가요?

실감미디어의 의미는 이와 가장 관련이 높은 단어인 XR(Extended Reality)를 생각하시면 이해가 쉬우실 겁니다. 이는 가상현실(VR), 증강현실(AR), 혼합현실(MR) 등을 통합하는 개념으로, 현실과 가상의 경계를 허물어 사용자가 보다 콘텐츠에 현실감 있게 몰입할 수 있도록 도와주는 미디어 기술을 의미합니다. 이러한 실감미디어 기술은 사용자에게 실시간 상호작용과 시각, 청각, 촉각을 활용한 현실감 있는 경험을 제공하며 교육, 엔터테인먼트, 의료 등 다양한 분야에서 응용될 수 있습니다.

| 실감미디어공학과의 트랙은 어떻게 되나요?

크게 메타버스 5대 핵심 기반 기술(인공지능/영상처리/그래픽스/인터랙션/플랫폼)을 다루는 실감미디어테크 트랙과 5대 응용 기술(문화콘텐츠/트랜스미디어/디지털휴먼 및 치료제/NFT/XR 스튜디오)을 배우는 실감미디어콘텐츠 트랙으로 구분됩니다. 학과 전체 커리큘럼은 CS/EE 전공 기반 기술과 콘텐츠 관련 기술이 약 7:3 비율로 구성되며, 특히 인공지능, 컴퓨터비전, 그래픽스, 영상처리 관련 과목들이 많이 개설됩니다.

▲ 실감미디어공학과 트랙

| 실감미디어공학과에서 배우는 실감미디어기술, 콘텐츠기술의 전망에 대해 어떻게 생각하시나요?

실감미디어공학과에서 배우는 실감미디어기술과 콘텐츠기술의 전망은 매우 밝다고 생각합니다. 불과 몇 해 전과 다르게 ‘메타버스’라는 단어의 사용 및 노출빈도가 많이 줄어들고 관심이 시들어가고 있는데요, 하지만 이와 달리 XR로 대표되는 실감미디어기술들은 계속해서 발전하고 있으며,  관련 컨텐츠 또한 계속 생산되고 있습니다. 이는 실감미디어기술이 사용자에게 실시간 상호작용과 깊은 몰입감을 제공하며 새로운 경험과 가치를 창출할 수 있기 때문이라고 생각합니다.

콘텐츠 기술은 디지털 스토리텔링, 인터랙티브 미디어, 데이터 시각화 등을 포함하여 정보와 경험을 전달하는 새로운 방법을 제공합니다. 따라서 실감미디어기술은 미디어 산업뿐만 아니라 마케팅, 게임, 엔터테인먼트, 교육, 의료, 로봇 등 다양한 분야에서 중요한 역할을 하게 될 것으로 전망합니다.

| 실감미디어공학과는 대학원 과정으로 알고 있는데요, 실감미디어공학과 진학을 희망하는 학생들이 갖추어야 할 자질은 어떤 것이 있을까요?

기술적 기반을 강조하는 '테크 트랙'과 응용 기술에 초점을 맞춘 '콘텐츠 트랙' 모두 공통적으로 프로그래밍 기초 지식과 경험이 중요합니다. 특히 컴퓨터비전, 그래픽스, 인공지능과 같은 학과에서 집중하고 있는 분야에서는 확률 및 통계, 선형대수, 미적분과 같은 수학적 지식도 선행되어야 합니다. 학과의 특성을 고려하면, 미디어에 대한 관심과 열정을 가진 학생들은 더욱더 큰 동기 부여를 받아 학업에 더욱 집중할 수 있을 것으로 보입니다.

| 실감미디어공학과 신임 교수로서 어떤 교수가 되고 싶으신지 앞으로의 계획이나 목표가 궁금합니다.

이장원 교수 | 신임 교원으로서 제 강점은 다양한 국내외 연구 경험이라고 생각합니다. 저는 이를 기반으로 학생들에게 실용적이고 창의적인 교육을 제공하고 싶습니다. 특히, 국내외 다양한 네트워크를 이용하여 실감미디어공학과 학생들에게 국제적인 연구 프로젝트 참여와 경험 기회를 제공하고자 합니다. 연구 영역에서는 더 자연스럽고 인간다운 상호작용을 갖는 인공지능 시스템 개발을 통해 사회에 긍정적인 영향을 끼치고자 합니다.

홍성은 교수 | 신임 교수로서 제 목표는 학생들이 급변하는 현대 기술 사회에서 자신만의 전문성과 빠른 적응력을 개발할 수 있도록 지원하는 것입니다. 특히, 올해 인공지능 분야는 기술적으로 중대한 전환점을 맞이했습니다. 저뿐만 아니라 학생들이 이러한 변화의 소용돌이에 휩쓸리거나 주변을 맴돌지 않고, 변화의 파도를 직접 타며 자신만의 전문성을 강화하는 것을 목표로 삼고 있습니다. 이를 위해, 제가 쌓아온 산업계 경험을 바탕으로 학생들이 실제 산업 현장과 학계에서 마주치는 다양한 도전과 난관에 대비할 수 있도록 실질적인 지도와 멘토링을 제공할 계획입니다. 연구 기회와 자원을 적극적으로 지원하여 학생들이 혁신적인 연구를 수행하고, 필요한 고급 기술 및 해결 방안을 개발하도록 할 것입니다.

| 마지막으로 실감미디어공학과 진학을 꿈꾸는 학생들에게 한 마디 부탁드립니다.

이장원 교수 | Hoxy, XR 기술에 관심이 있으신가요? 인공지능을 비롯한 기술의 진보에 대한 열정이 있나요? Apple의 최신 제품인 Vision Pro가 여러분의 호기심을 자극했나요? 실감미디어 기술을 중심으로 새로운 사용자 경험을 만들 수 있다고 생각하시나요? 만약 여러분이 이 모든 질문에 긍정적으로 답했다면, 실감미디어공학과가 여러분에게 최고의 경험을 제공할 장소일 수 있습니다.

홍성은 교수 | ‘Connecting the dots’라는 제가 좋아하는 개념에 대해 이야기하고 싶습니다. 인생은 다양한 선택과 경험으로 이루어진 '점들’로 채워져 있으며, 이러한 점들 사이의 ‘연결성’이 매우 중요하다고 생각합니다. 일부 점들은 현재에는 분명한 의미를 지니지 않아 보일 수 있지만, 예측 불가능한 미래에서는 중요한 발전의 출발점으로 연결될 수 있습니다. 실감미디어공학과 진학을 희망하는 학생들은 준비 과정에서 실감미디어와 관련된 다양한 경험을 적극적으로 쌓으며 자신만의 '점들'을 채워 나가고, 이러한 점들 간의 '연결성'을 끊임없이 탐색해 보았으면 합니다.