김선국, 박호건, 윤경재 교수 공동연구팀, 표면 근전도 신호를 통한 18가지 손동작 인식 시스템 구현

▲ (왼쪽부터) 김선국 교수(신소재공학부), 박호건 교수(소프트웨어학과), 윤경재 교수(의학과)

장시간 동안 착용해도 안정적으로 18가지 손동작을 구분할 수 있는 표면 근전도(sEMG) 센서와 AI 모델이 개발되었다. 의료 현장과 같은 특수한 상황에 주로 사용되는 기존 근전도 센서와 달리, 이 센서는 얇은 두께와 인체 친화적 패치를 활용하여 이질감을 최소화하였다.

또한 무선통신 모듈과 AI 모델을 결합한 데이터 처리를 통해 시간과 장소에 구애받지 않고 동작을 인식할 수 있어 혁신적 기술로 주목받고 있다.

신소재공학부 김선국 교수, 소프트웨어학과 박호건 교수 공동연구팀은 이러한 18가지 손동작을 정확하게 구분할 수 있는 AI 모델과 고신축 어레이 형태의 EMG 센서를 통합한 동작 구분 시스템을 개발하였다고 밝혔다.

표면 근전도 신호는 장애, 근육의 활성화 수준, 피로 및 신체의 움직임을 감지하거나 분석할 수 있는 신경 근육 활동의 측정 지표이다. 또한, 생체 의학적 특성 이외에도 근전도 신호는 의료보조기기나 인공 장치, 로봇 등을 제어하는 제어 신호로 활용될 수 있어 가치가 매우 뛰어난 신호이다. 그러나 주로 실생활에서 사용하는 근전도 센서는 단일 양극으로 되어있어, 특정 근육과 관련된 특정 동작만 인식할 수 있다는 한계가 있다. 또한, 하이드로젤 소재를 주로 사용하여 장시간 착용이 불가능하고 일회용이라는 치명적인 문제도 존재하여 특수한 상황에서만 활용이 되고 있었다.

이러한 허들을 뛰어넘기 위해 연구진은 폴리이미드 기반 유연 소재에 나노 두께의 금속을 증착한 필름을 제조하였다. 그뿐만 아니라 목적에 맞게 x, y, z축 방향으로 높은 신축성을 보이는 자연형상기반 키리가미-서펜타인(Kirigami-Serpentine) 복합 구조를 디자인하고, IR와 UV 영역 대의 레이저 공정을 활용하여 8채널의 대면적 어레이 타입의 표면 근전도 센서를 개발하였다.이렇게 개발한 표면 근전도 센서는 블루투스로 무선통신이 가능한 모듈과 연결하여 실시간으로 발생하는 신호를 소프트웨어로 전송할 수 있다. 이를 통해 한번에 8개의 채널에서 발생하는 표면 근전도 신호를 손쉽게 수집할 수 있게 되었고, 25회 이상 재사용이 가능하며, 72시간 동안 피부에 부착하여도 인체 부작용 없이 성능을 유지할 수 있는 센서 디바이스를 구현할 수 있었다.

이렇게 수집한 표면 근전도 신호는 인공지능(AI)기반 그래프 신경망(Graph Neural Network. GNN)을 통해서 분석되었다. 기존에는 근전도 신호를 수집하고 분석할 때, 반복적인 동작이나 움직임이 매우 큰 동작을 취하면 잘못된 신호, 즉 노이즈가 다른 정적인 동작들에 비해 더 많이 발생할 수 있고 해당 신호로 인해 근전도 신호를 분석하는데 많은 어려움이 있었다. 또한, 착용자에 따라서 수집되는 표적 근육 신호가 다르다는 문제도 존재하였다.

이러한 연구의 한계를 극복하기 위해서 인공지능모델의 내부에 시·공간 레이어를 구분하여 설계하였으며 공간정보를 분석하는 레이어의 경우, 자기집중 기반 그래프 신경망을 구축하였다. 이를 통해 인공지능모델을 훈련시킨 결과 18개의 정적/동적 동작을 약 95.9±2%의 평균 정확도를 보이며 구분할 수 있었다. 그뿐만 아니라, 동일한 센서로 각기 다른 성별과 체형을 가진 착용자에게서 유의미하게 높은 결과를 기록하며 모델의 강건함을 뒷받침했다. 마지막으로 이 센서를 72시간 동안 착용하였을 때도 약 94.8±3%이내의 높은 정확도를 유지하는 것을 관측했다. 이는 일반적으로 최대 24시간 동안 사용하였을 때 정확도가 유지되는 현재의 하이드로젤 기반 센서 기술을 넘는 수준이라고 볼 수 있다.

김선국 교수는 이와 관련하여 “이번 연구는 재활의학, 가상현실까지 효율적인 제어가 필요한 응용 분야로의 실현을 이루어냈으며, 청각장애 및 난청 환자들이 자주 사용하는 손 제스처나 시각적 의사소통을 할 수 있는 수화에도 적용될 수 있을 것이고, 더 나아가 최근 주목받고 있는 사물-인터넷-사람 모두가 연결되는 6G 만물 인터넷(IoE) 시대를 관통하는 주요한 기술이 될 것”이라고 설명했다.

공동연구팀의 이번 연구 결과는 2023년 4월 세계적으로 권위 있는 저널 npj flexible electronics지에 게재되었다. 본 연구에는 신소재공학부 김선국 교수, 소프트웨어학과 박호건 교수, 의학과 윤경재 교수, 스리니바스 간들라 연구원이 공동 교신저자로 참여하였으며, 신소재공학과 이혜윤 석사과정 학생, 김재성 석·박사통합과정 학생과 전기전자컴퓨터공학과 이소영 석사과정생, 인공지능학과 정희수 석사과정생이 제1저자로 참여하였다. 본 연구는 한국연구재단, 성균관대 연구자 펠로우십 프로그램과 과학기술정보통신부 인공지능대학원사업의 지원을 통해 이루어졌다.

▲ 고신축 대면적 다채널 어레이 EMG 센서 및 AI 기반 그래프 신경망 (Graph Neural Network. GNN) 모델 모식도