농인들에게 수어는 일상생활을 편리하게 영위할 수 있는 가장 능숙한 언어입니다. 본 연구에서는 딥러닝을 활용하여 수어를 인식하고, 또 문자 언어로부터 수어 영상을 생성하는 모델을 설계하고자 합니다. 

• Research focus

  • Unsupervised temporal sign segmentation 

  • Gloss localization in long videos

  • Hand shape recognition for sign langauge translation

• 연혁 

  • 2019.07-2019.10 : KSB 인공지능 프레임워크 활용 공모전 참가

    • 제목 : 청각장애인을 위한 자동 수어 문자 번역 서비스

    • 과학기술정보통신부 장관상 수상

  • 2019.12~2020.04 : KU Sejong 실전문제연구단 참가 

    • 제목 : "청각 장애 아동을 위한 동화책 수어 번역 시스템"

    • 그림 형제 동화 데이터셋 구축 : 1800 문장 (HD Video, 60fps), 4000 문장 (Gloss-한글)

  • 2020.06~2020.11 : KU Sejong 실전문제연구단 참가

    • 제목 : "질병관리본부 정례브리핑(코로나19) 기반 한국어-수어 번역"

    • 데이터셋 구축 : 47,000 문장 (Gloss-한글)

  • 2020.07~2021.02 : SFRG 사업 참여

    • 제목 : 중앙방역대책본부 정례브리핑 기반의 수어 데이터셋 구축 및 수어 통역 자동화를 위한 딥러닝 알고리즘 연구

    • 데이터셋 구축 : HD Video

  • 2021.06~ 2024.02 : 연구재단과제 수행

    • 제목 : 비제약적 환경에서의 수어 번역을 위한 수어 동작 디스크립터 기반의 딥러닝 연구

    • 목적 : 수어 영상의 중요한 시공간적(spatio-temporal) 정보만을 선별적으로 그리고 일관되게 표현할 수 있는 Sign Motion Descriptor (SMD)를 중심으로, 수어 영상을 한글 문장으로 변환하는 인식 모델과 한글 문장을 수어 영상으로 변환하는 생성 모델을 설계함

  • 2021.06~2021.11 : 한국전자통신연구원과 공동연구

    • 제목 : 수어인식 및 주석처리 모듈 개발 

    • 목적 : 최근 수어 인식 모델의 발전 방향과 기술적 한계를 이해하고, 이를 활용하여 수어 주석 처리를 일부 자동화함으로써, 인력에 의존하고 있는 현재의 비효율적인 수어 주석 처리를 개선하는 것을 목적

  • 2021.04~2022.02 : KU Sejong 실전문제연구단 참가

  • 2022.01~2026.12 : 과학기술정보통신부 공공현안전략기술 개발 사업 참여

    • 제목 : 청각장애인을 위한 의료현장 양방향 수어 동시통역 서비스 기술 개발 

    • 목적 : 청각장애인이 병·의원 내원 시 한국수어를 사용하여 의료진과 원활한 의사소통을 제공하는 양방향 의료수어 통역서비스 기술 개발

  • 2025.09~2028.08 : 과학기술정보통신부 중견연구(창의)

    • 제목: 인체 사전 지식 및 멀티모달 LLM을 활용한 한국 수어 생성 연구

    • 목적: 인체 사전 지식을 바탕으로 수신호의 정확성을 확보하고, 인공지능 생성모델을 활용하여 한국 수어 생성을 자동화하고자 하는 연구