지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.10
- 수록면
- 1,535 - 1,545 (11page)
이용수
초록· 키워드
오류제보하기
Sign language has completely different meaning depending on the direction of the hand or the change of facial expression even with the same gesture. In this respect, it is crucial to capture the spatial-temporal structure information of each movement. However, sign language translation studies based on Sign2Gloss2Text only convey comprehensive spatial-temporal information about the entire sign language movement. Consequently, detailed information (facial expression, gestures, and etc.) of each movement that is important for sign language translation is not emphasized. Accordingly, in this paper, we propose Spatial-temporal Keypoints Centered Sign2Gloss2Text Translation, named STKC-Sign2 Gloss2Text, to supplement the sequential and semantic information of keypoints which are the core of recognizing and translating sign language. STKC-Sign2Gloss2Text consists of two steps, Spatial Keypoints Embedding, which extracts 121 major keypoints from each image, and Temporal Keypoints Embedding, which emphasizes sequential information using Bi-GRU for extracted keypoints of sign language. The proposed model outperformed all Bilingual Evaluation Understudy(BLEU) scores in Development(DEV) and Testing(TEST) than Sign2Gloss2Text as the baseline, and in particular, it proved the effectiveness of the proposed methodology by achieving 23.19, an improvement of 1.87 based on TEST BLEU-4.
목차
ABSTRACT
1. 서론
2. 관련 연구
3. 연구 방법
4. 실험 결과 및 고찰
5. 결론
REFERENCE
참고문헌 (31)
참고문헌 신청
The Story on the National Institute of Korean Language, https://www.korean.go.kr/front/page/pageView.do?page_id=P000300&mn_id=202 (accessed September 20, 2022).
M.G. Grif and A.V. Kugaevskikh, “Recognition of Deaf Gestures Based on a Bio-Inspired Neural Network,” Journal of Physics: Conference Series, Vol. 1661, No. 1, p. 012038, 2020.
Korean Sign Language Dictionary, https://sldict.korean.go.kr/front/sign/signContentsView.do?current_pos_index=8&origin_no=6046&searchWay=&top_category=&category=CTE001005&detailCategory=005&searchKeyword=&pageIndex=1&pageJumpIndex= (accessed September 27, 2022).
U. Bellugi and S. Fischer, “A Comparison of Sign Language and Spoken Language,” Cognition, Vol. 1, No. 2, pp. 173-200, 1972.
A. Voskou, K.P. Panousis, D. Kosmopoulos, D.N. Metaxas, and S. Chatzis, “Stochastic Transformer Networks with Linear Competing Units: Application to end-to-end SL Translation,” Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11946-11955, 2021.
Korean Sign Language Dictionary, https://sldict.korean.go.kr/front/sign/signContentsView.do?current_pos_index=8&origin_no=6046&searchWay=&top_category=&category=CTE001005&detailCategory=005&searchKeyword=&pageIndex=1&pageJumpIndex= (accessed September 27, 2022).
U. Bellugi and S. Fischer, “A Comparison of Sign Language and Spoken Language,” Cognition, Vol. 1, No. 2, pp. 173-200, 1972.
A. Voskou, K.P. Panousis, D. Kosmopoulos, D.N. Metaxas, and S. Chatzis, “Stochastic Transformer Networks with Linear Competing Units: Application to end-to-end SL Translation,” Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 11946-11955, 2021.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Depth-GASLT: 깊이 정보를 활용한 글로스 프리 수어 번역
멀티미디어학회논문지
2024 .07
-
Korean Text to Gloss: Self-Supervised Learning approach
스마트미디어저널
2023 .02
-
Text-to-Gloss를 위한 사전학습 언어모델 단어사전 제어 연구
지능정보연구
2024 .06
-
수어 번역에서의 글로스 활용 가능성에 대한 고찰
한국정보과학회 학술발표논문집
2023 .06
-
Utterance Boundary Detection for Korean Sign Language Recognition
제어로봇시스템학회 국제학술대회 논문집
2020 .10
-
한국수어 애니메이션 자동 생성 시스템 개발
멀티미디어학회논문지
2024 .12
-
A Design and Implementation CODA Service Application Based on Generative AI
한국컴퓨터정보학회논문지
2025 .03
-
Preliminary Study on Data Augmentation Methods for Sign Language Recognition
제어로봇시스템학회 국제학술대회 논문집
2023 .10
-
트랜스포머 모델을 사용한 특징점 학습과 한국어 수어 인식
한국정보과학회 학술발표논문집
2023 .06
-
실시간 수어 AI 번역 프로그램 구현
디지털콘텐츠학회논문지
2023 .10
-
Enhancing Sign Language Recognition with Pose-Based Data Augmentation: Focusing on Hand Keypoints
한국정보과학회 학술발표논문집
2024 .06
-
키포인트 기반 한국 수어 번역에서 프레임 간 대조 학습을 통한 성능 향상
한국정보과학회 학술발표논문집
2024 .12
-
키넥트를 이용한 수화 인식
공학기술논문지
2015 .12
-
청각장애인의 수어 교육을 위한 MediaPipe 활용 수어 학습 보조 시스템 개발
한국전자통신학회 논문지
2021 .12
-
트랜스포머를 이용한 한국 수어 글로스 변환 연구
한국정보과학회 학술발표논문집
2022 .12
-
안전보건표지판의 인식률 향상을 위한 평가 및 개선안 도출
대한인간공학회지
2020 .04
-
카피 메커니즘을 활용한 수어 글로스 번역
한국정보과학회 학술발표논문집
2023 .06
-
안전보건표지의 관리 실태와 이해 용이성
한국안전학회지
2019 .01
-
아바타 수어 서비스를 위한 한국어-한국수어 변환 기술 연구
한국방송미디어공학회 학술발표대회 논문집
2020 .07
-
공항 내 시설 안내 서비스를 위한 마커리스 한국 수어 인식 기술
한국방송미디어공학회 학술발표대회 논문집
2020 .07
이 논문의 저자 정보
이 논문과 함께 이용한 논문
청각 장애인과의 의사소통을 위한 장갑 형태의 수어 번역기
이수진
,
남재은
,
최지영
외 2명
재활복지공학회논문지
2023
.02
딥러닝 기반 수어 교육 온라인 플랫폼 구현
김미서
,
유문희
,
장지현
외 4명
디지털콘텐츠학회논문지
2022
.11
인공지능을 활용한 수어 인식과 아바타 수어 서비스
이원재
,
이한규
한국콘텐츠학회 종합학술대회 논문집
2022
.07
문제 해결 과정의 수어 표현과 인지 기제
임수진
수어학과 언어융합연구
2024
.12
수화노래의 문화적 위치에 대한 논의 : 수화노래는 농문화(Deaf Culture)의 일부가 될 수 있는가?
이유정
인문콘텐츠
2024
.12
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2023-004-000176952