지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2025.1
- 수록면
- 92 - 100 (9page)
- DOI
- 10.9717/kmms.2025.28.1.092
이용수
초록· 키워드
오류제보하기
Sign Language Translation (SLT) aims to convert visual sign langauge into spoken language, bridging communication between deaf and hearing communities. While gloss-free SLT models bypass the need for costly gloss annotations, they face challenges due to the modality gap between visual and textual representations. We propose CLIP-SLT, a novel architecture that leverages frame level textaligned representations extracted using the CLIP vision encoder to reduce the modality gap. Additionally, the Vision-Text Network (VTN) integrates these text-aligned features with video features, which are then processed by a LoRA-based LLM for efficient translation. Experiments on the PHOENIX-14T dataset demonstrate that CLIP-SLT outperforms existing gloss-free SLT models, effectively mitigating the modality gap and achieving significant translation quality improvements. These results highlight the importance of frame-level alignment and provide insights for advancing SLT research.
목차
ABSTRACT
1. 서론
2. 관련 연구
3. 방법론
4. 실험 결과 및 고찰
5. 결론
REFERENCE
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Korean Text to Gloss: Self-Supervised Learning approach
스마트미디어저널
2023 .02
-
수어 번역에서의 글로스 활용 가능성에 대한 고찰
한국정보과학회 학술발표논문집
2023 .06
-
Depth-GASLT: 깊이 정보를 활용한 글로스 프리 수어 번역
멀티미디어학회논문지
2024 .07
-
Text-to-Gloss를 위한 사전학습 언어모델 단어사전 제어 연구
지능정보연구
2024 .06
-
Electrochemical performance and redox stability of Sr0.8La0.2TiO3-Ce0.9Gd0.1O2-δ composite anodes for solid oxide fuel cells
Journal of Ceramic Processing Research
2016 .08
-
수어 동작 키포인트 중심의 시공간적 정보를 강화한 Sign2Gloss2Text 기반의 수어 번역
멀티미디어학회논문지
2022 .10
-
A Design and Implementation CODA Service Application Based on Generative AI
한국컴퓨터정보학회논문지
2025 .03
-
카피 메커니즘을 활용한 수어 글로스 번역
한국정보과학회 학술발표논문집
2023 .06
-
Synergy-CLIP: 멀티모달 통합을 활용한 CLIP의 확장을 통한 강화된 표현 학습
대한전자공학회 학술대회
2024 .06
-
트랜스포머를 이용한 한국 수어 글로스 변환 연구
한국정보과학회 학술발표논문집
2022 .12
-
이미지 검색을 위한 대조 학습 모델의 한국어 학습 방법
대한전자공학회 학술대회
2022 .06
-
CLIP 방향성 손실 기반 이미지 대 이미지 변환
한국정보과학회 학술발표논문집
2023 .06
-
CLIP 기반 역사 유물 도자기 상태 분류 기법
한국정보통신학회 종합학술대회 논문집
2024 .10
-
Development of a Simulation Tool for Optimizing CLIP-based 3D Printing Parameters
한국정밀공학회 학술발표대회 논문집
2023 .05
-
CLIP based Retrieval for Medical Report Generation
대한전자공학회 학술대회
2024 .06
-
실시간 수어 AI 번역 프로그램 구현
디지털콘텐츠학회논문지
2023 .10
-
CLIP을 이용한 텍스트 기반의 포인트 클라우드 스타일화
대한전자공학회 학술대회
2022 .06
-
CIE L*a*b* 색공간 색차 특성과 광택을 이용한 자동차 플라스틱 노화도 예측
한국정보기술학회논문지
2024 .07
-
CLIP 기반 복수 물체 이미지 스타일 변환
한국통신학회 학술대회논문집
2023 .02
-
Multimodal Biometrics Recognition from Facial Video with Missing Modalities Using Deep Learning
JIPS(Journal of Information Processing Systems)
2020 .01
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-25-02-092153037