지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2020.4
- 수록면
- 29 - 35 (7page)
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
본 논문에서는 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다. 최근 자연어처리 분야는 방대한 양의 말뭉치로 사전 학습된 언어 표현 모델을 활용하는 연구가 활발하다. 특히 자연어처리 분야 중 하나인 개체명인식은 대부분 지도학습 방식을 사용하는데, 충분히 많은 양의 학습 데이터 세트와 학습 연산량이 필요하다는 단점이 있다. 강화학습은 초기 데이터 없이 시행착오 경험을 통해 학습하는 방식으로 다른 기계학습 방법론보다 조금 더 사람이 학습하는 과정에 가까운 알고리즘으로 아직 자연어처리 분야에는 많이 적용되지 않은 분야이다. 아타리 게임이나 알파고 등 시뮬레이션 가능한 게임 환경에서 많이 사용된다. BERT는 대량의 말뭉치와 연산량으로 학습된 구글에서 개발한 범용 언어 모델이다. 최근 자연어 처리 연구 분야에서 높은 성능을 보이고 있는 언어 모델이며 많은 자연어처리 하위분야에서도 높은 정확도를 나타낸다. 본 논문에서는 이러한 DQN, BERT 두가지 딥러닝 모델을 이용한 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다. 제안하는 모델은 범용 언어 모델의 장점인 언어 표현력을 기반으로 강화학습 모델의 학습 환경을 만드는 방법으로 학습된다. 이러한 방식으로 학습된 DeNERT 모델은 적은 양의 학습 데이터세트로 더욱 빠른 추론시간과 높은 성능을 갖는 모델이다. 마지막으로 제안하는 모델의 개체명 인식 성능평가를 위해 실험을 통해서 검증한다.
목차
[Abstract]
[요약]
Ⅰ. Introduction
Ⅱ. Related Works
Ⅲ. DeNERT Model
Ⅳ. Experiments
Ⅴ. Conclusions
REFERENCES
참고문헌 (19)
참고문헌 신청
T. Mikolov / 2013 / Distributed representations of words and phrases and their compositionality / Advances in neural information processing systems :3111~3119
G. Lample / 2016 / Neural architectures for named entity recognition / Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies :260~270
ME. Peters / 2018 / Deep contextualized word representations / Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies 1:2227~2237
A. Radford / Improving language understanding by generative pre-training
J. Devlin / 2019 / Bert: Pre-training of deep bidirectional transformers for language understanding / Proceedings of the 2019Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies 1:4171~4186
G. Lample / 2016 / Neural architectures for named entity recognition / Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies :260~270
ME. Peters / 2018 / Deep contextualized word representations / Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies 1:2227~2237
A. Radford / Improving language understanding by generative pre-training
J. Devlin / 2019 / Bert: Pre-training of deep bidirectional transformers for language understanding / Proceedings of the 2019Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies 1:4171~4186
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용
지능정보연구
2022 .06
-
BERT 기반 금융 텍스트셋 구현을 위한 전이 학습 연구
전자공학회논문지
2023 .09
-
도메인 특화 사전학습 언어모델 개발 전략: 자동차 분야 언어모델 V-BERT 개발 사례
정보과학회 컴퓨팅의 실제 논문지
2023 .05
-
사전 학습된 언어 모델 기반 자연어 처리 응용의 실용성 개선 연구
한국통신학회 학술대회논문집
2023 .06
-
A Comparative Study on the Performance of Named Entity Recognition in Materials and Chemistry Fields through Multiple Embedding Combination Based on a Pre-trained Neural Network Language Model
Journal of KIISE
2021 .06
-
LUKE를 이용한 한국어 자연어 처리: 개체명 인식, 개체 연결
정보과학회 컴퓨팅의 실제 논문지
2022 .03
-
한국어 생의학 개체명 인식 성능 비교와 오류 분석
한국전자통신학회 논문지
2024 .08
-
BERT를 이용한 한국어 자연어처리: 개체명 인식, 감성분석, 의존 파싱, 의미역 결정
한국정보과학회 학술발표논문집
2019 .06
-
데이터 증강을 활용한 BERT 언어모델 사전학습
대한산업공학회 추계학술대회 논문집
2020 .11
-
자연어 처리 시스템 비교 연구
한국정보과학회 학술발표논문집
2018 .12
-
KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용
한국지능정보시스템학회 학술대회논문집
2022 .06
-
LUKE를 이용한한국어 자연어 처리: 개체명 인식, 개체 연결
한국정보과학회 학술발표논문집
2021 .06
-
심층학습에 기반한 자연언어처리
정보과학회지
2015 .10
-
거대 언어 모델과 In-context learning을 이용한 자연어 추론 학습 데이터 자동 생성
한국정보과학회 학술발표논문집
2023 .06
-
Enhancing Geospatial Recommendations through Natural Language Processing with Large Language Models
한국정보과학회 학술발표논문집
2024 .06
-
한국어 언어자원에서의 자연어 처리 기술 현황 조사
한국정보과학회 학술발표논문집
2015 .06
-
A Small-Scale Korean-Specific BERT Language Model
Journal of KIISE
2020 .07
-
언어 모델 다중 학습을 이용한 한국어 개체명 인식
한국어정보학회 학술대회
2017 .01
-
BERT 언어 모델을 사용한 상담 매칭 시스템
한국정보과학회 학술발표논문집
2020 .07
-
Korean Semantic Role Labeling with BERT
Journal of KIISE
2020 .11
이 논문의 저자 정보
이 논문과 함께 이용한 논문
한국어 감정 분석을 위한 합동 학습 기반 KoBERT 모델
이영준
,
최호진
한국정보과학회 학술발표논문집
2020
.12
BERT를 이용한 한국어 자연어처리: 개체명 인식, 감성분석, 의존 파싱, 의미역 결정
박광현
,
나승훈
,
신종훈
외 1명
한국정보과학회 학술발표논문집
2019
.06
인플루언서 마케팅에서 정보원 유형과 경제적 대가 표시에 따른 광고 효과 연구 : 유튜브(YouTube) 플랫폼을 중심으로
김은재
,
황상재
디지털콘텐츠학회논문지
2019
.02
Word Embedding에 PCA를 적용한 개체명 인식 모델을 위한 효율적인 학습방법 연구
송은영
,
최회련
,
이홍철
대한산업공학회지
2019
.02
사건 관련 정보 선별을 위한 자연어 처리 기반 메신저 대화 내 개체명 인식 기법 연구
박재하
,
이상진
,
박정흠
디지털포렌식연구
2023
.09
최근 본 자료
댓글(0)
0