지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.11
- 수록면
- 1,505 - 1,511 (7page)
이용수
초록· 키워드
오류제보하기
자연어 처리 분야 내 다양한 작업들에서 높은 성능을 보인 사전 학습된 모델은 대량의 말뭉치를 이용하여 문장들의 언어학적 패턴을 스스로 학습함으로써 입력 문장 내 각 토큰들을 적절한 특징 벡터로 표현할 수 있다는 장점을 갖고 있다. 이러한 사전 학습된 모델의 학습에 필요한 말뭉치를 구축하는 방법 중 웹 크롤러를 이용하여 수집한 경우 웹사이트에 존재하는 문장은 다양한 패턴을 갖고 있기 때문에 문장의 일부 또는 전체에 불필요한 단어가 포함되어 있을 수 있다. 본 논문에서는 웹으로부터 수집한 말뭉치에 대해 신경망 모델을 이용하여 불필요한 단어가 포함된 문장을 필터링하기 위한 데이터 셋 구축 방법에 대해 제안한다. 그 결과, 총 2,330개의 문장을 포함한 데이터 셋을 구축하였다. 또한 신경망 모델을 이용하여 구축한 데이터 셋을 학습시켜 성능을 평가하였으며, BERT 모델이 평가 데이터에 대해 93.75%의 정확도로 가장 높은 성능을 보였다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 웹 말뭉치 수집 및 구축 방법
Ⅳ. 문장 필터링 데이터 셋 구축 방법
Ⅴ. 문장 필터링 데이터 셋 구축 결과
Ⅵ. 신경망 모델 성능 평가
Ⅶ. 결론
REFERENCES
참고문헌 (9)
참고문헌 신청
J. Devlin, M. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics, San Francisco, pp. 4117-4186, 2019.
Z. Yang, D. Y. Yang, J. Carbonell, R. R. Salakhutdinov, and Q. V. Le, “XLNet: Generalized Autoregressive Pretraining for Language Understanding,” in Proceedings of the 33rd Conference on Neural Information Processing System (NeurIPS), Vancouver, pp. 5754-5764, 2019.
Wikipedia, Wikipedia Dump Data [Online]. Available: https://www.wikipedia.org/.
P. W. Park, “Text-CNN Based Intent Classification Method for Automatic Input of Intent Sentences in Chatbot,” Journal of Korean Institute of Information Technology, vol. 18, no. 1, pp. 19-25, Jan. 2020.
J. M. Kim and J. H. Lee, “Text Document Classification Based on Recurrent Neural Network Using Word2vec,” Journal of Korean Institute of Intelligent Systems, vol. 27, no. 6, pp. 560-565, Dec. 2017.
Z. Yang, D. Y. Yang, J. Carbonell, R. R. Salakhutdinov, and Q. V. Le, “XLNet: Generalized Autoregressive Pretraining for Language Understanding,” in Proceedings of the 33rd Conference on Neural Information Processing System (NeurIPS), Vancouver, pp. 5754-5764, 2019.
Wikipedia, Wikipedia Dump Data [Online]. Available: https://www.wikipedia.org/.
P. W. Park, “Text-CNN Based Intent Classification Method for Automatic Input of Intent Sentences in Chatbot,” Journal of Korean Institute of Information Technology, vol. 18, no. 1, pp. 19-25, Jan. 2020.
J. M. Kim and J. H. Lee, “Text Document Classification Based on Recurrent Neural Network Using Word2vec,” Journal of Korean Institute of Intelligent Systems, vol. 27, no. 6, pp. 560-565, Dec. 2017.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
ELMo 임베딩 기반 문장 중요도를 고려한 중심 문장 추출방법
스마트미디어저널
2021 .01
-
Automatic Extraction of Sentence Embedding Features for Question Similarity Analysis in Dialogues
Journal of KIISE
2019 .09
-
표준국어대사전을 활용한 문장 쌍 표현 모델 자기지도 학습 방법 연구
한국정보과학회 학술발표논문집
2021 .06
-
준-지도 학습을 이용한 삭제 기반 한국어 문장 축약
정보과학회 컴퓨팅의 실제 논문지
2020 .11
-
자연어이해 영역에서의 관계성 학습을 통한 유사구조 문장 벡터 학습방법
정보과학회 컴퓨팅의 실제 논문지
2021 .04
-
Noise Injection for Natural Language Sentence Generation from Knowledge Base
Journal of KIISE
2020 .10
-
LSTM 언어모델 기반 한국어 문장 생성
한국통신학회논문지
2016 .05
-
Word2Vec 모델을 활용한 한국어 문장 생성
한국어정보학회 학술대회
2017 .01
-
한국어 문장 유사도 측정을 위한 Sentence BERT
한국정보과학회 학술발표논문집
2020 .12
-
Building a Korean Sentence-Compression Corpus by Analyzing Sentences and Deleting Words
Journal of KIISE
2021 .02
-
빅데이터 기반 문장 유사도 측정 언어 모델
대한전자공학회 학술대회
2020 .08
-
심층 신경망 기반 자연어처리 모델의 성능 비교
한국통신학회논문지
2019 .07
-
Self-Attention을 적용한 문장 임베딩으로부터 이미지 생성 연구
스마트미디어저널
2021 .01
-
가짜문장의 전이학습을 이용한 소규모 불균형 데이터의 욕설문장 분류방법
한국정보과학회 학술발표논문집
2017 .06
-
의사 문장 표현을 활용한 수학 문장형 문제 풀이 모델
한국정보과학회 학술발표논문집
2022 .06
-
BERT 헤드의 단어 위치 정보 의존도
한국정보과학회 학술발표논문집
2021 .12
-
Semantic Similarity-based Intent Analysis using Pre-trained Transformer for Natural Language Understanding
Journal of KIISE
2020 .08
-
Application of Improved Variational Recurrent Auto-Encoder for Korean Sentence Generation
Journal of KIISE
2018 .02
-
Neural Attention을 반영한 문장 생성 모델
한국컴퓨터정보학회 학술발표논문집
2017 .01
-
Single Sentence Summarization with an Event Word Attention Mechanism
Journal of KIISE
2020 .02
이 논문의 저자 정보
이 논문과 함께 이용한 논문
The Dataset and a Pretrained Language Model for Sentence Classification in Korean Science and Technology Abstracts
안홍비
,
박소영
,
정유철
Journal of KIISE
2023
.06
에세이 창의성 분류를 위한 저빈도 서브워드 마스킹 기반 BERT 모델
이유빈
,
온병원
Proceedings of KIIT Conference
2022
.12
시퀀스-투-시퀀스를 활용한 데이터 기반 문장 생성 모델 비교
김영석
,
이병훈
,
강민지
외 1명
대한산업공학회지
2022
.10
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2022-004-000031818