지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.48 No.1
- 발행연도
- 2021.1
- 수록면
- 119 - 127 (9page)
- DOI
- 10.5626/JOK.2021.48.1.119
이용수
초록· 키워드
오류제보하기
본 논문에서는 DSTC에서 제공하는 데이터를 기반으로 주어진 대화(Dialog)의 다음 문장을 찾는(100개 후보 중 1개의 정답) Dialog Response Selection System을 만드는 것을 목적으로 한다. 이를 위해 사전 학습 모델(Pre-trained Model)인 BERT를 활용하였다. BERT는 대용량 코퍼스에 대해 언어모델(Language Model)로 사전 학습이 되어있어 다목적으로 활용이 가능하고 높은 성능을 내는 장점이 있지만 모델 변형이 쉽지 않고, 입력 데이터 형태가 정해져 있어 성능 최적화를 위한 커스터마이징(Customizing)이 어렵다는 한계점이 있다. 이러한 특성을 보완하기 위해 BERT와 완전히 분리된 독립적 전이학습 모델을 제안한다. BERT를 파인-튜닝(Fine-tuning) 후 컨텍스츄얼 셀프-어텐션 벡터(Contextual Self-attention Vector)(수직(Vertical) & 수평(Horizonal) 히든 벡터(Hidden Vector)를 이용한 셀프-어텐션 벡터 추출)을 뽑아 전이학습 모델의 입력 데이터로 사용하였고 주어진 데이터를 효과적으로 사용하기 위해서 데이터 어그멘테이션(Data Augmentation)을 진행하였다. 이를 통해 최종적으로 22.85%의 성능개선을 달성할 수 있었다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. Dialog Response Selection을 위한 모델
4. 결론
References
참고문헌 (15)
참고문헌 신청
A. Vaswani, et al., "Attention Is All You Need," Neural Information Processing Systems (NIPS), pp. 5998-6008, 2017.
Hyun, Y. J. and Kim, N. G., "Text Miningbased Fake News Detection Using News And Social Media Data," The Journal of Society for e-Business Studies, Vol. 23, No. 4, pp. 19-39, 2018.
J. Devlin, et al., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv preprint arXiv:1810.04805, 2018.
M. Joshi et al., "SpanBERT: Improving pre-training By representing and predicting spans," arXiv preprint 1907.10529, 2019.
K. Song et al., "Mass: Masked sequence to sequence pretraining for language generation," Int. Conf. Mach. Learning, Long Beach, CA, USA, 2019, pp. 5926-5936.
Hyun, Y. J. and Kim, N. G., "Text Miningbased Fake News Detection Using News And Social Media Data," The Journal of Society for e-Business Studies, Vol. 23, No. 4, pp. 19-39, 2018.
J. Devlin, et al., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv preprint arXiv:1810.04805, 2018.
M. Joshi et al., "SpanBERT: Improving pre-training By representing and predicting spans," arXiv preprint 1907.10529, 2019.
K. Song et al., "Mass: Masked sequence to sequence pretraining for language generation," Int. Conf. Mach. Learning, Long Beach, CA, USA, 2019, pp. 5926-5936.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
사전 학습된 BERT와 미세 조정된 BERT간의 어텐션 헤드 유사도 분석
한국정보과학회 학술발표논문집
2022 .12
-
선학습 BERT를 활용한 의미벡터 학습 방법
한국정보과학회 학술발표논문집
2019 .12
-
외부 지식이 반영된 BERT를 활용한 검색 기반 대화 시스템
정보과학회 컴퓨팅의 실제 논문지
2021 .12
-
BERT의 계층에 따른 임베딩 벡터의 의미 분석
한국정보과학회 학술발표논문집
2021 .12
-
BERT 파생 모델의 한국어에 대한 성능 비교
한국통신학회 학술대회논문집
2020 .02
-
불용어의 BERT 기반 문장 자동분류기에 대한 영향
한국정보과학회 학술발표논문집
2021 .12
-
BERT 언어 모델을 사용한 상담 매칭 시스템
한국정보과학회 학술발표논문집
2020 .07
-
BERT 기반 한국어 개방형 정보 추출
한국정보과학회 학술발표논문집
2019 .06
-
데이터 증강을 활용한 BERT 언어모델 사전학습
대한산업공학회 추계학술대회 논문집
2020 .11
-
어텐션을 활용한 BERT 기반 암호화 트래픽 분류 모델 분석 연구
대한전자공학회 학술대회
2024 .06
-
좌충우돌 감성분석 BERT 미세조정 분석
한국컴퓨터정보학회 학술발표논문집
2021 .01
-
BERT 기반 교통사고 비정형 데이터 분류 모델 개발
대한교통학회 학술대회지
2022 .04
-
BERT 기반 모델에서의 부정적 감정 식별을 위한 감성 대화 분석 기법에 관한 연구
한국통신학회 학술대회논문집
2025 .02
-
감정 분석을 위한 BERT 사전학습모델과 추가 자질 모델의 결합
한국정보과학회 학술발표논문집
2020 .12
-
추가학습 없는 BERT를 활용한 시스템 로그 이상치 탐지
대한산업공학회 춘계공동학술대회 논문집
2023 .05
-
BERT 계층에 따른 단어간 관계 변화 분석
한국정보과학회 학술발표논문집
2022 .06
-
Text classification에 특화 시킨 개선된 BERT 활용 방법론 제안
한국통신학회 학술대회논문집
2021 .02
-
도메인 특화 사전학습 언어모델 개발 전략: 자동차 분야 언어모델 V-BERT 개발 사례
정보과학회 컴퓨팅의 실제 논문지
2023 .05
-
한글 텍스트 감정 이진 분류 모델 생성을 위한 미세 조정과 전이학습에 관한 연구
한국산업정보학회논문지
2023 .10
-
데이터 증강을 이용한 BERT 분류 모델 성능 향상
한국지능시스템학회 논문지
2024 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
A Leader’s Final Decision Classification Model Tested on Meeting Records with BERT
박진영
,
오혜연
Journal of KIISE
2021
.05
CRF based Named Entity Recognition Using a Korean Lexical Semantic Network
박서연
,
옥철영
Journal of KIISE
2021
.05
Improving BERT-based Sentiment Analysis Model using Graph-based Ranking Mechanism
Junekyu Pa
,
k
,
KyungAh Sohn
정보과학회 컴퓨팅의 실제 논문지
2021
.02
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2021-569-001489901