지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.11
- 수록면
- 1,729 - 1,740 (12page)
이용수
초록· 키워드
오류제보하기
근래 정보의 다양성과 활용에 따라 많은 데이터가 생성되었고, 데이터를 수집, 저장, 가공 및 예측 하는 빅데이터 분석의 중요성이 확대되었으며, 필요한 정보만을 수집할 수 있는 능력이 요구되고 있다. 웹 공간은 절반 이상이 텍스트로 이루어져 있고, 유저들의 유기적인 상호작용을 통해 수많은 데이터가 발생한다. 대표적인 텍스트 데이터 수집방법으로 크롤링 기법이 있으나 데이터를 가져올 수 있는 방법에 치중되어 웹 서버나 관리자를 배려하지 못하는 크롤러가 많이 개발되고 있다. 본 논문에서는 크롤링 과정에서 발생할 수 있는 문제점 및 고려해야 할 주의사항에 대해 살펴보고 효율적으로 데이터를 가져올 수 있는 개선된 동적 웹 크롤러를 설계 및 구현한다. 기존 크롤러의 문제점들을 개선한 크롤러는 멀티프로세스로 설계되어 작업소요 시간이 평균적으로 4배정도 감소하였다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 기본 크롤러 & 크롤링
Ⅳ. 개선된 크롤러 설계 및 구현
Ⅴ. 개선된 크롤러 성능
Ⅵ. 결론
REFERENCES
참고문헌 (19)
참고문헌 신청
J. H. Kim and E. G. Kim, "WCTT: Web Crawling System based on HTML Document Formalization," Journal of the Korea Institute of Information and Communication Engineering, vol. 26, no. 4, pp. 495-502, Apr. 2022.
Samsung Display Newsroom. Collect only the information you want! Leverage crawling and big data analytics [Internet]. Available: https://news.samsungdisplay.com/22907.
DATA ON-AIR. Data collection methods and techniques [Internet]. Available: https://dataonair.or.kr/db-tech-reference/d-guide/data-practical/?mod=document&uid=378.
Y. -R. Suh, K. P. Koh, and J. Lee, “An analysis of the change in media’s reports and attitudes about face masks during the COVID-19 pandemic in South Korea: a study using Big Data latent dirichlet allocation (LDA) topic modelling,” Journal of the Korea Institute of Information and Communication Engineering, vol. 25, no. 5, pp. 731–740, May 2021.
C. Y. An, S. W. Moon, E. H. Shin, and H. Kim, "Study on Effective Web Services for Data Acquisition, Analysis, and Visualization," Journal of D-Culture Archives (JDCA), vol. 4, no. 2, pp. 113-122, Oct. 2021.
Samsung Display Newsroom. Collect only the information you want! Leverage crawling and big data analytics [Internet]. Available: https://news.samsungdisplay.com/22907.
DATA ON-AIR. Data collection methods and techniques [Internet]. Available: https://dataonair.or.kr/db-tech-reference/d-guide/data-practical/?mod=document&uid=378.
Y. -R. Suh, K. P. Koh, and J. Lee, “An analysis of the change in media’s reports and attitudes about face masks during the COVID-19 pandemic in South Korea: a study using Big Data latent dirichlet allocation (LDA) topic modelling,” Journal of the Korea Institute of Information and Communication Engineering, vol. 25, no. 5, pp. 731–740, May 2021.
C. Y. An, S. W. Moon, E. H. Shin, and H. Kim, "Study on Effective Web Services for Data Acquisition, Analysis, and Visualization," Journal of D-Culture Archives (JDCA), vol. 4, no. 2, pp. 113-122, Oct. 2021.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
빅데이터 분석 기반의 정보 검색을 위한 웹 크롤러 서비스 구현
디지털콘텐츠학회논문지
2017 .08
-
웹 크롤러를 활용한 범죄 정보 수집 시스템 연구
Proceedings of KIIT Conference
2018 .11
-
사용자 정의 기반 웹 크롤러 설계 및 구현
한국통신학회 학술대회논문집
2019 .06
-
다중 웹사이트 관리를 위한 동작 기반 웹 크롤러 설정 구조 설계
정보과학회 컴퓨팅의 실제 논문지
2021 .02
-
소셜미디어의 빅데이터 분석 지원을 위한 분산형 텍스트 크롤러 설계
한국통신학회 학술대회논문집
2018 .01
-
다중 웹사이트 관리를 위한 동작 기반 웹 크롤러 설정 구조 설계
한국정보과학회 학술발표논문집
2020 .07
-
법안 데이터베이스 구축을 위한 의안법률정보시스템 웹 크롤러 설계
한국통신학회 학술대회논문집
2019 .01
-
웹 크롤링을 이용한 소셜 데이터 수집 시스템 개발
한국정보과학회 학술발표논문집
2016 .06
-
심층 웹 문서 자동 수집을 위한 크롤링 알고리즘 설계 및 실험
한국정보통신학회논문지
2023 .01
-
아파치 스파크 기반 검색엔진의 설계 및 구현
한국정보통신학회논문지
2017 .01
-
웹 크롤링을 활용한 셰어하우스 데이터 수집 시스템 개발
한국통신학회 학술대회논문집
2020 .08
-
커스텀 이미지 데이터 세트 생성을 위한 인공지능 크롤러
대한전기학회 워크샵
2022 .07
-
대화 말뭉치 구축을 위한 웹 크롤러 기반 대화 수집기
한국정보과학회 학술발표논문집
2016 .06
-
빈도 분석을 이용한 HTML 텍스트 추출
한국정보통신학회논문지
2021 .09
-
웹 크롤링을 이용한 효과적인 교통체증 데이터 수집 기법
대한전자공학회 학술대회
2019 .11
-
댓글, 추천수, 다운로드수를 통해 배포되는 자료들의 바이러스 포함 여부를 가리기 위한 웹 크롤러 설계 및 구현
한국정보과학회 학술발표논문집
2017 .12
-
리소스 점유 최적화를 이용한 고속 동적 크롤러 구현
한국정보과학회 학술발표논문집
2019 .06
-
DNN 기반의 사진 속 객체 인식 학습을 위한 데이터 수집 크롤러 아키텍쳐
한국정보과학회 학술발표논문집
2016 .12
-
Analysis of Behavior Patterns from Human and Web Crawler Events Log on ScienceON
한국정보통신학회 종합학술대회 논문집
2022 .05
-
Research on Data Acquisition Strategy and Its Application in Web Usage Mining
한국정보전자통신기술학회 논문지
2019 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
다중 웹사이트 관리를 위한 동작 기반 웹 크롤러 설정 구조 설계
한동희
,
이영구
한국정보과학회 학술발표논문집
2020
.07
파이썬을 이용한 다양한 형식의 웹 데이터 크롤링 기법
승리
,
윤수진
,
우영운
한국정보통신학회 종합학술대회 논문집
2019
.10
사용자 정의 기반 웹 크롤러 설계 및 구현
강민정
,
김다예
,
안영채
외 4명
한국통신학회 학술대회논문집
2019
.06
빅데이터 분석 기반의 정보 검색을 위한 웹 크롤러 서비스 구현
김희숙
,
한나
,
임숙자
디지털콘텐츠학회논문지
2017
.08
웹 데이터 제공처 맞춤형 크롤러
황명권
,
염하늘
,
황미녕
외 1명
한국정보과학회 학술발표논문집
2014
.06
최근 본 자료
댓글(0)
0