메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색
질문

논문 기본 정보

자료유형
학술저널
저자정보
이협건 (한국폴리텍대학 서울강서캠퍼스) 김영운 (한국폴리텍대학 서울강서캠퍼스) 김기영 (서일대학교)
저널정보
한국정보전자통신기술학회 한국정보전자통신기술학회 논문지 한국정보전자통신기술학회 논문지 제14권 제1호
발행연도
2021.2
수록면
29 - 36 (8page)

이용수

표지
📌
연구주제
📖
연구배경
🔬
연구방법
🏆
연구결과
AI에게 요청하기
추천
검색
질문

초록· 키워드

오류제보하기
IT기술의 발달로 인해 발생되는 데이터양은 기하급수적으로 급격하게 증가하고 있으며, 데이터 구조의 복잡성은 높아지고 있다. 빅데이터 분석가와 빅데이터 엔지니어들은 이러한 빅데이터들을 보다 빠르게 데이터 처리 및 데이터 분석을 수행을 목표로 분석 대상의 데이터양을 최소화하기 위한 연구가 기업 및 가관 등 활발하게 이뤄지고 있다. 빅데이터 플랫폼으로 많이 활용되는 하둡은 서브프로젝트인 Hive를 통해 분석 대상의 데이터 최소화 등 다양한 데이터 처리 및 데이터 분석 기능을 제공하고 있다. 그러나 Hive는 데이터의 복잡성을 고려하지 않고 구현되어 중복 제거에 방대한 양의 메모리를 사용한다. 이에 복잡한 구조의 데이터 중복제거를 위한 효율적인 알고리즘을 제안한다. 성능평가 결과, 제안하는 알고리즘은 Hive에 비해 메모리 사용량은 최대 79%, 데이터 중복제거 시간은 0.677% 감소한다. 향후, 제안하는 알고리즘의 현실적인 검증을 위해 다수의 데이터 노드 기반 성능 평가가 필요하다.
#Big Data #Deduplication #Hadoop #MapReduce #Hive

목차

요약
Abstract
1. 서론
2. 관련 연구
3. 제안하는 데이터 중복제거 알고리즘
4. 성능평가
5. 결론
REFERENCES

참고문헌 (10)

참고문헌 신청
이협건 / 2019 / 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구 / 한국정보전자통신기술학회 논문지 12(2):127~134 dbpia 주인학 / 2017 / Hadoop에서 SQL 기반 질의언어를 지원하는 공간 빅데이터 질의처리 시스템 / 한국정보전자통신기술학회 논문지 10(1):1~8 dbpia 이협건 / 2018 / 스마트 팩토리 환경에서의GlusterFS 기반 빅데이터 분산 처리 시스템 설계 / 한국정보전자통신기술학회 논문지 11(1):70~75 dbpia H. G. Lee / 2018 / Impleme ntation of an Efficient Big Data Collect ion Platform for Smart Manufacturing / Journal o f Engineering and Applied Sciences 12(2Si):6304~6307 google schola Yue Liu / 2016 / Performance Evaluation and Optimization of Multi-Dimensional Indexes in Hive / IEEE Transactions on Services Computing 11(5):835~849 google schola

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

이 논문과 함께 이용한 논문

빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구
이협건 ,  김영운 ,  김기영 한국정보전자통신기술학회 논문지 2019 .04
빅 데이터의 분석과 활용
강만모 ,  김상락 ,  박상무 정보과학회지 2012 .06
QoS 레벨 3: 사물인터넷에서 MQTT 프로토콜의 동기식 통신 메카니즘
임예린 ,  임민규 전기학회논문지 2021 .06
최적의 군집수를 갖는 개선된 LEACH 알고리즘
이상철 전자공학회논문지 2021 .03
딥러닝 기반 경매 알고리즘과 데이터 과학 플랫폼 응용
정소이 ,  김재현 한국통신학회논문지 2021 .03

최근 본 자료

전체보기

댓글(0)

0

UCI(KEPA) : I410-ECN-0101-2021-569-001556743