지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술대회자료
- 저자정보
- 발행연도
- 2015.6
- 수록면
- 1,357 - 1,360 (4page)
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
MapReduce is a programming model widely used for processing big data in cloud datacenter. It is composed of Map, Shuffle and Reduce phases. Hadoop MapReduce is one of the most popular framework implementing MapReduce. During Shuffle phase, Hadoop MapReduce performs an excessive number of disk I/O operations and the transmission of large data. This accounts for about 40% of total data processing time. In order to solve these problems, we propose a new shuffle mechanism using the characteristics of SSD. This mechanism consists of (1) data address based sorting, (2) data address based merging and (3) early data transmission before Map phase completion. In order to demonstrate the effectiveness of our approach, we have implemented this mechanism into Hadoop MapReduce 1.2.1. Our experiments show that the proposed mechanism reduces the job completion time up to 5% compared to that of the legacy Hadoop MapReduce.
목차
Abstract
Ⅰ. 서론
Ⅱ. 배경지식
Ⅲ. 데이터 주소 기반 셔플 기법
Ⅳ. 실험평가
Ⅴ. 결론
참고문헌
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
An Analytical Approach to Evaluation of SSD Effects under MapReduce Workloads
JOURNAL OF SEMICONDUCTOR TECHNOLOGY AND SCIENCE
2015 .10
-
Hadoop MapReduce 성능 튜닝을 위한 매개변수 최적화 방법
한국정보과학회 학술발표논문집
2017 .12
-
MapReduce를 이용한 Hadoop기반의 TPC 오프라인 트래킹 시스템 제안
한국통신학회 학술대회논문집
2015 .01
-
SSD 타입 저장장치를 포함하는 Hadoop 시스템의 Iterative Processing 처리 성능 분석
한국컴퓨터정보학회 학술발표논문집
2016 .07
-
Key개수가 MapReduce 성능에 미치는 영향에 관한 연구
한국컴퓨터정보학회 학술발표논문집
2016 .01
-
Hadoop-based System for Analysis Big Social Sensor Data
Proceedings of KIIT Conference
2018 .06
-
러스터 파일 시스템 기반 하둡 맵리듀스 실행 환경 구현 및 성능 분석
정보과학회 컴퓨팅의 실제 논문지
2015 .08
-
Solid-state Drive 내장형 SIMT 기반 MapReduce 가속기 구조 설계
전자공학회논문지
2019 .10
-
Implementation of Efficient MapReduce Processing for OLAP Queries
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2016 .06
-
매니코어 시스템에서 하둡 맵리듀스 환경변수 최적화
한국정보과학회 학술발표논문집
2018 .12
-
하둡 맵리듀스 튜닝을 통한 기계학습 성능 개선
한국정보과학회 학술발표논문집
2017 .12
-
MapReduce 워크로드를 위한 파레토 법칙 기반 성능 모델
한국정보과학회 학술발표논문집
2016 .06
-
MapReduce-based Process Mining Algorithm for Operational Big Data Analytics
대한산업공학회 춘계공동학술대회 논문집
2015 .04
-
MapReduce 기반 분산 이미지 특징점 추출을 활용한 빠른 이미지 검색 알고리즘 연구
한국정보과학회 학술발표논문집
2015 .06
-
A Study on Parallel Clustering Algorithms based on MapReduce
IEIE Transactions on Smart Processing & Computing
2022 .08
-
로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법
한국정보전자통신기술학회 논문지
2018 .10
-
Efficient Multi-Query Execution with MapReduce
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2015 .06
-
Task failure resilience technique for improving the performance of MapReduce in Hadoop
[ETRI] ETRI Journal
2020 .10
-
Data Management of Connected vehicle applications using Big Data technology : Case of Remote Vehicle Diagnostics
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2015 .06
-
A Benchmark Test of Spatial Big Data Processing Tools and a MapReduce Application
한국측량학회지
2017 .10
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2016-569-001689613