개인구독
소속 기관이 없으신 경우, 개인 정기구독을 하시면 저렴하게
논문을 무제한 열람 이용할 수 있어요.
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 劉憲昌
- 발행연도
- 2013
- 저작권
- 고려대학교 논문은 저작권에 의해 보호받습니다.
이용수0
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
하둡은 맵리듀스의 오픈소스 구현으로 대량의 데이터를 효과적으로 처리하는 방법 중 하나이다. 하지만 분산 파일 시스템을 사용하는 하둡에서는 처리하는 데이터가 다른 노드에 위치하는 데이터 로컬리티 문제가 전체 작업 수행시간의 증가를 야기하는 문제가 있다. 따라서 본 논문에서는 하둡에서의 데이터 로컬리티 문제를 해결하기 위한 접근수 예측 기반 적응적 데이터 복제기법을 제안한다. 제안하는 데이터 복제기법에서는 과거 접근수를 분석하여 미래 접근수를 예측하기 위해 라그랑지 보간법을 사용한다. 그 후, 예측된 미래 접근수를 이용하여 데이터 로컬리티 문제가 발생하였을 때 복제사본을 생성할 것인지 캐시를 생성할 것인지를 선택적으로 결정함으로써 복제 사본의 수를 최적화 한다. 또한, 복제사본 배치 알고리즘을 제공하여 데이터 로컬리티를 효과적으로 향상 시킨다. 성능 평가를 위해 시뮬레이션에서 기존 하둡에서 사용하는 데이터 복제기법과 비교하여 전체 맵 태스크 완료시간이 평균 9.6% 정도 감소한 것을 보였다. 데이터 로컬리티의 경우 노드 로컬리티는 6.1% 증가하였고, 랙과 랙-오프 로컬리티는 각각 45.6%와 56.5% 감소하였다. 이와 같은 시뮬레이션 결과를 통해 제안하는 접근수 예측 기반 적응적 데이터 복제기법이 기존 하둡에서 사용하는 데이터 복제기법보다 데이터 로컬리티를 향상시키고 작업완료시간을 감소시킬 수 있음을 입증하였다.
목차
1. 서론 11.1 연구배경 및 목적 11.2 논문의 구성 32. 관련 연구 42.1 맵리듀스 42.2 하둡과 하둡 분산 파일 시스템 62.3 기존 연구 분석 83. 하둡 클러스터에서 데이터 로컬리티 103.1 데이터 로컬리티의 개념 103.2 데이터 로컬리티 문제 124. 접근수 예측기반 적응적 데이터 복제기법 134.1 개요 및 특징 134.2 시스템 모델 144.3 접근수 예측 154.4 적응적 데이터 복제기법 184.5 복제사본 배치기법 215. 성능평가 235.1 실험환경 235.2 실험결과 266. 결론 35참고 문헌 36
최근 본 자료
댓글(0)
0