지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 박명순
- 발행연도
- 2016
- 저작권
- 고려대학교 논문은 저작권에 의해 보호받습니다.
이용수1
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
요 약
본 논문은 분산 파일 시스템 환경에서 small 파일의 처리 성능 개선을 목적으로 한다. 인터넷과 모바일 기술의 발전으로 분산 파일시스템을 기반으로 하는 클라우드 스토리지 환경과 고성능 컴퓨팅 환경에서 small 파일은 지속적으로 증가하고 있다. 하지만, 분산 파일 시스템 환경에서 small 파일 처리는 디스크 IO를 네트워크를 통해서 전달하고 메타 데이터를 자주 참조하기 때문에 성능이 느리다.
small 파일 처리 성능을 개선하기 위해서 기존 연구에서는 디렉토리 단위로 small 파일을 모아서 저장하는 방법, small 파일을 큰 파일로 통합하여 메타 데이터를 단순화하는 방법, 네트워크 전송 시 small 파일을 그룹핑하는 방법 등이 연구되어 왔다. 하지만 이런 방법들은 small 파일의 순차적 처리에 유용하지만 다수의 컴퓨팅 노드에서 랜덤하게 액세스하는 경우에는 적용하기 어려운 문제점이 있다.
본 논문에서는 이러한 문제를 해결하기 위해 분산 파일 시스템의 병렬 처리 성능을 개선하고, 클라이언트와 서버간 채널을 다중화하는 방안을 제안하였다. 제안한 방법의 유용성을 검증하기 위해 GlusterFS 분산 파일 시스템을 이용하여 실험 환경을 구축하고 vdbench 벤치마크 도구를 이용하여 성능 개선 효과를 검증하였다.
평균 4KB 파일 백 만개를 1,000개의 디렉토리에 분산 생성한 다음 병렬 I/O 부하 발생을 위해 쓰레드를 1개에서 48개까지 증가시키면서 처리 성능을 측정하였다. 또한, 네크워크 연결 채널을 1개에서 4개로 증가 시키면서 성능을 측정한 결과 채널 개수의 증가에 따라서 기본 구성에 비교하여 각각 151%, 273%, 362%, 461% 개선되는 것으로 측정되었고 응답시간도 각각 69%, 28%, 19%, 14%로 감소하였다.
본 논문은 분산 파일 시스템 환경에서 small 파일의 처리 성능 개선을 목적으로 한다. 인터넷과 모바일 기술의 발전으로 분산 파일시스템을 기반으로 하는 클라우드 스토리지 환경과 고성능 컴퓨팅 환경에서 small 파일은 지속적으로 증가하고 있다. 하지만, 분산 파일 시스템 환경에서 small 파일 처리는 디스크 IO를 네트워크를 통해서 전달하고 메타 데이터를 자주 참조하기 때문에 성능이 느리다.
small 파일 처리 성능을 개선하기 위해서 기존 연구에서는 디렉토리 단위로 small 파일을 모아서 저장하는 방법, small 파일을 큰 파일로 통합하여 메타 데이터를 단순화하는 방법, 네트워크 전송 시 small 파일을 그룹핑하는 방법 등이 연구되어 왔다. 하지만 이런 방법들은 small 파일의 순차적 처리에 유용하지만 다수의 컴퓨팅 노드에서 랜덤하게 액세스하는 경우에는 적용하기 어려운 문제점이 있다.
본 논문에서는 이러한 문제를 해결하기 위해 분산 파일 시스템의 병렬 처리 성능을 개선하고, 클라이언트와 서버간 채널을 다중화하는 방안을 제안하였다. 제안한 방법의 유용성을 검증하기 위해 GlusterFS 분산 파일 시스템을 이용하여 실험 환경을 구축하고 vdbench 벤치마크 도구를 이용하여 성능 개선 효과를 검증하였다.
평균 4KB 파일 백 만개를 1,000개의 디렉토리에 분산 생성한 다음 병렬 I/O 부하 발생을 위해 쓰레드를 1개에서 48개까지 증가시키면서 처리 성능을 측정하였다. 또한, 네크워크 연결 채널을 1개에서 4개로 증가 시키면서 성능을 측정한 결과 채널 개수의 증가에 따라서 기본 구성에 비교하여 각각 151%, 273%, 362%, 461% 개선되는 것으로 측정되었고 응답시간도 각각 69%, 28%, 19%, 14%로 감소하였다.
목차
제1장 서론 11.1 연구의 배경 11.2 연구의 목적 3제2장 관련 연구 52.1 리눅스 파일 시스템 52.2 분산 파일 시스템 82.3 GlusterFS 아키텍처 122.3.1 GlusterFS 기본 구조 122.3.2 GlusterFS 액세스 및 Translator 152.4 small 파일 처리 성능 관련 연구 162.4.1 연속된 디스크 블록에 쓰기 방식(FFS) 162.4.2 small 파일 통합을 통한 메타 데이터 단순화 182.4.3 small 파일을 그룹 단위로 전송하여 성능 개선 192.4.4 small 파일 처리 성능 기준 20제3장 GlusterFS 환경에서 small 파일 문제 223.1 GlusterFS 분산 파일 시스템 처리 성능 223.1.1 개요 223.1.2 성능 측정 결과 243.1.3 리눅스 파일 시스템과 GlusterFS 성능 비교 263.2 GlusterFS 환경에서 small 파일 처리 성능 283.2.1 개요 283.2.2 성능 측정 결과 313.2.3 small 파일과 large파일 처리 성능 비교 323.2.4 네트워크 Packet 분석 343.2.5 GlusterFS 내부 I/O 처리 구조 37제4장 small 파일 처리 성능 개선을 위한 제안 404.1 어플리케이션 병렬 처리 404.2 GlusterFS 병렬 처리 구조 개선 414.3 GlusterFS 다중화 구성 43제5장 실험 결과 455.1 실험환경 및 실험방법 455.1.1 실험환경 455.1.2 실험 시나리오 465.1.3 실험1 : GlusterFS 병렬 처리 구조 개선 475.1.4 실험2 : GlusterFS 채널 다중화 495.1.5 실험3 : 병렬 I/O 부하 증가에 따른 최대 성능 분석 515.2 실험결과 535.2.1 실험결과1 : GlusterFS 병렬 처리 구조 개선 535.2.2 실험결과2 : GlusterFS 채널 다중화 545.2.3 실험결과3 : 병렬 I/O 부하 증가에 따른 최대 성능 분석 55제6장 결론 58참고문헌 61
최근 본 자료
댓글(0)
0