지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2015.9
- 수록면
- 1,098 - 1,104 (7page)
이용수
초록· 키워드
오류제보하기
With the widespread use of smartphones and IoT (Internet of Things), data are being generated on a large scale, and there is increased for the analysis of such data. Hence, distributed processing systems have gained much attention. Hadoop, which is a distributed processing system, saves the metadata of stored files in name nodes; in this case, the main problems are as follows: the memory becomes insufficient; load occurs because of massive small files; scheduling and file processing time increases because of the increased number of small files. In this paper, we propose a solution to address the increase in processing time because of massive small files, and thus improve the processing performance, using the Reuse JVM method provided by Hadoop. Through environment setting, the Reuse JVM method modifies the JVM produced conventionally for every task, so that multiple tasks are reused sequentially in one JVM. As a final outcome, the Reuse JVM method showed the best processing performance when used together with CombineFileInputFormat.
목차
ABSTRACT
1. 서론
2. 관련연구
3. Reuse JVM을 이용한 처리성능 향상방법
4. 실험 결과 및 평가
5. 결론
REFERENCE
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Reducing Memory Overhead in JVM-based Data Processing Systems Through Merging Small Data Elements
한국정보과학회 학술발표논문집
2018 .06
-
빅데이터 Hadoop Distributed File System 의 자원 할당 최적화를 위한 Performance Modeling 기법
한국통신학회 학술대회논문집
2018 .01
-
빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구
한국정보전자통신기술학회 논문지
2019 .04
-
Hadoop-based System for Analysis Big Social Sensor Data
Proceedings of KIIT Conference
2018 .06
-
Hadoop MapReduce 성능 튜닝을 위한 매개변수 최적화 방법
한국정보과학회 학술발표논문집
2017 .12
-
Efficient Multimedia Data File Management and Retrieval Strategy on Big Data Processing System
한국컴퓨터정보학회논문지
2015 .08
-
The status quo and developing measurement of water reuse in China
한국수자원학회 학술발표회
2015 .01
-
SSD 기반 시스템에서 셔플 과정 최적화를 통한 하둡 맵리듀스의 처리속도 향상 기법
대한전자공학회 학술대회
2015 .06
-
An Analytical Approach to Evaluation of SSD Effects under MapReduce Workloads
JOURNAL OF SEMICONDUCTOR TECHNOLOGY AND SCIENCE
2015 .10
-
분산 파일 시스템에서 small 파일 처리 성능 개선 연구
한국정보과학회 학술발표논문집
2016 .06
-
하둡 프레임워크 기반 분산시스템 내의 작은 파일들을 효율적으로 처리하기 위한 방법의 설계
한국전자통신학회 논문지
2015 .01
-
형상 가시화를 위한 경량 파일 포맷 연구
한국CDE학회 논문집
2018 .09
-
MapReduce를 이용한 Hadoop기반의 TPC 오프라인 트래킹 시스템 제안
한국통신학회 학술대회논문집
2015 .01
-
로컬 파일 시스템에 따른 하둡 분산 시스템 성능 분석
한국정보과학회 학술발표논문집
2016 .12
-
A File System for Large-scale NAND Flash Memory Based Storage System
한국컴퓨터정보학회논문지
2017 .09
-
A Benchmark Test of Spatial Big Data Processing Tools and a MapReduce Application
한국측량학회지
2017 .10
-
Probabilistic Analysis of Code-Reuse Attacks and Defenses in IoT
International journal of internet, broadcasting and communication : IJIBC
2017 .01
-
소형 파일 처리 성능 향상을 위한 파일 저장 기법
한국정보과학회 학술발표논문집
2018 .06
-
Hadoop 기반의 대용량 데이터 보안 시스템에 관한 연구
한국컴퓨터정보학회 학술발표논문집
2016 .01
-
하둡 분산 시스템에서의 효율적인 데이터 분할 기법
한국정보과학회 학술발표논문집
2015 .06
이 논문의 저자 정보
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2016-004-001942822