지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.8
- 수록면
- 153 - 161 (9page)
- DOI
- 10.14372/IEMEK.2021.16.4.153
이용수
초록· 키워드
오류제보하기
Real-time access is required to handle continuous and unstructured data and should be flexible in management under dynamic state. Platform can be built to allow data collection, storage, and processing from local-server or multi-server. Although the former centralize method is easy to control, it creates an overload problem because it proceeds all the processing in one unit, and the latter distributed method performs parallel processing, so it is fast to respond and can easily scale system capacity, but the design is complex. This paper provides data collection and processing on one platform to derive significant insights from various data held by an enterprise or agency in the latter manner, which is intuitively available on dashboards and utilizes Spark to improve distributed processing performance. All service utilize dockers to distribute and management. The data used in this study was 100% collected from Kafka, showing that when the file size is 4.4 gigabytes, the data processing speed in spark cluster mode is 2 minute 15 seconds, about 3 minutes 19 seconds faster than the local mode.
목차
등록된 정보가 없습니다.
참고문헌 (14)
참고문헌 신청
손형섭 / 2021 / 디지털 뉴딜 관련 데이터 법제의 입법 방향에 관한 연구 / 헌법학연구 27(1):203~252
김학래 / 2021 / 국가 데이터의 의미적 표현과 연계를 위한 데이터맵 지식 모델 / 디지털콘텐츠학회논문지 22(3):491~499
방정미 / 2021 / 공공데이터 활용 실재화를 위한 데이터기반행정 / 비교법연구 21(1):87~126
천승만 / 2019 / 제조로봇 고장예지진단을 위한 오픈소스기반 스마트 제조 빅데이터 플랫폼 구현 / 대한임베디드공학회논문지 14(4):187~195
P. Hoenisch / 2015 / Four-Fold Auto-Scaling on a Contemporary Deployment Platform Using Docker Containers / Lecture Notes in Computer Science 2015(9435):316~323
김학래 / 2021 / 국가 데이터의 의미적 표현과 연계를 위한 데이터맵 지식 모델 / 디지털콘텐츠학회논문지 22(3):491~499
방정미 / 2021 / 공공데이터 활용 실재화를 위한 데이터기반행정 / 비교법연구 21(1):87~126
천승만 / 2019 / 제조로봇 고장예지진단을 위한 오픈소스기반 스마트 제조 빅데이터 플랫폼 구현 / 대한임베디드공학회논문지 14(4):187~195
P. Hoenisch / 2015 / Four-Fold Auto-Scaling on a Contemporary Deployment Platform Using Docker Containers / Lecture Notes in Computer Science 2015(9435):316~323
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
실시간 빅데이터 처리 플랫폼을 이용한 공공데이터 분석 설계
대한전자공학회 학술대회
2016 .06
-
엣지 디바이스상의 영상 데이터 병렬처리 방법
대한전자공학회 학술대회
2021 .06
-
실시간 빅데이터 처리를 위한 분산형 고속 스트림 처리 기술 설계
대한전자공학회 학술대회
2018 .06
-
모바일 인스턴스 메신저를 이용한 양방향 검색 알고리즘의 설계 및 구현
디지털산업정보학회논문지
2015 .01
-
분산 메모리 기반 Spark 플랫폼의 빅데이터 질의 성능 분석
한국정보과학회 학술발표논문집
2016 .06
-
복합적 자료-알고리즘 자료처리 방식을 적용한자료처리 시스템 설계 방안 연구
한국위성정보통신학회논문지
2015 .01
-
Design Data Processing System for Data Collection and Mobile Service to Build a Smart Farm Environment
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2018 .06
-
In-Storage Processing 연구 동향
한국정보과학회 학술발표논문집
2016 .12
-
Development of Distributed Processing System for Real-time Sensor Data : Injection Molding Process
한국정밀공학회 학술발표대회 논문집
2017 .05
-
A Study on the Importance of Post-Processing for Each Use Situation of Deep Learning
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2022 .01
-
실시간 데이터 처리를 위한 개방형 데이터 프레임워크 적용 방안
한국정보통신학회논문지
2019 .10
-
빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구
한국정보전자통신기술학회 논문지
2019 .04
-
Dynamic Memory Access Control for Accelerating FPGA-based Image Processing
JOURNAL OF SEMICONDUCTOR TECHNOLOGY AND SCIENCE
2021 .02
-
스트림 처리 시스템에서의 이벤트 타임처리의 성능 분석
한국정보과학회 학술발표논문집
2019 .06
-
빅데이터의 효과적인 처리 및 활용을 위한 클라이언트-서버 모델 설계
지능정보연구
2016 .12
-
Docker environment based Apache Storm and Spark Benchmark Test
한국통신학회 APNOMS
2020 .09
-
스파크(Spark) 인메모리 처리를 이용한 스마트 디바이스 빅데이터 실시간 분석
한국정보과학회 학술발표논문집
2015 .06
-
System Gamma: 다능한 분산 데이터 처리 시스템
Proceedings of KIIT Conference
2020 .10
-
데이터 처리를 위한 빅데이터와 머신러닝 플랫폼 조사 및 성능 비교
대한전자공학회 학술대회
2017 .06
-
에너지 빅데이터 구축을 위한 데이터 분산 및 실시간 처리에 관한 연구
한국통신학회 학술대회논문집
2022 .06
이 논문의 저자 정보
최근 본 자료
댓글(0)
0