지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2020.1
- 수록면
- 671 - 681 (11page)
이용수
초록· 키워드
오류제보하기
최근 사물인터넷 환경에서 센서가 위치 정보와 연계하여 생성하는 실시간 데이터가 급속하게 증가함에 따라 빅데이터 플랫폼을 활용한 다양한 서비스에 관한 연구들이 수행되고 있다. 이러한 빅데이터 플랫폼에서는 다중 사용자 요구에 대해 끊임없이 유입되는 센서 빅데이터를 효과적으로 분석하기 위해 데이터 집계 연산을 포함한 연속질의 처리에 관한 연구가 제시되어왔다. 그러나 기존의 자원공유 기반의 집계연산은 시간기반 질의와 튜플기반 질의의 동시 수행의 문제와 집계 정보의 중복 유지로 인한 메모리 사용량 증가 및 질의처리 성능 저하가 발생하고 있다. 이에 본 논문에서는 인-메모리 기반 분산 처리 프레임워크인 스파크를 기반으로 연속집계 질의처리를 효과적으로 지원하기 위한 자원 공유기법을 제안한다. 제안 기법은 질의처리 범위에 대해 집계정보 기반의 선형 자원공유를 통해 집계 정보 처리 비용의 증가를 최소화하고, 집계정보의 중복 생성을 방지함으로써 연속집계 질의처리에 요구되는 메모리 자원 사용량을 최소화하고 질의처리 성능도 향상시킨다. 또한, 제안 기법은 빅데이터에 대한 연속집계 질의처리의 실시간성을 보장하기 위해 스파크 프레임워크를 기반으로 구현한다. 마지막으로 성능 평가를 통하여 제안 자원 공유기법이 연속집계 질의처리에 효과적으로 활용될 수 있음을 보인다.
목차
등록된 정보가 없습니다.
참고문헌 (16)
참고문헌 신청
M. Beyer / 2011 / Gartner says solving 'Big Data'challenge involves more than just managing volumes of data / Gartner
J. Dean / 2004 / MapReduce:Simplified data processing on large clusters / Proceedings of the 6th Symposium on Operating Systems Design and Implementation :137~150
정원일 / 2018 / 맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 / 한국산학기술학회논문지 19(8):535~544
A. M. Aly / 2012 / M3: stream processing on main-memory MapReduce / Data Engineering (ICDE), IEEE 28th International Conference :1253~1256
D. Jeong / 2013 / A study on MapReduce processing for multi-dimensional continuous query / Lecture notes in computer science 7827:74~78
J. Dean / 2004 / MapReduce:Simplified data processing on large clusters / Proceedings of the 6th Symposium on Operating Systems Design and Implementation :137~150
정원일 / 2018 / 맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 / 한국산학기술학회논문지 19(8):535~544
A. M. Aly / 2012 / M3: stream processing on main-memory MapReduce / Data Engineering (ICDE), IEEE 28th International Conference :1253~1256
D. Jeong / 2013 / A study on MapReduce processing for multi-dimensional continuous query / Lecture notes in computer science 7827:74~78
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
모바일 P2P 네트워크에서 효율적인 스카이라인 질의 처리 기법
한국콘텐츠학회논문지
2015 .07
-
Distributed SPARQL Query Processing Scheme Considering Query Execution Paths
한국콘텐츠학회 ICCC 논문집
2016 .12
-
Distance-based High-dimensional Index Structure for Efficient Query Processing in Spark Environments
한국콘텐츠학회 ICCC 논문집
2020 .11
-
대용량 비디오 스트림에 대한 연속 질의 처리 방법
한국콘텐츠학회 종합학술대회 논문집
2023 .05
-
거리 기반 색인에서 데이터 분포 및 질의 처리 비용을 이용한 k-최근접 질의 최적화 기법
한국콘텐츠학회 종합학술대회 논문집
2019 .05
-
효과적인 근사 k-최근접 분산 처리를 위한 질의 할당 기법
한국콘텐츠학회 종합학술대회 논문집
2018 .05
-
Event Detection Method for Moving Object Data Stream using Continuous Query Processing based on Grid Index
한국콘텐츠학회 ICCC 논문집
2017 .12
-
대용량 위치 데이터에서 효율적인 k-최근접 질의 처리 기법
한국콘텐츠학회논문지
2017 .08
-
빅데이터 환경에서 스트림 질의 처리를 위한 인메모리 기반 점진적 처리 기법
한국콘텐츠학회논문지
2016 .02
-
Graph Management Scheme Supporting Historical Query Processing in Dynamic Environments
한국콘텐츠학회 ICCC 논문집
2019 .12
-
DNN 모델을 이용한 기계 학습 기반 k-최근접 질의 처리 최적화 기법
한국콘텐츠학회논문지
2020 .10
-
k-Nearest Neighbor Query Processing Method for Large Stream Data
한국콘텐츠학회 ICCC 논문집
2016 .12
-
스파크 상에서의 대용량 시공간 데이터 조인 질의 처리 개발
차세대융합기술학회논문지
2021 .08
-
분산 컴퓨팅 환경에서 효율적인 유사 조인 질의 처리를 위한 행렬 기반 필터링 및 부하 분산 알고리즘
한국콘텐츠학회논문지
2016 .07
-
An Efficient Incremental Query Processing Method in Dynamic Graph Environments
한국콘텐츠학회 ICCC 논문집
2020 .11
-
Event Detection Method using Continuous Query Techniques based on Distributed and Parallel Computing Environment
한국콘텐츠학회 ICCC 논문집
2019 .12
-
Framework for Developing Machine Learning Models for Non-Experts based on User Queries
한국콘텐츠학회 ICCC 논문집
2023 .12
-
Optimized Data Processing Analysis Using Big Data Cloud Platform
한국지식정보기술학회 논문지
2021 .01
-
빅데이터 기반 음성언어 처리 기술에 관한 연구
한국지식정보기술학회 논문지
2019 .01
-
영상정보 시스템을 위한 다차원 저장구조의 설계기법
정보기술아키텍처 연구
2016 .12
이 논문의 저자 정보
최근 본 자료
댓글(0)
0