지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제30권 제1호
- 발행연도
- 2024.1
- 수록면
- 25 - 30 (6page)
- DOI
- 10.5626/KTCP.2024.30.1.25
이용수
초록· 키워드
오류제보하기
많은 양의 데이터를 처리하는 상태 저장 스트리밍 쿼리에 대해 높은 수준의 처리 속도가 요구됨에 따라, 대량의 상태를 유지하는 LSM(Log Structured Merge) 기반의 내장형 PKVS(Persistent Key-Value Store)가 등장하였다. 상태 관리를 위한 LSM 연산은 스트리밍 응용의 성능을 향상시키지만, 동기적으로 수행되는 커밋(Commit) 작업으로 인해 성능이 떨어지는 것을 관찰하였다. 이를 해결하기 위해 본 논문에서는 비동기 커밋 작업 메커니즘을 제안한다. 비동기 커밋 메커니즘은 기존 동기적으로 수행되던 커밋 작업을 백그라운드에서 비동기적으로 수행하여 응용의 성능을 향상시킨다. 우리는 Apache Spark 프레임워크에 우리의 메커니즘을 적용하여 기존의 Spark와 성능을 비교하였다. 실험 결과 제안하는 메커니즘은 기존 Spark보다 99th에서의 꼬리 지연시간이 최대 69.14%까지 감소하였고, 평균 처리량은 최대 132.44%까지 증가하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 배경
4. 연구 동기
5. 설계 및 구현
6. 평가 및 실험 결과
7. 결론 및 향후 연구
References
참고문헌 (8)
참고문헌 신청
P. Carbone, S. Ewen, G. Fóra, S. Haridi, S. Richter, and K. Tzoumas, “State management in apache flink®: Consistent stateful distributed stream processing,” Proc. VLDB Endow., vol. 10, pp. 1718-1729, Aug., 2017.
M. Armbrust, T. Das, J. Torres, B. Yavuz, S. Zhu, R. Xin, A. Ghodsi, I. Stoica, and M. Zaharia, “Structured streaming: A declarative api for realtime applications in apache spark,” in Proceedings of the 2018 International Conference on Management of Data, pp. 601-613, 2018.
K. M. M. Thein, “Apache kafka: Next generation distributed messaging system,” International J ournal of Scientific Engineering and Technology Research, vol. 3, no. 47, pp. 9478-9483, 2014.
Shadi A Noghabi, Kartik Paramasivam, Yi Pan, Navina Ramesh, Jon Bringhurst, Indranil Gupta, and Roy H Campbell. 2017. Samza: Stateful scalable stream processing at LinkedIn. VLDB 10, 12 (2017), 1634-1645.
B. Del Monte, S. Zeuch, T. Rabl, and V. Markl, “Rhino: Efficient management of very large distributed state for stream processing engines,” in Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data, SIGMOD ’20, (New York, NY, USA), pp. 2471-2486, Association for Computing Machinery, 2020.
M. Armbrust, T. Das, J. Torres, B. Yavuz, S. Zhu, R. Xin, A. Ghodsi, I. Stoica, and M. Zaharia, “Structured streaming: A declarative api for realtime applications in apache spark,” in Proceedings of the 2018 International Conference on Management of Data, pp. 601-613, 2018.
K. M. M. Thein, “Apache kafka: Next generation distributed messaging system,” International J ournal of Scientific Engineering and Technology Research, vol. 3, no. 47, pp. 9478-9483, 2014.
Shadi A Noghabi, Kartik Paramasivam, Yi Pan, Navina Ramesh, Jon Bringhurst, Indranil Gupta, and Roy H Campbell. 2017. Samza: Stateful scalable stream processing at LinkedIn. VLDB 10, 12 (2017), 1634-1645.
B. Del Monte, S. Zeuch, T. Rabl, and V. Markl, “Rhino: Efficient management of very large distributed state for stream processing engines,” in Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data, SIGMOD ’20, (New York, NY, USA), pp. 2471-2486, Association for Computing Machinery, 2020.
이 논문의 저자 정보
이 논문과 함께 이용한 논문
LSM-tree 기반 KVS의 I/O Amplification 상충관계 탐색
Cha
,
les Ja
,
anilla
외 3명
한국정보과학회 학술발표논문집
2024
.06
Performance Improvement of LSM-tree Using Partial Flushing of MemTable
전형준
,
구헤라
,
문성호
외 1명
Journal of KIISE
2023
.01
LSM Tree Compaction Offloading Using NVMe-oF
문성호
,
구헤라
,
전형준
외 1명
Journal of KIISE
2022
.07
방송 뉴스가 재현하는 성범죄 피해 여성 이미지에 대한 키프레임 분석 : 가상물, 자료화면을 통한 피해자다움의 재생산과 익명-실명 보도의 차이를 중심으로
백지연
,
윤호영
한국언론학보
2021
.04
최근 본 자료
댓글(0)
0