지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 임종우
- 발행연도
- 2022
- 저작권
- 한양대학교 논문은 저작권에 의해 보호받습니다.
이용수18
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
다중 객체 추적 그리고 세그멘테이션(Multi-Object Tracking and Segmentation, MOTS)은 영상 내에 등장한 관심있는 객체들의 마스크 정보를 뽑아내는 동시, 연속된 프레임(Frame)에서 동일한 객체들을 추적하는 것을 목표로 한다. 다중 객체 추적 그리고 세그멘테이션(MOTS)은 자율주행 및 CCTV 시스템에 주로 사용이 될 수 있는데, 이를 위해선 추적 시스템은 실시간(Real-Time) 및 온라인(Online)으로 추적이 가능해야 한다.
하지만, 최근 MOTS의 추적 성능을 높이는 연구는 활발히 이루어졌지만, 온라인 및 실시간 성능을 고려하지 않은 연구가 주를 이루었다. 본 논문은 가벼운 백본(Backbone)을 가진 딥러닝 기반 모델을 사용하여 실시간으로 동작하며, 온라인 추적이 가능한 다중 객체 추적 및 세그멘테이션 시스템을 제안하였으며, KITTI MOTS 벤치마크 중 실시간으로 추적가능한 유일한 모델임을 보인다.
또한, 기존 SOTA(State-of-The-Art) 다중 객체 추적 시스템(Multi-Object Tracking) 모델들은 객체의 외관 특징을 표현해주는 re-identification feature를 추출하여 객체간 유사도를 측정하는데, 이러한 re-identification feature를 추출할 때 입력 정보로 객체의 바운딩 박스(Bounding Box)정보를 주게 된다. 하지만, 바운딩 박스에는 배경 정보(Background)가 함께 포함되어 객체의 외관적인 특징(Appearance Feature)을 온전히 표현하는데 어려움이 존재하기 때문에, 정확한 매칭하는데 어려움이 존재한다. 이러한 모호한 매칭을 해결하기 위해, 우리는 re-identification feature를 추출할 때 입력으로 객체 바운딩 박스에 해당하는 feature를 입력으로 주지 않고, 객체 마스크(Mask)에 해당하는 feature를 입력으로 넣어 준다. 이렇게 객체의 마스크 정보로 re-identification feature를 뽑게되면 객체간 유사도를 매칭할 때 배경 정보를 제외한 뒤, 객체에 해당하는 정보 값으로 매칭이 가능해진다.
디텍션(Detection),세그멘테이션(Segmentation),재인식(Re-Identification) 3개의 각 작업은 서로 다른 Loss 스케일(Scale)을 가진다. 우리는 이 작업들간의 Loss값이 불균형하다는 것을 인지한 뒤, 동시에 3개의 작업간의 Loss를 자동으로 밸런스를 맞춰줄 수 있는 Uncertainty Loss를 제안하였다.
마스크 기반 re-identification 실험 결과, 기존 바운딩 박스 기반 re-identification 모델 보다 높은 association accuracy성능을 보이며, KITTI MOTS 벤치마크 중 온라인 작동이 가능한 모델 중에선 2위를 차지하였다. 우리의 실험은 다중 객체 추적 시스템에서 re-identification 매칭에 있어 배경 정보가 모호한 매칭을 유발시킨다는 점을 보여줌과 동시에, 모호한 매칭을 막기 위해 객체 마스크 정보가 중요하다는 사실을 보여준다.
하지만, 최근 MOTS의 추적 성능을 높이는 연구는 활발히 이루어졌지만, 온라인 및 실시간 성능을 고려하지 않은 연구가 주를 이루었다. 본 논문은 가벼운 백본(Backbone)을 가진 딥러닝 기반 모델을 사용하여 실시간으로 동작하며, 온라인 추적이 가능한 다중 객체 추적 및 세그멘테이션 시스템을 제안하였으며, KITTI MOTS 벤치마크 중 실시간으로 추적가능한 유일한 모델임을 보인다.
또한, 기존 SOTA(State-of-The-Art) 다중 객체 추적 시스템(Multi-Object Tracking) 모델들은 객체의 외관 특징을 표현해주는 re-identification feature를 추출하여 객체간 유사도를 측정하는데, 이러한 re-identification feature를 추출할 때 입력 정보로 객체의 바운딩 박스(Bounding Box)정보를 주게 된다. 하지만, 바운딩 박스에는 배경 정보(Background)가 함께 포함되어 객체의 외관적인 특징(Appearance Feature)을 온전히 표현하는데 어려움이 존재하기 때문에, 정확한 매칭하는데 어려움이 존재한다. 이러한 모호한 매칭을 해결하기 위해, 우리는 re-identification feature를 추출할 때 입력으로 객체 바운딩 박스에 해당하는 feature를 입력으로 주지 않고, 객체 마스크(Mask)에 해당하는 feature를 입력으로 넣어 준다. 이렇게 객체의 마스크 정보로 re-identification feature를 뽑게되면 객체간 유사도를 매칭할 때 배경 정보를 제외한 뒤, 객체에 해당하는 정보 값으로 매칭이 가능해진다.
디텍션(Detection),세그멘테이션(Segmentation),재인식(Re-Identification) 3개의 각 작업은 서로 다른 Loss 스케일(Scale)을 가진다. 우리는 이 작업들간의 Loss값이 불균형하다는 것을 인지한 뒤, 동시에 3개의 작업간의 Loss를 자동으로 밸런스를 맞춰줄 수 있는 Uncertainty Loss를 제안하였다.
마스크 기반 re-identification 실험 결과, 기존 바운딩 박스 기반 re-identification 모델 보다 높은 association accuracy성능을 보이며, KITTI MOTS 벤치마크 중 온라인 작동이 가능한 모델 중에선 2위를 차지하였다. 우리의 실험은 다중 객체 추적 시스템에서 re-identification 매칭에 있어 배경 정보가 모호한 매칭을 유발시킨다는 점을 보여줌과 동시에, 모호한 매칭을 막기 위해 객체 마스크 정보가 중요하다는 사실을 보여준다.
목차
제 1장. 서론 1제 2장. 관련 연구 42.1. Tracking-by-Detection 42.2. Tracking-by-Segmentation 52.3. MOTS 데이터 셋 7제 3장. Mask-Guided MOTS 83.1. 전반적인 네트워크 구조 83.2. 학습 과정 133.3. Online Inference 16제 4장. 실험 결과 184.1. 구현 세부 정보(Implementation Details) 184.2. 데이터 셋, 평가 지표(evaluation metric) 184.3. Ablation Studies 194.4. 평가 결과 234.5. 정성적 결과(Qualitative Result) 24제 5장. 결론 26참고자료 28Abstract 31
최근 본 자료
댓글(0)
0