지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.10
- 수록면
- 1,090 - 1,103 (14page)
- DOI
- 10.5302/J.ICROS.2024.24.0168
이용수
초록· 키워드
오류제보하기
Open-vocabulary scene understanding aims to recognize arbitrary novel categories beyond the base label space. In this study, we propose a novel open-vocabulary 3D semantic segmentation model, OV-3DRENet, to address the limitations of existing models. Unlike existing 3D semantic segmentation models that perform point-level categorization, the proposed model performs region-level categorization using Mask3D as a 3D region mask proposal module to generate multiple class-agnostic point-cloud regions. The proposed model uses OpenScene, a pre-trained open-vocabulary point-cloud segmentation model, as a 3D point encoder to extract language-aligned 3D visual features for each region from the scene point cloud. Furthermore, it adopts OpenSeg, a pre-trained open-vocabulary image segmentation model, as a 2D pixel encoder to extract language-aligned 2D visual features for each region from multiview scene images. Finally, our model applies a novel 2D 3D visual feature ensemble scheme to allocate well-matched open-vocabulary class labels to point-cloud regions. By conducting various quantitative and qualitative experiments using a large benchmark dataset, ScanNet v2, we demonstrate the superiority of the proposed model.
목차
Abstract
I. 서론
II. 관련 연구
III. 개방형 어휘 3차원 의미적 분할 모델
IV. 구현 및 실험
V. 결론
REFERENCES
참고문헌 (26)
참고문헌 신청
C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” Proceedings of Advances in Neural Information Processing Systems (NeurIPS), vol. 30, pp. 5099 5108, 2017.
Y. Wang, Y. Sun, Z. Liu, and S. Sarma, M. M. Bronstein, and J. M. Solomon, “Dynamic graph cnn for learning on point clouds,” Journal of ACM Transactions On Graphics, vol. 38, no. 5, pp. 1-12, 2019.
C. Choy, J. Y. Gwak, and S. Savarese, “4D spatio-temporal convnets: Minkowski convolutional neural networks,” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (CVPR), pp. 3075-3084, 2019.
X. Wu, Y. Lao, L. Jiang, .X. Liu, and H. Zhao, “Point transformer v2: Grouped vector attention and partition-based pooling,” Proceedings of Advances in Neural Information Processing Systems, vol. 35, pp. 33330-33342, 2022.
M. Jaritz, J. Gu, and H. Su, “Multi-view pointnet for 3D scene understanding,” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 3995-4003, 2019.
Y. Wang, Y. Sun, Z. Liu, and S. Sarma, M. M. Bronstein, and J. M. Solomon, “Dynamic graph cnn for learning on point clouds,” Journal of ACM Transactions On Graphics, vol. 38, no. 5, pp. 1-12, 2019.
C. Choy, J. Y. Gwak, and S. Savarese, “4D spatio-temporal convnets: Minkowski convolutional neural networks,” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (CVPR), pp. 3075-3084, 2019.
X. Wu, Y. Lao, L. Jiang, .X. Liu, and H. Zhao, “Point transformer v2: Grouped vector attention and partition-based pooling,” Proceedings of Advances in Neural Information Processing Systems, vol. 35, pp. 33330-33342, 2022.
M. Jaritz, J. Gu, and H. Su, “Multi-view pointnet for 3D scene understanding,” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 3995-4003, 2019.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
실내 환경에서 멀티-뷰 RGB-D 영상들을 활용하는 3차원 의미적 장면 분할
제어로봇시스템학회 논문지
2023 .03
-
시각-언어 사전 학습 모델 기반 개방 어휘 세분화 최신 연구 동향
대한전자공학회 학술대회
2024 .06
-
Temporal Difference-based Weighted Instance Segmentation Applied on Consecutive Images for Food Recognition
제어로봇시스템학회 논문지
2023 .12
-
슈퍼픽셀 통합 특징 매칭을 통한 향상된 관심 영역 탐지
멀티미디어학회논문지
2024 .11
-
Mask R-CNN과 Semantic Soft Segmentation을 이용한 객체 분할
한국통신학회 학술대회논문집
2020 .02
-
Urban Scene Editing with Diffusion Model using Segmentation Mask
제어로봇시스템학회 국제학술대회 논문집
2023 .10
-
2D 시맨틱 분할 프로젝션을 이용한 3D 실내 공간 시맨틱 분할
제어로봇시스템학회 논문지
2020 .11
-
Real-time Semantic Segmentation and Grid-space Optimization for Sparse Point Cloud
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
시각-언어 내비게이션을 위한 개방 어휘 기반의 의미론적 맵핑
대한기계학회 춘추학술대회
2024 .11
-
뷰-가이드 기반 부분 포인트 클라우드 파트 분할
제어로봇시스템학회 각 지부별 자료집
2021 .12
-
Deep learning approach to generate 3D civil infrastructure models using drone images
Smart Structures and Systems, An International Journal
2022 .11
-
폐 결절 분할을 위한 맞춤형 Segmentation Anything Model
한국정보과학회 학술발표논문집
2024 .06
-
Semantic Segmentation Using Trade-Off and Internal Ensemble
INTERNATIONAL JOURNAL of FUZZY LOGIC and INTELLIGENT SYSTEMS
2018 .09
-
3차원 포인트 클라우드 의미분류 및 세분화를 위한 포인트 기반의 특징 이미지 생성
대한기계학회 춘추학술대회
2022 .05
-
Autoencoder-Based binary mask segmentation for Masked Faces
한국통신학회 학술대회논문집
2023 .06
-
Multi-Level Segmentation of Infrared Images with Region of Interest Extraction
INTERNATIONAL JOURNAL of FUZZY LOGIC and INTELLIGENT SYSTEMS
2016 .12
-
비용집계를 통한 개방형 어휘 의미 분할
대한전자공학회 학술대회
2023 .06
-
다중 경로 특징점 융합 기반의 의미론적 영상 분할 기법
멀티미디어학회논문지
2021 .01
-
Adaptive Image Segmentation Based on Histogram Transition Zone Analysis
INTERNATIONAL JOURNAL of FUZZY LOGIC and INTELLIGENT SYSTEMS
2016 .12
-
Mask R-CNN을 이용한 물체인식 및 개체분할의 학습 데이터셋 자동 생성
로봇학회 논문지
2019 .03
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0