Deep Reinforcement Learning Techniques for Control, Obstacle Avoidance and Autonomous Navigation of a Flying Robot :

Oualid Doukhi

추천

검색

자료유형: 학위논문

저자정보: Oualid Doukhi (군산대학교, 군산대학교 대학원)

발행연도: 2020

저작권: 군산대학교 논문은 저작권에 의해 보호받습니다.

이용수3

이 논문의 연구 히스토리 (3)

2023

[세션초청논문] Learning-Based Autonomous Navigation of Aerial Robots Using Deep Reinforcement Learning and NMPC

Oualid Doukhi , Daeuk Kang , Deok Jin Lee 대한기계학회 춘추학술대회 2023.11 학술대회자료

Learning-Based NMPC for Agile Navigation and Obstacle Avoidance in Unstructured Environments

Oualid Doukhi , Daeuk Kang , Yoonha Ryu 외 2명 제어로봇시스템학회 국제학술대회 논문집 2023.10 학술대회자료

2020

Deep Reinforcement Learning Techniques for Control, Obstacle Avoidance and Autonomous Navigation of a Flying Robot

Oualid Doukhi 기계공학과 2020.01 학위논문

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

비행 로봇은 항공 운송, 정밀 농업, 위험한 지역 내부 검사 및 구조와 같은 많은 작업에 사용될 것으로 예상됩니다. 그러나 구조화되지 않은 동적 환경에서의 배치는 제한적입니다. 항공 로봇 공학은 자율적이고 안전하게 탐색해야하는 다양한 과제에 직면 해 있습니다. 이 연구는 DRL (Deep Reinforcement Learning) 기반 접근 방식을 탐구하여 마이크로 항공 차량 쿼드로터 시스템을 가능하게하는 새로운 기술을 제안합니다. 2D 레이저 거리계와 RGB-D 카메라 센서가 장착되어있어 동적으로 알려지지 않은 실내 또는 실외 환경을 자율적으로 탐색하고 탐색 할 수 있습니다.

첫 번째 결과에서 퍼지 로직을 기반으로하는 쿼드 로터 시스템을위한 강력한 자체 튜닝 PID 컨트롤러를 설계하여 특정 유형의 기존 제어 방법에 비해 몇 가지 장점을 제공합니다.

두 번째 결과에서, 우리는 Quadrotor 를 위한 새로운 강력한 적응 신경망 확실성 등의 제어기를 소개했습니다. 새로 제안 된 컨트롤러는 외부 교란, 관성, 질량 및 비선형 공기 역학적 힘 및 모멘트와 관련된 차량의 운동 학적 및 모델링 오류 불확실성을 고려합니다.

적절한 저수준 비행 제어 시스템을 설계 한 후 로컬 스마트 플래너로 사용될 모션 제어에 Deep-Q-Network (DQN)를 사용하여 모듈 식 DRL (Deep Reinforcement Learning) 아키텍처를 구축했습니다. 개발된 알고리즘은 항공기에 탑재 된 여러 센서의 정보를 통합하여 3D 시뮬레이터에서 완전히 훈련하면서 실제 세계에서 충돌없는 비행을 수행 할 수 있습니다. 기존의 지도 기반 내비게이션과 달리, 이 방법은 융합된 감각 데이터를 End-to-End 컨볼루션 신경망(CNN)을 통해 로봇을 위한 연속적인 속도 제어 입력으로 변환합니다. 우리는 아키텍처가 충돌이 없는 방법을 제공하여 보이지 않는 새로운 실제 환경으로 일반화 할 수 있음을 보여줍니다. 모든 알고리즘은 실험실에 완전히 내장된 항공 로봇의 Jetson TX2 내장 그래픽 처리 장치를 통해 실시간으로 실행됩니다. 우리는 하드웨어 및 소프트웨어 구성에 대한 세부 정보를 제공합니다. 이 방법은 미세 조정없이 실제 로봇에 성공적으로 전송되었습니다. 최대 1m / s 의 속도로 매우 역동적인 실외 및 실내 환경에서 안전하게 비행하는 시스템의 효과를 보여주기 위해 몇 가지 집중적인 실험이 수행되었습니다.

Flying robots are expected to be used in many tasks, like aerial delivery, precise agriculture, inspection inside dangerous areas, and rescue. However, their deployment in unstructured and highly dynamic environments has been limited. Aerial robotics faces various challenges to navigate autonomously and safely. This work explores a deep reinforcement learning (DRL) based approach in which we propose a novel technique for enabling a micro aerial vehicle quadrotor system equipped with a 2D laser rangefinder and RGB-D camera sensor to autonomously navigate and explore a dynamic unknown indoor or outdoor environment.

In our first contribution, we designed a robust Self-Tuning PID controller for a quadrotor system based on fuzzy logic, which offers several advantages over certain types of conventional control methods.

In our second contribution, we introduced a novel robust adaptive neural network certainty equivalent controller for a quadrotor. The newly proposed controller considers the vehicle''s kinematic and modeling error uncertainties which are associated with external disturbances, inertia, mass, and nonlinear aerodynamic forces and moments. After designing a suitable low-level flight control system, we built a modular Deep Reinforcement Learning (DRL) architecture based on using Deep-QNetwork (DQN) for motion control which will serve as a local smart planner. The developed algorithms can fuse information from multiple sensors mounted onboard the aerial vehicle to perform collision-free flight in the real world while being trained completely on a 3D simulator. In contrast to conventional mapbased navigation, our method does not require any prior expert demonstration or 3D mapping and path planning, and it transforms the fused sensory data to a discreet or continuous velocity control input for the robot through an end-to-end convolutional neural network (CNN). We show that our architecture provides a collision-free policy that can be generalized to any new unseen real-world environment. All algorithms run in real-time via a Jetson TX2 embedded graphical processing unit onboard the aerial robot, which was entirely built in our laboratory. We provide details on the hardware and software configurations. The obtained policy was successfully transferred to the real robot without any fine-tuning. Several intensive experiments were conducted to show the effectiveness of our system in flying safely in highly dynamic outdoor and indoor environments with speeds up to 1 m/s.

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (3)

초록· 키워드

목차

최근 본 자료

댓글(0)