| 1 |
1
자세 예측 및 충돌 위험도 추정 시스템에 의해 수행되는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법에 있어서,일정시간 동안 수집된 영상 정보의 각각으로부터 보행자를 검출하는 단계;상기 검출된 보행자를 포함하는 영상 정보를 이용하여 매 프레임에 대해 보행자의 스켈레톤 사이의 연결 관계에 따라 일정시간 동안의 보행자의 자세 정보를 추정하는 단계; 상기 추정된 일정시간 동안의 보행자의 자세 정보의 시계열 분석을 통해 보행자의 미래 자세 데이터와 미래 위치 데이터를 예측하는 단계; 및 차량의 주행 속도 및 방향을 기반으로 상기 예측된 보행자의 미래 자세 데이터와 미래 위치 데이터에 이용하여 충돌 가능성을 판단하는 단계를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 2 |
2
제1항에 있어서,상기 보행자의 자세 정보를 추정하는 단계는,상기 검출된 보행자를 포함하는 영상 정보를 통해 보행자 신경망 기반의 스켈레톤 위치 추정 기법을 이용하여 보행자 신체의 스켈레톤 정보를 추출하는 단계를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 3 |
3
제2항에 있어서,상기 보행자의 자세 정보를 추정하는 단계는,상기 추출된 보행자 신체의 스켈레톤 정보에 기초하여 매 프레임에 대해 스켈레톤 위치를 점으로 나타내고, 상기 점으로 나타낸 스켈레톤 위치 사이를 연결하여 보행자의 자세 정보를 표현하는 단계 를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 4 |
4
제1항에 있어서,상기 보행자의 미래 자세 데이터와 미래 위치 데이터를 예측하는 단계는, 상기 보행자의 자세 정보를 추정하기 위해 추출된 보행자의 스켈레톤 정보와 상기 수집된 영상 정보를 보행자 자세 및 위치 예측을 위한 신경망 구조에 입력하고, 상기 보행자 자세 및 위치 예측을 위한 신경망 구조를 이용한 시계열 분석을 통해 상기 보행자의 미래 자세 데이터와 미래 위치 데이터를 예측하는 단계 를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 5 |
5
제4항에 있어서,상기 신경망 구조는, 인코더와 디코더로 구성되고, 상기 보행자의 미래 자세 데이터와 미래 위치 데이터를 예측하는 단계는, 상기 인코더를 통해 상기 추출된 보행자의 스켈레톤 정보의 현재까지의 시간적 움직임 정보와 상기 수집된 영상 정보에 포함된 주변의 환경 문맥 정보들을 분석하여 시간적 상관관계에 대한 특징값을 추출하는 단계를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 6 |
6
제5항에 있어서,상기 보행자의 미래 자세 데이터와 미래 위치 데이터를 예측하는 단계는, 상기 디코더를 통해 상기 추출된 특징값을 이용하여 미래 시간의 보행자의 미래 자세값과 위치값을 추정하는 단계 를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 7 |
7
제5항에 있어서, 상기 보행자의 미래 자세 데이터와 미래 위치 데이터를 예측하는 단계는, 상기 추출된 보행자의 스켈레톤 정보가 그래프 구조로 정리되고, 상기 그래프 구조로 정리된 스켈레톤 정보에 대하여 그래프 구조를 처리하는 딥러닝 구조를 이용하여 스켈레톤 정보 특징값을 추출하고, 상기 수집된 영상 정보를 이미지 정보를 처리하는 딥러닝 구조를 통해 영상 정보 특징값을 추출하는 단계를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 8 |
8
제5항에 있어서,상기 보행자의 미래 자세 데이터와 미래 위치 데이터를 예측하는 단계는, 상기 수집된 영상 정보에 기초하여 보행자의 위치 박스 및 스켈레톤 이미지 마스크를 생성하고, 상기 생성된 보행자의 위치 박스 및 스켈레톤 이미지 마스크를 이미지 정보를 처리하는 딥러닝 구조에 제공하고, 상기 이미지 정보를 처리하는 딥러닝 구조에서 상기 수집된 영상 정보에서 보행자에 해당되는 영역을 마스크에 기초하여 학습하고, 상기 주변의 환경 문맥 정보들을 상기 수집된 영상 정보에 기초하여 학습하는 단계를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 9 |
9
제1항에 있어서,상기 충돌 가능성을 판단하는 단계는,차량의 주행 계획에 기초하여 차량이 미래에 점유하게 될 미래 점유 공간을 산출하는 단계를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 10 |
10
제9항에 있어서,상기 충돌 가능성을 판단하는 단계는,상기 예측된 보행자의 미래 자세 데이터 및 미래 위치 데이터를 통해 상기 산출된 미래 점유 공간과 중첩되는지 여부를 확인하는 단계 를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 11 |
11
제1항에 있어서,상기 충돌 가능성을 판단하는 단계는,상기 예측된 보행자의 미래 자세 데이터와 미래 위치 데이터에 기초하여 각 위치에 대한 충돌 위험도를 계산하고, 상기 계산된 충돌 위험도를 순위화하는 단계 를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 12 |
12
제1항에 있어서,상기 충돌 가능성을 판단하는 단계는,상기 계산된 충돌 위험도가 임계값 이상으로 증가할 경우, 제동과 관련된 충돌방지를 위한 제어 명령을 통해 상기 차량을 제어하는 단계를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 13 |
13
제1항에 있어서,상기 보행자를 검출하는 단계는, 차량에 장착된 카메라를 이용하여 일정시간 수집된 비디오 영상 정보 각각에 대해 보행자 검출 신경망을 이용하여 보행자를 검출하는 단계를 포함하는 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법
|
| 14 |
14
제1항 내지 제13항 중 어느 한 항의 딥러닝 기술을 기반으로 예측된 보행자의 자세 정보를 활용하여 충돌 위험도를 추정하는 방법을 상기 자세 예측 및 충돌 위험도 추정 시스템에 실행시키기 위해 비-일시적인 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램
|
| 15 |
15
자세 예측 및 충돌 위험도 추정 시스템에 있어서,일정시간 동안 수집된 영상 정보의 각각으로부터 보행자를 검출하는 보행자 검출부;상기 검출된 보행자를 포함하는 영상 정보를 이용하여 매 프레임에 대해 보행자의 스켈레톤 사이의 연결 관계에 따라 일정시간 동안의 보행자의 자세 정보를 추정하는 자세 추정부; 상기 추정된 일정시간 동안의 보행자의 자세 정보의 시계열 분석을 통해 보행자의 미래 자세 데이터와 미래 위치 데이터를 예측하는 미래 자세 및 위치 예측부; 및 차량의 주행 속도 및 방향을 기반으로 상기 예측된 보행자의 미래 자세 데이터와 미래 위치 데이터에 이용하여 충돌 가능성을 판단하는 충돌 판단부를 포함하는 자세 예측 및 충돌 위험도 추정 시스템
|
