| 1 |
1
야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)으로서,도로의 이미지를 캡처하는 카메라 모듈(100);상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(fuzzy membership function)를 생성하는 제1 퍼지 소속 함수 생성 모듈(200);상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터, 상기 보행자의 측방향 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성 모듈(300);상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성 모듈(400);상기 제1 퍼지 소속 함수 생성 모듈(200), 상기 제2 퍼지 소속 함수 생성 모듈(300), 및 상기 제 3 퍼지 소속 함수 생성 모듈(400)로부터 생성된 제1 내지 제3 퍼지 소속 함수를 이용하여 각각의 소속 값(membership value)을 생성하는 소속 값 생성 모듈(500); 및상기 소속 값 생성 모듈(500)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 보행자 의도 예측 모듈(600)을 포함하되,상기 제1 퍼지 소속 함수 생성 모듈(200)은,상기 카메라 모듈(100)을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 IPM부(210);상기 IPM부(210)에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 차선 탐지부(220);상기 차선 탐지부(220)에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 거리 계산부(230); 및상기 거리 계산부(230)에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 제1 퍼지 소속 함수 생성부(240)를 포함하고,상기 제2 퍼지 소속 함수 생성 모듈(300)은,상기 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 보행자 모션 분리부(310);상기 모션 분리부(310)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 보행자 속도 보정부(320);상기 속도 보정부의 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 보행자 속도 계산부(330); 및상기 보행자 속도 계산부(330)로부터 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성부(340)를 포함하고,상기 제3 퍼지 소속 함수 생성 모듈(400)은,상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 보행자 머리 감지부(410);상기 보행자 머리 감지부(410)로부터 감지된 머리 감지 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 보행자 머리 방향 판단부(420); 및상기 보행자 머리 방향 판단부(420)에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률 값으로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성부(430)를 포함하고,상기 소속 값 생성 모듈(500)은,상기 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서, 상기 보행자 의도 예측 모듈(600)은,상기 소속 값 생성 모듈(500)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 4 |
4
삭제
|
| 5 |
5
제1항에 있어서, 상기 제1 퍼지 소속 함수 생성부(240)는,상기 IPM 이미지를 정규화하고, 상기 정규화된 IPM 이미지를 왼쪽 보도, 도로 및 오른쪽 보도로 분할하여 표준 정규 가우시안 분포(standard normal Gaussian distribution)를 얻고, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제1 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 6 |
6
제5항에 있어서, 상기 제1 퍼지 소속 함수는,상기 Standing-SideWalk(S-SW) 및 Walking-SideWalk(W-SW)의 상태에 대한 확률이 상기 보행자가 상기 도로의 연석에서 가까워질수록 감소하고, 멀어질수록 증가하며,상기 Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 상태에 대한 확률이 상기 보행자가 상기 도로의 중심에서 가까워질수록 증가하고, 멀어질수록 감소하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 7 |
7
삭제
|
| 8 |
8
제1항에 있어서, 상기 제2 퍼지 소속 함수 생성부(340)는,Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제2 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 9 |
9
삭제
|
| 10 |
10
제1항에 있어서, 상기 보행자 머리 감지부(410)는,상기 보행자의 머리를 감지하기 위해 OCS-LBP(Oriented Centre Symmetric-Local Binary Patterns) 기능이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 11 |
11
제10항에 있어서, 상기 보행자 머리 방향 판단부(420)는,상기 보행자 머리 감지부(410)로부터 감지된 보행자의 머리 영역으로부터 추출된 HOG(Histogram of Oriented Gradient) 특징들이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 12 |
12
제11항에 있어서, 상기 제3 퍼지 소속 함수 생성부(430)는,Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제3 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 13 |
13
제3항에 있어서, 상기 보행자 의도 예측 모듈(600)은,상기 소속 값 생성 모듈(500)에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 결합 소속 값 생성부(610); 및상기 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 예측부(620)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 14 |
14
제1항에 있어서, 상기 카메라 모듈(100)은,열영상 카메라를 사용하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)
|
| 15 |
15
야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법으로서,(1) 카메라 모듈(100)이 도로의 이미지를 캡처하는 단계(S100);(2) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(membership function)를 생성하는 단계(S200);(3) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 단계(S300);(4) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 단계(S400);(5) 상기 단계 (2) 내지 (4)에서 각각 생성된 퍼지 소속 함수를 이용하여, 각각의 소속 값을 생성하는 소속 값 생성 단계(S500); 및(6) 상기 (5) 단계에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 단계(S600)를 포함하되,상기 단계 (2)에서는,(2-1) 상기 카메라 모듈(100)을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 단계(S210);(2-2) 상기 단계 (2-1)에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 단계(S220);(2-3) 상기 단계 (2-2)에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 단계(S230); 및(2-4) 상기 단계 (2-3)에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 단계(S240)를 포함하고,상기 단계 (3)에서는,(3-1) 상기 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 단계(S310);(3-2) 상기 단계 (3-1)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 단계(S320); 및(3-3) 상기 단계 (3-2)에서 계산된 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 단계(S330); 및(3-4) 상기 단계 (3-3)에서 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 단계(S340)를 포함하고,상기 단계 (4)에서는,(4-1) 상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 단계(S410);(4-2) 상기 단계 (4-1)로부터 감지된 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 단계(S420); 및(4-3) 상기 단계 (4-2)에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 단계(S430)를 포함하고,상기 단계 (5)에서는,상기 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법
|
| 16 |
16
삭제
|
| 17 |
17
제15항에 있어서, 상기 단계 (6)에서는,상기 단계 (5)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법
|
| 18 |
18
삭제
|
| 19 |
19
삭제
|
| 20 |
20
삭제
|
| 21 |
21
제17항에 있어서, 상기 단계 (6)에서는,(6-1) 상기 소속 값 생성 단계에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 단계(S610); 및(6-2) 상기 (6-1) 단계에서 계산된 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 단계(S620)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법
|
