| 1 |
1
자율차 주변의 1개 이상의 객체의 소정 시간 동안의 위치 정보를 수집하고, 상기 위치 정보를 기초로 상기 1개 이상의 객체에 대한 과거 이동 궤적을 생성하고, 상기 자율차 주변의 도로 정보와 상기 과거 이동 궤적을 기초로 상기 자율차에 대한 주행환경 피쳐 맵을 생성하는 공유 정보 생성 모듈; 및상기 과거 이동 궤적과 상기 주행환경 피쳐 맵을 기초로 상기 1개 이상의 객체에 대한 미래 궤적을 생성하는 미래 궤적 예측 모듈;을 포함하는 다종 객체 미래 궤적 예측 장치
|
| 2 |
2
제1항에 있어서, 상기 공유 정보 생성 모듈은,상기 1개 이상의 객체의 종류 정보를 수집하고,상기 다종 객체 미래 궤적 예측 장치는,상기 종류 정보가 가질 수 있는 각각의 종류에 대응되는 복수의 상기 미래 궤적 예측 모듈을 포함하는 것인 다종 객체 미래 궤적 예측 장치
|
| 3 |
3
제1항에 있어서, 상기 공유 정보 생성 모듈은,상기 1개 이상의 객체의 위치 정보를 수집하고, 상기 위치 정보를 기초로 상기 1개 이상의 객체에 대한 과거 이동 궤적을 생성하는 객체별 위치 데이터 수신부;상기 자율차 주변의 도로 정보와 상기 과거 이동 궤적을 기초로 주행환경 맥락 정보 이미지를 생성하는 주행환경 맥락 정보 생성부; 및상기 주행환경 맥락 정보 이미지를 제1 합성곱 신경망에 입력하여 상기 주행환경 피쳐 맵을 생성하는 주행환경 피쳐 맵 생성부를 포함하는 것인 다종 객체 미래 궤적 예측 장치
|
| 4 |
4
제1항에 있어서, 상기 미래 궤적 예측 모듈은,상기 과거 이동 궤적을 기초로 LSTM(long short-term memory)을 이용하여 모션 피쳐 벡터를 생성하는 객체 과거 궤적 정보 추출부;상기 주행환경 피쳐 맵을 기초로 제2 합성곱 신경망을 이용하여 객체 환경 피쳐 벡터를 생성하는 객체 중심 맥락 정보 추출부; 및상기 모션 피쳐 벡터 및 상기 객체 환경 피쳐 벡터를 기초로 VAE(variational auto-encoder)와 MLP를 이용하여 상기 미래 궤적을 생성하는 미래 궤적 생성부를 포함하는 것인 다종 객체 미래 궤적 예측 장치
|
| 5 |
5
제3항에 있어서, 상기 주행환경 맥락 정보 생성부는,정밀 맵에서 차로 중심선을 포함하는 상기 도로 정보를 추출하고, 2D 이미지 상에 상기 도로 정보와 상기 과거 이동 궤적을 표시하는 방식으로 상기 주행환경 맥락 정보 이미지를 생성하는 것인 다종 객체 미래 궤적 예측 장치
|
| 6 |
6
제3항에 있어서, 상기 주행환경 맥락 정보 생성부는,정밀 맵에서 차로 중심선을 포함하는 상기 도로 정보를 추출하고, 상기 도로 정보를 기초로 도로 이미지를 생성하며, 상기 과거 이동 궤적을 기초로 과거 이동 궤적 이미지를 생성하며, 상기 도로 이미지와 상기 과거 이동 궤적 이미지를 채널 방향으로 결합하여 상기 주행환경 맥락 정보 이미지를 생성하는 것인 다종 객체 미래 궤적 예측 장치
|
| 7 |
7
제4항에 있어서, 상기 객체 중심 맥락 정보 추출부는,복수의 위치점이 격자 모양으로 배열된 격자 템플릿을 생성하고, 상기 격자 템플릿에 포함된 모든 위치점을 특정 객체의 위치 및 헤딩 방향을 중심으로 하는 좌표계로 이동시키며, 상기 이동된 상기 모든 위치점에 대응되는 상기 주행환경 피쳐 맵 내의 위치에서 피쳐 벡터를 추출하여 에이전트 피쳐 맵을 생성하고, 상기 에이전트 피쳐 맵을 제2 합성곱 신경망에 입력하여 상기 객체 환경 피쳐 벡터를 생성하는 것인 다종 객체 미래 궤적 예측 장치
|
| 8 |
8
제7항에 있어서, 상기 객체 중심 맥락 정보 추출부는,상기 특정 객체의 종류에 기초하여 상기 격자 템플릿에 포함된 위치점 간의 가로 간격 및 세로 간격 중 적어도 어느 하나를 설정하는 것인 다종 객체 미래 궤적 예측 장치
|
| 9 |
9
특정 시점을 기준으로 자율차 주변 소정의 거리 범위에 있는 1개 이상의 객체에 대한 소정 시간 동안의 위치 정보를 기초로 상기 1개 이상의 객체에 대한 과거 이동 궤적을 생성하고, 상기 자율차 주변의 도로 정보와 상기 과거 이동 궤적을 2D 이미지에 표시하는 방식을 통해 상기 자율차에 대한 주행환경 맥락 정보 이미지를 생성하며, 상기 특정 시점 이후의 상기 1개 이상의 객체에 대한 소정 시간 동안의 위치 정보를 기초로 상기 1개 이상의 객체에 대한 정답 미래 궤적을 생성하는 학습 데이터 생성 단계;상기 과거 이동 궤적, 상기 주행환경 맥락 정보 이미지 및 상기 정답 미래 궤적을 DNN(deep neural network)에 입력하여 객체 미래 궤적을 생성하고, 상기 객체 미래 궤적과 상기 정답 미래 궤적 간의 차이를 기초로 손실함수 값을 계산하는 단계; 및상기 손실함수 값이 작아지도록 상기 DNN을 학습시키는 단계;를 포함하는 다종 객체의 미래 궤적을 예측하는 인공신경망의 학습 방법
|
| 10 |
10
제9항에 있어서, 상기 학습 데이터 생성 단계는,상기 주행환경 맥락 정보 이미지를 반전, 회전 및 색상 변경 중 적어도 어느 하나의 방식 또는 그들의 조합을 통해 증가시키는 것인 다종 객체의 미래 궤적을 예측하는 인공신경망의 학습 방법
|
| 11 |
11
제9항에 있어서, 상기 손실함수는,ELBO(Evidence Lower Bound) 손실인 다종 객체의 미래 궤적을 예측하는 인공신경망의 학습 방법
|
| 12 |
12
자율차 주변의 1개 이상의 객체의 소정 시간 동안의 위치 정보를 수집하고, 상기 위치 정보를 기초로 상기 1개 이상의 객체에 대한 과거 이동 궤적을 생성하는 단계;상기 자율차 주변의 도로 정보와 상기 과거 이동 궤적을 기초로 주행환경 맥락 정보 이미지를 생성하는 단계;상기 주행환경 맥락 정보 이미지를 제1 합성곱 신경망에 입력하여 주행환경 피쳐 맵을 생성하는 단계;상기 과거 이동 궤적을 기초로 LSTM(long short-term memory)을 이용하여 모션 피쳐 벡터를 생성하는 단계;상기 주행환경 피쳐 맵을 기초로 제2 합성곱 신경망을 이용하여 객체 환경 피쳐 벡터를 생성하는 단계; 및상기 모션 피쳐 벡터 및 상기 객체 환경 피쳐 벡터를 기초로 VAE(variational auto-encoder)와 MLP를 이용하여 상기 1개 이상의 객체에 대한 미래 궤적을 생성하는 단계;를 포함하는 다종 객체 미래 궤적 예측 방법
|
| 13 |
13
제12항에 있어서,상기 과거 이동 궤적을 각 객체 중심의 좌표계로 변환하는 단계를 더 포함하고,상기 모션 피쳐 벡터를 생성하는 단계는,상기 객체 중심의 좌표계로 변환된 과거 이동 궤적을 기초로 LSTM을 이용하여 모션 피쳐 벡터를 생성하는 것인 다종 객체 미래 궤적 예측 방법
|
| 14 |
14
제12항에 있어서, 상기 주행환경 맥락 정보 이미지를 생성하는 단계는,정밀 맵에서 차로 중심선을 포함하는 상기 도로 정보를 추출하고, 2D 이미지 상에 상기 도로 정보와 상기 과거 이동 궤적을 표시하는 방식으로 상기 주행환경 맥락 정보 이미지를 생성하는 것인 다종 객체 미래 궤적 예측 방법
|
| 15 |
15
제12항에 있어서, 상기 주행환경 맥락 정보 이미지를 생성하는 단계는,정밀 맵에서 차로 중심선을 포함하는 상기 도로 정보를 추출하고, 상기 도로 정보를 기초로 도로 이미지를 생성하며, 상기 과거 이동 궤적을 기초로 과거 이동 궤적 이미지를 생성하며, 상기 도로 이미지와 상기 과거 이동 궤적 이미지를 채널 방향으로 결합하여 상기 주행환경 맥락 정보 이미지를 생성하는 것인 다종 객체 미래 궤적 예측 방법
|
| 16 |
16
제12항에 있어서, 상기 객체 환경 피쳐 벡터를 생성하는 단계는,복수의 위치점이 격자 모양으로 배열된 격자 템플릿을 생성하고, 상기 격자 템플릿에 포함된 모든 위치점을 특정 객체의 위치 및 헤딩 방향을 중심으로 하는 좌표계로 이동시키며, 상기 이동된 상기 모든 위치점에 대응되는 상기 주행환경 피쳐 맵 내의 위치에서 피쳐 벡터를 추출하여 에이전트 피쳐 맵을 생성하고, 상기 에이전트 피쳐 맵을 상기 제2 합성곱 신경망에 입력하여 상기 객체 환경 피쳐 벡터를 생성하는 것인 다종 객체 미래 궤적 예측 방법
|
| 17 |
17
제16항에 있어서, 상기 객체 환경 피쳐 벡터를 생성하는 단계는,상기 특정 객체의 종류에 기초하여 상기 격자 템플릿에 포함된 위치점 간의 가로 간격 및 세로 간격 중 적어도 어느 하나를 설정하는 것인 다종 객체 미래 궤적 예측 방법
|
