| 1 |
1
(a) 현재 교통 상태를 포함하는 복수의 교차로 이미지를 딥 CNN(deep CNN) 모델에 입력함으로써, 상기 현재 교통 상태와 각 신호 제어 동작 페어(pair) 각각에 대한 교통 상태 변화에 따른 누적기대보상의 근사화된 평가 함수값(Q-function)을 각각 출력하는 단계;(b) 상기 출력된 평가 함수값들 중 최대값에 상응하는 신호 제어 동작을 타겟 신호 제어 동작으로 선택하는 단계;(c) 상기 선택된 타겟 신호 제어 동작을 실행하는 단계; (d) 상기 타겟 신호 제어 동작 실행에 따른 교차로 대기 및 접근 차량수 변화를 이용하여 보상값을 갱신하는 단계; 및(e) 상기 보상값과 상기 평가 함수값을 이용하여 상기 평가 함수의 파라미터값을 갱신하는 단계를 포함하는 감응식 교통 신호 제어 방법
|
| 2 |
2
제1 항에 있어서,상기 (e) 단계 이전에, 상기 타겟 신호 제어 동작의 실행에 따른 교통 상태 변화를 포함하는 복수의 교차로 이미지를 현재 교통 상태로 갱신하는 단계;상기 타겟 신호 제어 동작의 실행에 따른 교통 상태 변화에 대한 상태 전이 경험 예제를 재현 메모리에 저장하는 단계; 및상기 재현 메모리에 저장된 상태 전이 경험 예제들 중 일부를 랜덤하게 추출하는 단계를 포함하되,상기 (e) 단계는 확률적경사하강법에 기초하여 상기 평가 함수의 파라미터값을 갱신하는 것을 특징으로 하는 감응식 교통 신호 제어 방법
|
| 3 |
3
제2 항에 있어서,상기 상태 전이 경험 예제는 이전 교통 상태, 이전 교통 상태에서 취해진 신호 제어 동작, 상기 신호 제어 동작에 따른 교통 상태 변화에 대한 보상값, 현재 교통 상태를 포함하되,상기 이전 교통 상태 및 상기 현재 교통 상태는 상기 신호 제어 동작 실행 전 후의 교차로 이미지인 것을 특징으로 하는 감응식 교통 신호 제어 방법
|
| 4 |
4
제1 항에 있어서,상기 (a) 단계에서, 상기 딥 CNN 모델은,단위 교차로에 인접한 다른 교차로 이미지를 더 이용하여 상기 현재 교통 상태와 각 신호 제어 동작 페어(pair) 각각에 대해 인접한 다른 교차로의 교통 상태를 더 고려하여 각각의 평가 함수값을 출력하는 것을 특징으로 하는 감응식 교통 신호 제어 방법
|
| 5 |
5
제1 항에 있어서,상기 딥 CNN 모델은,상기 현재 교통 상태에 대한 복수의 교차로 이미지를 입력받는 입력층;복수의 컨볼류션 커널(convolution kernel)을 포함하고, 지정된 건너뛰기(stride)가 적용되는 상기 복수의 컨볼류션 커널을 이미지에 적용하여 컨볼류션 연산을 수행하는 복수의 은닉층(hidden layer); 및각 신호 제어 동작에 상응하는 k(자연수)개의 노드를 포함하는 출력층을 포함하되,상기 출력층에 포함되는 k개의 노드는 상기 복수의 은닉층 중 가장 마지막 은닉층에 포함되는 복수의 노드와 각각 모두 연결되며, 상기 출력층의 k개의 노드는 각각 선형적으로 활성화되는 것을 특징으로 하는 감응식 교통 신호 제어 방법
|
| 6 |
6
제5 항에 있어서,상기 복수의 은닉층은, a x a(자연수) 크기의 복수의 컨볼류션 커널(convolution kernel)을 포함하고, 제1 건너뛰기(stride)가 적용되는 복수의 컨볼류션 커널을 상기 교차로 이미지에 적용하여 컨볼류션 연산을 수행하여 제1 특징맵을 출력하는 제1 은닉층(hidden layer);상기 제1 특징 맵에 대해 b x b(자연수) 크기의 복수의 컨볼류션 커널을 포함하고, 제1 건너뛰기(stride)가 적용되는 복수의 컨볼류션 커널을 제1 특징맵에 적용하여 컨볼류션 연산을 수행하여 제2 특징맵을 출력하는 제2 은닉층;c x c(자연수) 크기의 복수의 컨볼류션 커널을 포함하며, 제2 건너뛰기가 적용되는 복수의 컨볼류션 커널을 상기 제2 특징맵에 적용하여 컨볼류션 연산을 수행하여 제3 특징맵을 출력하는 제3 은닉층; 및n(자연수)개의 노드를 포함하고, 상기 제3 특징맵을 풀링(pooling)하는 제4 은닉층을 포함하는 것을 특징으로 하는 감응식 교통 신호 제어 방법
|
| 7 |
7
제2 항에 있어서,상기 재현 메모리가 풀(Full) 상태이면, 상기 상태 전이 경험 예제들 중 가장 오래전에 저장된 상태 전이 경험 예제를 삭제하는 단계를 더 포함하는 감응식 교통 신호 제어 방법
|
| 8 |
8
제1 항에 있어서,상기 평가 함수값은 강화 학습 알고리즘에 기반한 근사화된 Q-함수(function)으로 도출되는 것을 특징으로 하는 감응식 교통 신호 제어 방법
|
| 9 |
9
제1 항에 있어서,상기 (d) 단계는,상기 타겟 신호 제어 동작 실행에 따른 교차로 대기 및 접근 차량수가 증가하여 변화하는 경우, 상기 보상값을 제1 값으로 설정하는 단계;상기 타겟 신호 제어 동작 실행에 따른 교차로 대기 및 접근 차량수가 감소하여 변화하는 경우, 상기 보상값을 제2 값으로 설정하는 단계; 및상기 대기 및 접근 차량수 변화가 없는 경우, 상기 보상값을 제3 값으로 설정하는 단계를 포함하는 것을 특징으로 하는 감응식 교통 신호 제어 방법
|
| 10 |
10
제1 항 내지 제9 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체
|
| 11 |
11
현재 교통 상태를 포함하는 복수의 교차로 이미지를 입력받아 상기 현재 교통 상태와 각 신호 제어 동작 페어(pair) 각각에 대한 교통 상태 변화에 따른 누적기대보상의 근사화된 평가 함수값(Q-function)을 각각 출력하는 딥 CNN 모델부;상기 출력된 평가 함수값들 중 최대값에 상응하는 신호 제어 동작을 타겟 신호 제어 동작으로 선택하여 실행함으로써 교통 신호를 제어하는 신호 제어부; 및상기 타겟 신호 제어 동작 실행에 따른 교차로 대기 및 접근 차량수 변화를 이용하여 보상값을 갱신하고, 상기 보상값과 상기 평가 함수값을 이용하여 상기 평가 함수의 파라미터값을 갱신하는 학습부를 포함하는 감응식 교통 신호 제어 장치
|
| 12 |
12
제11 항에 있어서,상기 신호 제어부는, 상기 타겟 신호 제어 동작의 실행에 따른 교통 상태 변화를 포함하는 복수의 교차로 이미지를 현재 교통 상태로 갱신하여 상기 딥 CNN 모델로 입력하는 것을 특징으로 하는 감응식 교통 신호 제어 장치
|
| 13 |
13
제11 항에 있어서,상기 학습부는, 상기 타겟 신호 제어 동작의 실행에 따른 교통 상태 변화에 대한 상태 전이 경험 예제를 재현 메모리에 저장하고, 상기 재현 메모리에 저장된 상태 전이 경험 예제들 중 일부를 랜덤하게 실행하여 학습한 후 확률적경사하강법에 기초하여 상기 보상값 및 상기 평가 함수값을 이용하여 상기 평가 함수의 파라미터값을 갱신하는 것을 특징으로 하는 감응식 교통 신호 제어 장치
|
| 14 |
14
제11 항에 있어서,상기 딥 CNN 모델부는, 단위 교차로에 인접한 다른 교차로 이미지를 더 이용하여 상기 현재 교통 상태와 각 신호 제어 동작 페어(pair) 각각에 대해 인접한 다른 교차로의 교통 상태를 더 고려하여 각각의 평가 함수값을 출력하는 것을 특징으로 하는 감응식 교통 신호 제어 장치
|
| 15 |
15
제11 항에 있어서,상기 신호 제어부는,상기 평가 함수값 및 상기 보상값을 이용하여 상기 타겟 신호 제어 동작의 실행 시간을 상이하게 결정하는 것을 특징으로 하는 감응식 교통 신호 제어 장치
|
| 16 |
16
제13 항에 있어서,상기 학습부는, 상기 재현 메모리가 풀(FULL)이면, 상기 상태 전이 경험 예제들 중 가장 오래전에 저장된 상태 전이 경험 예제를 삭제하는 것을 특징으로 하는 감응식 교통 신호 제어 장치
|
