| 1 |
1
PTZ 카메라 자동제어를 위한 인공신경망 기반 강화학습 모델을 생성하는 방법으로서, 1) 강화학습을 수행하기 위해 객체 정보가 포함된 학습용 영상 데이터를 취득하고, 영상 내 객체의 위치 및 크기 정보를 분석하는 학습용 영상데이터 취득 및 분석 단계;2) 강화학습에 의한 PTZ 카메라 제어를 위해 PTZ 카메라의 액션값 을 선택하는 단계 - 여기서, 상기 액션값 는 , 의 수학식을 통해 선택되되, 상수인 값이 사전에 전해진 임계값인 와 같거나 클 경우에는 액션값이 무작위로 선택되며, 그렇지 않은 경우에는 현재 상태 와 학습되지 않은 강화학습 모델로 액션값이 선택됨;3) 상기 선택된 액션값을 이용하여 추정된 Pan Left, Pan Right, Tilt Up, Tilt Down, 및 Zoom이 포함된 PTZ 카메라의 제어 방향으로 PTZ 카메라를 이동시키고, PTZ 카메라 이동 후 영상 내 객체의 위치 변화에 적응적으로 Reward를 계산하는 단계 - 여기서 PTZ 카메라의 제어 방향은 의 수학식으로 추정하여, 과 이 보다 작을 때는 Zoom In을 카메라 제어 방향으로 추정하고, 그 외의 경우에는 Pan과 Tilt를 카메라 제어 방향으로 추정함 (단, 은 현재 객체의 가로 위치와 취득한 영상의 가로 중심 거리의 차이를, 은 현재 객체의 세로 위치와 취득한 영상의 세로 중심 거리의 차이를, 는 사전에 정해진 임계값 상수를 의미함);4) 카메라의 액션 전, 후 상태와 Reward가 포함된 데이터셋을 저장하는 단계 - 여기서, 상기 카메라의 액션 전, 후 상태와 Reward가 포함된 데이터셋은 카메라 이동 전 객체 상태정보, 액션값 추정 정보, Reward, 카메라 이동 후 객체 상태정보, 및 종료 Flag를 포함함;5) 저장 데이터셋의 개수가 사전 결정된 개수 이상인지 판단하는 단계;6) 저장된 데이터셋을 기반으로 강화학습 모델을 생성하는 단계 - 여기서, 단계 6)은, 인공신경망을 이용해 현재 상태와 현재 액션값으로 Q값을 계산하여 현재 학습 목표를 설정하는 단계와; 상기 현재 학습 목표 설정 단계의 수행 후에 Reward를 습득하는 단계와; 상기 현재 액션값으로 실제 액션을 수행한 후 변경된 다음 단계의 상태와 새롭게 선택된 액션값을 이용하여 복사된 인공신경망을 통해 최대가 되는 Q값을 계산하고, 산출된 Q값을 가중치로 조절하고 상기 현재 학습 목표 설정 단계의 수행 후에 습득한 Reward를 결합하여 다음 단계 학습 목표를 설정하는 단계를 포함함 - 를 포함하는 PTZ 카메라 자동제어를 위한 강화학습 모델 생성 방법
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
제1항에서, 상기 단계 3)에서, 상기 이 양수일 경우 Pan Right를, 음수일 경우 Pan Left를 카메라 제어 방향으로 추정하고, 이 양수일 경우 Tilt Down을, 음수일 경우 Tilt UP을 카메라 제어 방향으로 추정하는, PTZ 카메라 자동제어를 위한 강화학습 모델 생성 방법
|
| 5 |
5
제1항에서, 상기 단계 3)에서, PTZ 카메라의 Pan과 Tilt에 관련해서 , , 및 의 수학식을 이용하여 Reward rt를 계산하되, 여기서 는 카메라 움직임 이전 상태에서 객체의 위치와 화면 중심의 거리 차이이고, 은 카메라 이동 후 변한 객체의 위치와 화면 중심의 거리 차이이며, 은 정규화 상수이고, τ1은 Pan과 Tilt의 목표 크기인, PTZ 카메라 자동제어를 위한 강화학습 모델 생성 방법
|
| 6 |
6
제1항에서, 상기 단계 3)에서, 상기 PTZ 카메라의 Zoom에 관련해서 및 의 수학식을 이용하여 Reward rt를 계산하되, 여기서 와 는 각각 카메라 이동 전, 후에 대한 객체 크기 정보이고, 는 정규화 상수이고, 는 를 반영하는 상수이고, 는 Zoom의 목표 크기인, PTZ 카메라 자동제어를 위한 강화학습 모델 생성 방법
|
| 7 |
7
삭제
|
| 8 |
8
제1항에서, 상기 단계 5)에서, 사전 결정된 데이터셋 개수는 3000개인, PTZ 카메라 자동제어를 위한 강화학습 모델 생성 방법
|
| 9 |
9
삭제
|
| 10 |
10
제1항, 제4항, 제5항, 제6항, 및 제8항 중 어느 한 항에 기재된 PTZ 카메라 자동제어를 위한 강화학습 모델 생성 방법을 실행하는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 기록매체
|
| 11 |
11
제1항에서, 상기 인공신경망의손실함수(Loss functioin)에는 mse(mean square error)가 사용되고, 활성화 함수(Activation function)는 은닉층에 대해서는 ReLU(Rectified Linear Unit) 함수가, 출력층에 대해서는 Linear 함수가 사용되고,학습률(Learning Rate)은 0
|
