| 1 |
1
열 회수 환기장치(ERV), 냉난방기 및 컴퓨팅 모듈을 포함하고, 상기 컴퓨팅 모듈을 통하여 상기 열 회수 환기장치 및 냉난방기에 대한 연동학습 및 정밀 제어를 수행하는 교실 환경에서 운영되는 냉난방 시스템으로서,상기 컴퓨팅 모듈은,심층 강화학습 알고리즘이 구현되는 인공신경망을 이용하여, 재실상황 정보, 환경제약 조건정보, 비용 판단정보 및 사용자 제어 선호도를 트리 보상체계(Tree reward scheme)에 적용하여 가변환경에 따라 상기 열 회수 환기장치(ERV) 및 냉난방기를 정밀 환경제어 및 운전하고,상기 심층 강화학습에 또는 지도학습에 사용할 신경망을 개별적으로 구성하고, 복합 환기 냉난방 시스템 및 교실환경에 설치된 각종 센서에 유무선으로 연결되어 입력층으로 들어오는 각종 측정값을 처리하고, 출력층에서 결정되는 Action 신호를 전달하는 복합 환기 냉난방 시스템
|
| 2 |
2
제 1 항에 있어서,상기 트리 보상체계는 교실환경에서의 사람의 재실(A) 및 부재(B)의 조건을 판단하는 제1 보상판단조건; 사람의 부재조건(1B)에서 비용의 증가(dC/dt003e#0) 및 비용의 감소(dC/dt≤0)를 판단하는 제2 보상판단조건(1B-2); 상기 제2 보상판단조건(1B-2)에서 비용이 증가하면, 상대적으로 작은 벌점(-m)을 부여하고 비용이 감소하면 상대적으로 작은 상점(+m)을 부여하는 제1 보상체계;사람의 재실조건(1A)에서, 상기 환경제약 조건정보의 만족여부를 판단하는 제3 보상판단조건(1A-3); 상기 제3 보상판단조건에서, 상기 환경제약 조건정보에 따른 조건 불만족(b)시 (1A-3b) 비용 증감여부에 상관없이 상대적으로 큰 벌점(-M)을 부여하는 제2 보상체계;상기 제3 보상판단조건에서 상기 환경제약 조건정보에 따른 조건 만족시(a)시 (1A-3a) 비용의 증가(dC/dt003e#0) 및 비용의 감소 (dC/dt≤0)를 판단하는 제4 보상판단조건 (1A-3a-4); 상기 제4 보상판단조건에서, 비용이 증가(4β)한다면(1A-3a-4β), 다시 리모컨 직접제어 여부를 판단하는 제5 보상판단조건; 상기 제5 보상판단조건에서, 리모컨 제어가 있다(o)면(1A-3a-4β-5o), 상대적으로 큰 벌점(-M)을 부여하는 제3 보상체계;상기 제5 보상판단조건에서, 사용자가 만족하여 리모컨 제어가 없다(x)면 (1A-3a-4β-5x) 상대적으로 작은 벌점(-m)을 부여하는 제4 보상체계;상기 제4 보상판단조건에서, 비용이 감소(4α)한다면(1A-3a-4α), 리모컨 직접제어 여부를 판단하는 제6 보상판단조건;상기 제6 보상판단조건에서, 리모컨 제어가 있다(O)면(1A-3a-4α-6O), 상대적으로 큰 벌점 (-M)을 부여하는 제5 보상체계; 및상기 제6 보상판단조건에서, 수동 리모컨 제어가 없다(X)면(1A-3a-4α-6X), 상대적으로 작은 상점(+m)을 부여하는 제6 보상체계를 포함하는 복합 환기 냉난방 시스템
|
| 3 |
3
제 2 항에 있어서,상기 제5 보상판단조건 및 제6 보상판단조건은,사용자 리모컨 수동 제어신호의 존재 여부를 상기 심층 강화학습 알고리즘의 각 타임스텝에서 판단하여 사용자 온습도 선호도를 상기 인공신경망에 학습시키는 것인, 복합 환기 냉난방 시스템
|
| 4 |
4
제 2 항에 있어서,상기 환경제약 조건정보는,냉동공조협회의 컴포트 존에 의한 온습도 제약조건과, 환경부의 PM10, PM2
|
| 5 |
5
제 4 항에 있어서,상기 환경제약 조건정보는 시간당 환기량 기준을 포함하고,상기 시간당 환기량 기준은,상기 열 회수 환기장치(ERV)의 회전수(rpm)와 더불어 상기 열 회수 환기장치(ERV)의 공급단에서의 토출압력(psa)과 토출온도(Tsa) 및 소비전력(p1)을 포함하는 풍량 관련 데이터를 매칭하여 산출하는 것인, 복합 환기 냉난방 시스템
|
| 6 |
6
제 5 항에 있어서,상기 시간당 환기량 기준은,사전에 환기장치 팬에 대한 실증시험 테스트 환경에서 회전수, 토출압력, 토출온도 및 소비전력을 포함하는 팬의 입력변수들과 최종 측정풍량에 대하여 별개의 독립적인 인공신경망 지도학습을 통하여 모델링 되는 환기량(QModel) 기준 또는, 기 설정된 팬의 성능곡선을 활용하여 판단하여 모델링 되는 환기량(QModel) 기준 중, 어느 하나인 복합 환기 냉난방 시스템
|
| 7 |
7
제 6 항에 있어서,상기 복합 환기 냉난방 시스템은,상기 심층 강화학습 알고리즘을 위한 인공신경망 이외에, 상기 지도학습을 통하여 모델링되는 환기량 기준을 판단하기 위한 별개의 독립적인 지도학습용 인경신경망을 추가적으로 이용하는 복합 환기 냉난방 시스템
|
| 8 |
8
제 1 항에 있어서, 상기 심층 강화학습을 위한 인공신경망은, 하나의 입력층, 둘 이상의 은닉층, 및 하나의 출력층을 포함하고,상기 출력층은 복합 환기 냉난방 시스템 제어와 연관되는 복수의 Action 노드 및 사용자가 제어 가능한 리모컨 신호로 구성되고,상기 복수의 Action 노드는,적어도 상기 열 회수 환기장치(ERV)의 제어를 위한 ERV=ON, ERV=OFF, 풍속 1증가 및 풍속 1감소의 4개의 노드와, 상기 냉난방기의 제어를 위하여 AC=ON, AC=OFF, 세팅온도 1증가, 세팅온도 1감소, 풍속 1증가 및 풍속 1감소의 6개의 노드를 포함하는 복합 환기 냉난방 시스템
|
| 9 |
9
제 8 항에 있어서, 상기 출력층의 Action 노드는,10개의 컨트롤 신호 이외에, 필요에 따라 사용자가 제어 가능한 컨트롤 신호에 대응하는 Action 노드를 더 포함하는 복합 환기 냉난방 시스템
|
| 10 |
10
제 8 항에 있어서, 상기 은닉층은, 각각의 은닉층에서 Action 노드보다 2배 이상 되는 개수로 설정되고,상기 입력층은,재실센서를 통하여 파악된 인원 유무 또는 인원수를 포함하는 재실상황에 대한 노드;상기 열 회수 환기장치(ERV) 및 냉난방기의 소비전력(P1, P2; kW) 또는 소비전력량(P1, P2; kWh)에 대한 제1 측정상태노드;소비전력 또는 소비전력의 시간변화율에 대한 노드(P1', P2');상기 열 회수 환기장치(ERV)의 풍량 또는 풍속, 환기량과 관련된 상기 열 회수 환기장치(ERV)의 송풍기 회전수(rpm)에 대한 제2 측정상태노드;재실공간의 대표 또는 평균 온습도 환경 및 오염환경 관련 제3 측정상태노드(Tin, RHin, PM10in, PM2
|
| 11 |
11
제 10 항에 있어서, 상기 입력층은,상기 열 회수 환기장치(ERV)의 송풍팬 토출단에서의 토출압력(psa) 및 토출온도(Tsa), 외부의 압력(poa)을 더 포함하는 복합 환기 냉난방 시스템
|
| 12 |
12
제 10 항에 있어서상기 컴퓨팅 모듈은,컴포트 존에 의한 온습도 제약을 판단하기 위해, 상기 제3 측정상태노드 중, Tin 및 RHin가 상기 컴포트 존에 AND 조건으로 위치하는지 판단하고, 환경부의 환경 제약조건을 판단하기 위해, 상기 제3 측정상태노드 중, PM10in, PM2
|
| 13 |
13
제 10 항에 있어서상기 컴퓨팅 모듈은,비용의 증감을 판단하기 위해, 상기 비용을 상기 소비전력인 P1과 P2의 합계 (P1+P2)로 정의하고, 비용 판단시 추가적으로 전기의 누진세를 고려하여 소비전력량 구간별 차등화를 위해 구간별 비용계수(Coeff)를 곱하거나(Cost = Coeff × (P1+P2)), 또는 신재생에너지원을 고려한 비용계수(Coeff')를 곱하는 것인, 복합 환기 냉난방 시스템
|
| 14 |
14
제 10 항에 있어서,상기 교과상황에 대한 상태노드는, 미리 시간에 따른 교실사용 스케줄을 입력받아, 발열도 및 오염도를 측정하여 정도를 숫자로 표현한 정보를 포함하고,상기 발열도 및 오염도는,심층 강화학습이 진행됨에 따라 측정되어 업데이트 되는 정보를 포함하는 복합 환기 냉난방 시스템
|
| 15 |
15
제 10 항에 있어서,상기 교과상황에 대한 상태노드는,발열도 및 오염도에 대한 정보 없이 교과목 코드 또는 교실활용 코드 자체로 입력되는 정보를 포함하는 복합 환기 냉난방 시스템
|
| 16 |
16
제 1 항에 있어서,상기 심층 강화학습은, 하루를 주기(0시 ~ 익일 0시)로 진행되는 복수의 에피소드(episode)를 포함하고,상기 에피소드는,각각 복합 환기 냉난방 시스템이 설치되는 교실환경에서의 열적 반응속도를 고려하여 최소 2분 또는 그 이상의 타임스텝들로 구성되는 복합 환기 냉난방 시스템
|
| 17 |
17
삭제
|
| 18 |
18
심층 강화학습 알고리즘에 기반한 교실에서의 환기장치 및 냉난방기 동시 정밀제어를 위한 컴퓨팅 모듈에 의해 수행되는 강화학습 수행방법으로서,상기 강화학습 알고리즘은, 알고리즘 수행 전 준비단계 및 알고리즘 수행단계를 포함하고,상기 알고리즘 수행 전 준비단계는,교실 사용 스케줄에 따라 사전 발열도 및 오염도를 측정하고 기록하는 단계;교실 공간의 사이즈를 입력받는 단계;쾌적감을 유지하기 위한 제1 환경제약 조건정보를 입력받는 단계;실내공기질 유지기준, 권고기준, 설비기준을 포함하는 제2 환경제약 조건정보를 입력받는 단계; 및사전에 열 회수 환기장치에 대한 팬 특성 곡선을 산출하고, 회전수, 압력, 소비전력 및 온도를 포함하는 변수와, 풍량을 매칭하는 단계를 포함하고,상기 풍량을 매칭하는 단계는,별도의 인공신경망 지도학습을 이용하거나, 성능곡선을 활용하는 단계를 포함하는 교실에서의 환기장치 및 냉난방기 동시 정밀제어를 위한 강화학습 수행방법
|
| 19 |
19
제 18 항에 있어서,상기 알고리즘 수행단계는,에피소드 시작전 스코어를 초기화 하는 단계;강화학습용 인공신경망의 액션노드를 초기화하여 복합 환기 냉난방 시스템을 운전하는 단계; 및하나의 에피소드에서 매 타입스텝마다 심층강화 학습의 가치판단, 액션노드선택, 일정시간후 입력상태변수 측정 및 보상점수 판단을 수행하는 단계를 포함하고,상기 보상점수 판단을 수행하는 단계는 트리 보상체계가 적용되고,상기 트리 보상체계는,교실환경에서의 사람의 재실(A) 및 부재(B)의 조건을 판단하는 제1 보상판단조건; 사람의 부재조건(1B)에서 비용의 증가(dC/dt003e#0) 및 비용의 감소(dC/dt≤0)를 판단하는 제2 보상판단조건(1B-2); 상기 제2 보상판단조건(1B-2)에서 비용이 증가하면, 상대적으로 작은 벌점(-m)을 부여하고 비용이 감소하면 상대적으로 작은 상점(+m)을 부여하는 제1 보상체계;사람의 재실조건(1A)에서 상기 환경제약 조건정보의 만족여부를 판단하는 제3 보상판단조건(1A-3); 상기 제3 보상판단조건에서, 상기 환경제약 조건정보에 따른 조건 불만족(b)시 (1A-3b) 비용 증감여부에 상관없이 상대적으로 큰 벌점(-M)을 부여하는 제2 보상체계;상기 제3 보상판단조건에서, 상기 환경제약 조건정보에 따른 조건 만족시(a)시 (1A-3a) 비용의 증가(dC/dt003e#0) 및 비용의 감소 (dC/dt≤0)를 판단하는 제4 보상판단조건 (1A-3a-4); 상기 제4 보상판단조건에서, 비용이 증가(4β)한다면(1A-3a-4β), 다시 리모컨 직접제어 여부를 판단하는 제5 보상판단조건; 상기 제5 보상판단조건에서, 리모컨 제어가 있다(o)면(1A-3a-4β-5o), 상대적으로 큰 벌점(-M)을 부여하는 제3 보상체계;상기 제5 보상판단조건에서, 사용자가 만족하여 리모컨 제어가 없다(x)면 (1A-3a-4β-5x) 상대적으로 작은 벌점(-m)을 부여하는 제4 보상체계;상기 제4 보상판단조건에서, 비용이 감소(4α)한다면(1A-3a-4α), 리모컨 직접제어 여부를 판단하는 제6 보상판단조건;상기 제6 보상판단조건에서, 리모컨 제어가 있다(O)면(1A-3a-4α-6O), 상대적으로 큰 벌점 (-M)을 부여하는 제5 보상체계; 및상기 제6 보상판단조건에서, 수동 리모컨 제어가 없다(X)면(1A-3a-4α-6X), 상대적으로 작은 상점(+m)을 부여하는 제6 보상체계를 포함하는 교실에서의 환기장치 및 냉난방기 동시 정밀제어를 위한 강화학습 수행방법
|
| 20 |
20
제 19 항에 있어서,상기 보상점수 판단을 수행하는 단계는,상기 트리 보상체계에 의한 보상점수 판단시, 사용자 리모컨 수동제어가 있는 타임스텝이면 초기화 운전단계에서 액션노드 초기화값을 사용자 설정치로 저장하고, 부재시의 타임스텝이라면 액션노드 초기화값을 인공신경망이 판단한 액션노드 값으로 저장하는 단계;하나의 에피소드 시작 후, 24 시간 또는 정해진 에피소드 주기에 도달하는지 판단하는 단계; 및에피소드 주기에 도달한 경우 하나의 에피소드를 종료하고, 에피소드에서의 최종 스코어를 기록하고 다음 에피소드를 수행하고, 에피소드 주기에 도달하지 못한 경우, 강화학습용 인공신경망의 액션노드를 초기화하여 복합 환기 냉난방 시스템을 운전하는 단계로 이동하여 다음 타임스텝으로 넘어가는 단계를 포함하는 교실에서의 환기장치 및 냉난방기 동시 정밀제어를 위한 강화학습 수행방법
|
| 21 |
21
제 19 항에 있어서,상기 하나의 에피소드에서 매 타입스텝마다 심층강화 학습의 가치판단, 액션노드선택, 일정시간후 입력상태변수 측정 및 보상점수(Reward) 판단을 수행하는 단계는,상기 트리 보상체계를 적용 시, 풍량에 대한 환기기준을 판단하기 위해 필요에 따라 지도 학습된 별도의 인공신경망 활용하는 단계를 더 포함하는 교실에서의 환기장치 및 냉난방기 동시 정밀제어를 위한 강화학습 수행방법
|
| 22 |
22
열 회수 환기장치, 냉난방기 및 컴퓨팅 모듈을 포함하고, 상기 컴퓨팅 모듈을 통하여 상기 열 회수 환기장치 및 냉난방기에 대한 연동학습 및 정밀 제어를 수행하는 교실 환경에서 운영되는 냉난방 시스템으로서,상기 컴퓨팅 모듈은 심층 강화학습 알고리즘이 구현되는 인공신경망을 이용하여, 재실상황 정보, 환경제약 조건정보, 비용 판단정보 및 사용자 제어 선호도를 트리 보상체계(Tree reward scheme)에 적용하여 가변환경에 따라 상기 열 회수 환기장치 및 냉난방기를 정밀 환경제어 및 운전하고,상기 냉난방 시스템의 성능을 측정하고 강화 학습을 시키기 위한 실환경 오염원 모사 실증챔버를 포함하고, 상기 실환경 오염원 모사 실증챔버는,온습도 모사와, CO2, PM10 및 PM2
|
| 23 |
23
제 22 항에 있어서,상기 실내실 챔버 및 실외실 챔버는,NO2, 폼알데히드, 라돈, 일산화탄소 중 적어도 하나를 포함하는 오염원 및, 02의 신선한 공기의 침입량과 상태량을 시뮬레이션하는 피더(feeder)와, 컨트롤 장치를 더 포함하는 복합 환기 냉난방 시스템
|
