| 1 |
1
치매환자 관리 서비스를 제공하는 서버에 있어서,사용자 단말기로부터 단말기 상태 정보 및 사용자의 안면 촬영 영상을 수신하고, 상기 수신한 안면 촬영 영상을 기반으로 수행된 로그인 결과를 사용자 단말기로 전송하며, 사용자의 단말기 및 사용자의 거주 장소에 설치된 사물인터넷 기능을 지원하는 주변 장치들로부터 상태 정보를 수신하는 통신부;사용자 단말기로부터 수신한 정보를 처리한 결과와, 사용자 안면 촬영 영상을 분석하기 위한 영상 분석 프로그램, 사용자 식별용 정보 및 콘텐츠별, 콘텐츠 장르별 및 콘텐츠 주제별 사용자 선호도에 관한 정보인 콘텐츠 선호 정보를 저장하는 저장부; 및상기 수신한 사용자의 안면 촬영 영상을 기반으로 해당 사용자의 로그인 결정 및 감정 판단을 수행하고, 상기 수신한 단말기 상태 정보에 기반하여 비상 상황 여부 또는 기능 제한 필요성 중 적어도 하나를 판단하고, 판단 결과에 따라 사용자 단말기의 특정 기능을 제어하며, 기 설정된 기준 이상 요청된 사용자의 음성 명령의 키워드를 관리하고, 기 설정된 기준 이상 실행된 특정 기능에 대하여 사용자 관심기능으로 분류하며, 상기 사용자 관심기능이 기준 빈도 이상 실행되는 시간대에 상기 관심기능을 자동 실행하도록 지원하는 제어부;를 포함하되, 상기 제어부는사용자 단말기로부터 수신된 사용자의 안면 촬영 영상으로부터 사용자 식별 및 특정 콘텐츠 재생에 따른 사용자의 감정 상태 분석을 수행하는 사용자 영상 분석부;사용자 단말기로부터 서버 내 보유된 멀티미디어 콘텐츠 리스트가 요청되면, 해당 사용자의 콘텐츠 선호 정보가 존재하는지 여부를 판단하고, 상기 사용자의 콘텐츠 선호 정보가 존재하는 경우, 상기 콘텐츠 선호 정보에 기반하여 리스트에 표시되는 콘텐츠를 사용자가 선호하는 순서로 변경하여 제공하는 맞춤 콘텐츠 정보 제공부;사용자 단말기의 배터리 잔량 정보, 단말기의 위치 및 단말기의 이동 속도에 기반하여 사용자가 실외를 배회하는 것으로 판단되면 사용자 위치로부터 사용자의 거주지까지의 길 안내를 수행하는 상황 정보 분석부;상기 사용자 단말기 및 상기 사물인터넷 기능을 지원하는 주변장치들로부터 수신된 상태정보를 기반으로 사용자의 항목별 사고 위험도를 판단하고, 상기 판단된 사고 위험도가 기 설정된 기준 이상이면, 항목에 따라 의료기관 호출, 보호자 단말기로 자동 전화 연결, 상기 사물인터넷 기능을 지원하는 주변 장치 제어 중 적어도 하나를 수행하는 비상 판단부; 를 포함하며,상기 콘텐츠 선호 정보는 멀티미디어 콘텐츠 재생중에 촬영된 사용자의 안면 영상을 기반으로 판단된 콘텐츠별 사용자의 감정 상태, 특정 콘텐츠를 요청한 음성입력의 횟수 및 콘텐츠별 누적 재생 횟수에 기반하여 생성되는 정보인 것을 특징으로 하는 것을 특징으로 하는 치매환자 관리 서비스 서버
|
| 2 |
2
삭제
|
| 3 |
3
제 1항에 있어서, 상기 사용자 영상 분석부는 로그인 단계에서 사용자의 안면 촬영 영상이 수신되면, 상기 수신된 안면 촬영 영상과 기 보유된 사용자 식별용 정보와 비교하여 일치 여부를 판단하고, 로그인 이후, 사용자 단말기로부터 멀티미디어 콘텐츠가 재생되는 상태에서 촬영된 사용자의 안면 촬영 영상이 수신되면, 사용자의 안면 촬영 영상으로부터 사용자의 표정 변화 및 그에 따른 사용자의 감정 상태를 분석하는 것을 특징으로 하는 치매환자 관리 서비스 서버
|
| 4 |
4
제 1항에 있어서, 상기 사용자 영상 분석부는 사용자의 안면 촬영 영상으로부터 얼굴 표정 인식을 수행하기 위해, 합성곱 신경망(CNN) 및 Images, Emotion lebels, Facial Action Coding System laves, Landmarks의 4가지 데이터군으로 분류되는 CK+ dataset을 이용하며, 사용자의 안면 촬영 영상을 분석을 위해 입력된 데이터의 전처리 동작 및 모델링 동작을 수행하고, 상기 전처리 동작은입력된 데이터를 Emotion label이 있는 Images 데이터를 선별하고, 표정이 변하기 전인 첫 번째 프레임을 무표정(neutral)으로, 표정이 확실하게 드러난 마지막 세 프레임을 Emotion label에 맞는 표정으로 구분하며, RGB 데이터를 gray 데이터로 변환한 후, 사람 얼굴 부분을 소정의 크기로 고정하여 저장하고, 영상 데이터를 좌우 반전하여 데이터의 양을 2배로 증가시킨 후, 임의로 혼합하는 것을 특징으로 하는 치매환자 관리 서비스 서버
|
| 5 |
5
제 4항에 있어서, 상기 사용자 영상 분석부는 상기 전처리 동작을 수행할 시, 데이터를 0에서 1사이로 정규화시키고, 부족한 데이터양을 늘리기 위해 255*255 크기의 영상에서 224*224 크기의 영상을 중복되지 않게 무작위로 추출하는 선택적 무작위(selective random) 기법을 수행하고, 이후 상기 데이터를 1차원 배열로 펼쳐 설계가 끝난 모델에 입력하는 것을 특징으로 하는 치매환자 관리 서비스 서버
|
| 6 |
6
제 4항에 있어서상기 사용자 영상 분석부는 전처리 동작이 완료된 데이터를 모델에 입력하는 모델링 동작을 수행하되, 상기 모델링 동작은 AlexNet 모델에 기반하여 입력 데이터로부터 5번의 convolution 연산과정을 거쳐 256개의 특징을 추출하는 제 1과정과, 추출된 특징을 이용하여 Full connect 연산 과정을 거쳐 데이터를 분류하는 제 2과정을 포함하는 것을 특징으로 하는 치매환자 관리 서비스 서버
|
| 7 |
7
제 6항에 있어서, 상기 사용자 영상 분석부는 상기 모델링 동작을 수행함에 있어서, 전처리 동작에 따라 1차원 배열로 펼쳐진 224*224 크기의 이미지가 데이터로 입력되면, 11*11의 크기와 4의 스트라이드(stride)를 가진 96개 커널과 합성곱 연산을 수행하고, 이에 따라 55*55*96크기의 영상이 출력되면 이를 5*5의 크기와 1의 스트라이드(stride)를 가진 256개 커널과 합성곱 연산을 수행을 반복하여 마지막 합성곱 층과 Max Pooling 층을 지나 6*6 크기의 256가지의 특징을 얻는 것을 특징으로 하는 치매환자 관리 서비스 서버
|
| 8 |
8
제 4항에 있어서, 상기 사용자 영상 분석부는 CK+ dataset를 이용하여 직접 훈련시킨 모델, AUS(Action Unit Selective)기법을 적용시킨 모델 및 ImageNet data를 통해 사전 훈련된 모델을 이용하여 표정 인식을 수행하되,상기 CK+ dataset 을 이용하여 직접 훈련시킨 모델은, 입력 데이터를 반전시키고 세분화하여 데이터의 양을 늘리는 방식으로 훈련되고, 상기 AUS 기법을 적용시킨 모델은 사전 훈련된 모델(pre-trained model)을 사용하여 추출된 256개의 특징(feature)데이터를 선별하여 240개의 특징을 가진 데이터로 재배열하고, 재배열된 데이터를 이용하여 마지막 Fully-connected layer에 연결하여 재구성되고, 상기 ImageNet data를 통해 사전 훈련된 모델은, 트랜스퍼 러닝(transfer learning)을 개념을 이용한 것이며, 사전 훈련된 모델을 불러와 weight와 bias를 그대로 적용한 후, 입력 데이터와 출력 라벨에 대한 설정을 변경하는 방식으로 훈련되는 것을 특징으로 하는 치매환자 관리 서비스 서버
|
| 9 |
9
삭제
|
| 10 |
10
제 1항에 있어서, 상기 통신부는 사용자의 단말기로부터 사용자 단말기의 상태 정보, 사용자 정보 및 스케줄 정보를 수신하고, 상기 상황 정보 분석부는상기 수신된 상태정보를 기반으로 사용자의 배회 여부를 판단하여, 사용자가 배회중인 것으로 판단되면, 사용자 단말기의 현 위치로부터 상기 사용자 정보에 포함된 사용자 거주지 주소까지의 길을 실시간으로 안내하고, 상기 수신된 스케줄 정보에 기반하여 사용자 시간별 스케줄를 판단하여, 자동으로 스케줄에 따른 알림을 사용자 단말기에서 실행하도록 제어하는 것을 특징으로 하는 치매환자 관리 서비스 서버
|
| 11 |
11
삭제
|
| 12 |
12
제 1항에 있어서, 상기 제어부는 재활 훈련부를 포함하고, 상기 재활 훈련부는 사용자의 주변 인물의 사진을 바탕으로 사용자의 인지 훈련을 수행하되, 상기 주변 인물의 사진을 기반으로 퀴즈를 생성하여 사용자에게 제공하여 기억력 학습을 수행하는 것을 특징으로 하는 치매환자 관리 서비스 서버
|
| 13 |
13
삭제
|
