| 1 |
1
딥러닝 기반의 사회적 상호작용 피드백 시스템을 이용한 사회적 상호작용 피드백 방법에 있어서, 일정시간 간격으로 표정이 변화하는 상대방의 얼굴 영상을 사용자 단말기를 통해 피검자에게 제공하는 단계, 상기 피검자가 상기 사용자 단말기의 화면을 통해 제공되는 상기 상대방의 얼굴 영상을 주시하는 동안 카메라를 통해 촬영된 상기 피검자의 얼굴 영상을 딥러닝 모델에 적용하여 상기 피검자의 표정을 분석하는 단계, 상기 피검자의 표정과 상기 상대방의 표정이 일치하는지에 대한 표정 피드백 비율을 산출하는 단계, 시선 추적 장치를 통해 트래킹된 상기 피검자의 시선 처리 결과를 이용하여, 상기 피검자가 상기 상대방의 눈 부위를 주시하는지에 대한 몰입 비율을 산출하는 단계, 상기 산출된 몰입 비율과 표정 피드백 비율을 이용하여 상호작용 피드백 수치를 연산하는 단계, 그리고 상기 피검자에 대한 상호작용 피드백 수치를 상기 사용자 단말기로 제공하는 단계를 포함하는 사회적 상호작용 피드백 방법
|
| 2 |
2
제1항에 있어서, 상기 상대방의 얼굴 영상을 사용자 단말기를 통해 피검자에게 제공하는 단계, 일정시간 간격으로 상기 상대방의 웃는 영상 또는 무표정 영상을 교대로 사용자 단말기의 화면 상에 제공하는 사회적 상호작용 피드백 방법
|
| 3 |
3
제1항에 있어서, 상기 피검자의 표정을 분석하는 단계는, RMN(Residual Masking Network)를 기반으로 하는 딥러닝 모델을 이용하여 상기 피검자의 얼굴 영상으로부터 화남, 중립, 슬픔, 혐오, 행복, 놀람 및 두려움 중에서 적어도 하나의 표정을 인식하는 사회적 상호작용 피드백 방법
|
| 4 |
4
제1항에 있어서, 상기 표정 피드백 비율을 산출하는 단계는,다음의 수학식을 통해 상대방의 표정과 피검자의 표정이 일치하는 경우의 시간을 측정하여 표정 피드백 비율을 산출하는 사회적 상호작용 피드백 방법;여기서, A는 사용자 단말기 상에 상대방의 얼굴 영상이 표시된 총 시간(Sec)이고, B는 피검자의 표정과 상대방의 표정이 일치하는 경우의 시간(Sec)이고, C는 상대방이 무표정인 상태에서 피검자가 웃는 표정을 하는 경우의 시간(Sec)이고, D는 상대방이 웃는 표정인 상태에서 피검자가 무표정인 경우의 시간(Sec)을 나타내는 사회적 상호작용 피드백 방법
|
| 5 |
5
제1항에 있어서, 상기 몰입 비율을 산출하는 단계는,상기 상대방의 눈 부위를 주시하는 시간을 측정하여 다음의 수학식을 통해 상기 피검자의 몰입 비율을 산출하는 사회적 상호작용 피드백 방법
|
| 6 |
6
제1항에 있어서, 상기 상호작용 피드백 수치를 연산하는 단계는, 상기 표정 피드백 비율과 몰입 비율을 평균 처리하여 상기 상호작용 피드백 수치를 연산하는 사회적 상호작용 피드백 방법
|
| 7 |
7
딥러닝을 이용한 사회적 상호작용 피드백 시스템에 있어서, 일정시간 간격으로 표정이 변화하는 상대방의 얼굴 영상을 사용자 단말기를 통해 피검자에게 제공하는 영상 전송부,상기 피검자가 상기 사용자 단말기의 화면을 통해 제공되는 상기 상대방의 얼굴 영상을 주시하는 동안 카메라를 통해 촬영된 상기 피검자의 얼굴 영상을 딥러닝 모델에 적용하여 상기 피검자의 표정을 분석하는 표정 분석부,상기 피검자의 표정과 상기 상대방의 표정이 일치하는지에 대한 표정 피드백 비율을 산출하고, 시선 추적 장치를 통해 트래킹된 상기 피검자의 시선 처리 결과를 이용하여 상기 피검자가 상기 상대방의 눈 부위를 주시하는지에 대한 몰입 비율을 산출하는 제어부, 그리고상기 산출된 몰입 비율과 표정 피드백 비율을 이용하여 상호작용 피드백 수치를 연산하여 상기 사용자 단말기로 제공하는 피드백부를 포함하는 사회적 상호작용 피드백 시스템
|
| 8 |
8
제7항에 있어서, 상기 영상 전송부는,일정시간 간격으로 상기 상대방의 웃는 영상 또는 무표정 영상을 교대로 사용자 단말기의 화면 상에 제공하는 사회적 상호작용 피드백 시스템
|
| 9 |
9
제7항에 있어서, 상기 표정 분석부는,RMN(Residual Masking Network)를 기반으로 하는 딥러닝 모델을 이용하여 상기 피검자의 얼굴 영상으로부터 화남, 중립, 슬픔, 혐오, 행복, 놀람 및 두려움 중에서 적어도 하나의 표정을 인식하는 사회적 상호작용 피드백 시스템
|
| 10 |
10
제7항에 있어서, 상기 제어부는,다음의 수학식을 통해 상대방의 표정과 피검자의 표정이 일치하는 경우의 시간을 측정하여 표정 피드백 비율을 산출하는 사회적 상호작용 피드백 시스템;여기서, A는 사용자 단말기 상에 상대방의 얼굴 영상이 표시된 총 시간(Sec)이고, B는 피검자의 표정과 상대방의 표정이 일치하는 경우의 시간(Sec)이며, C는 상대방이 무표정인 상태에서 피검자가 웃는 표정을 하는 경우의 시간(Sec)이고, D는 상대방이 웃는 표정인 상태에서 피검자가 무표정인 경우의 시간(Sec)을 나타내는 사회적 상호작용 피드백 시스템
|
| 11 |
11
제7항에 있어서, 상기 제어부는,상기 상대방의 눈 부위를 주시하는 시간을 측정하여 다음의 수학식을 통해 상기 피검자의 몰입 비율을 산출하는 사회적 상호작용 피드백 시스템
|
| 12 |
12
제7항에 있어서, 상기 피드백부는,상기 표정 피드백 비율과 몰입 비율을 평균 처리하여 상기 상호작용 피드백 수치를 연산하는 사회적 상호작용 피드백 시스템
|
