| 1 |
1
방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템에 있어서, TV 화면의 정면 상단에 시청자를 향하는 카메라가 촬영한 입력 영상 I로부터 입력층/은닉층/출력층의 다층 구조의 신경망(CNN, Conventional Neural Network)을 사용하여 영상의 특징 벡터 x를 추출하는 입력 특징 추출부; 상기 입력 특징 추출부로부터 추출된 상기 영상의 특징 벡터 x를 사용하여 함수를 반복 적용하여 출력 벡터 를 계산하고, 최종 출력 벡터의 차원은 이 되며, 즉, 4개의 숫자는 각각 Valence 값(v), Arousal 값(W)의 감정의 세기와 Attention에 해당하는 영상의 x, y 좌표를 나타내며, L 개의 은닉층(hidden layer)이 존재할 경우 1번째 ~ (L-1) 번째의 은닉 특징 벡터들을 추출하는 은닉 특징 추출부; 및 Multilayer Perceptron에 의해 상기 은닉 특징 추출부로부터 추출된 은닉 특징 벡터들로부터 시청자의 감정이 얼마나 긍정적(Positive) 또는 부정적(Negative) 인지를 1차원의 숫자로 나타내는 Valence 값, 시청자의 감정의 세기(Arousal)를 1차원의 숫자로 나타내는 Arousal 값, 시청자가 지금 시청하는 TV 화면의 어느 부분을 주의 깊게 보고 있는지를 2차원 화면의 좌표(x,y)로 나타내는 Attention을 계산하는 Valence/Arousal/Attention 벡터 계산부를 포함하며, 시청자가 주시하는 2차원 화면의 좌표 (x,y)를 나타내는 Attention의 대상(object)이 인물이면 그 인물 정보나 인물의 홈페이지 표시하며, 그 대상이 물건이면 그 물건의 정보를 표시하거나 및 구매 가능 쇼핑몰 사이트를 연결하는, 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템
|
| 2 |
2
제1항에 있어서, 상기 은닉 특징 추출부는 상기 입력 특징 추출부로부터 추출된 상기 영상의 특징 벡터 x를 사용하여 함수를 반복 적용하여 출력 벡터 를 계산하고, 입력 특징 벡터는 로 설정되며, 1번째부터 L개의 은닉층(hidden layer)이 존재할 경우 h1,h2,
|
| 3 |
3
제1항에 있어서, 상기 Valence/Arousal/Attention 벡터 계산부와 연결되며, 계산된 Valence 값(v), 시청자의 감정의 세기 Arousal 값(W), 2차원 화면의 좌표(x,y)로 나타내는 Attention 값을 화면에 출력하는 표시부를 더 포함하는 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템
|
| 4 |
4
제1항에 있어서, 상기 Valence/Arousal/Attention 벡터 계산부와 연결되며, 계산된 Valence 값(v), 감정의 세기 Arousal 값(W), 2차원 화면의 좌표(x,y)로 나타내는 Attention 값을 Bluetooth, 또는 Wi-Fi를 통해 스마트폰으로 전송하여 스마트폰의 앱(App)으로 시청자의 감정 상태를 표시되도록 하는 스마트폰 전송부를 더 포함하는 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템
|
| 5 |
5
제1항에 있어서, 상기 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템을 통해 예측된 Arousal 값이 일정 숫자 이상일 경우에, 미디어 데이터의 중간에 소정 시간 동안의 광고를 삽입하여 TV-셋탑박스의 저장부에 기 저장된 광고 동영상과 음성 데이터 또는 실시간 방송 콘텐츠와 함께 전송된 광고 동영상과 음성 데이터 또는 자막 광고가 재생되도록 하는 광고 삽입부를 더 포함하는 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템
|
| 6 |
6
제1항에 있어서, 상기 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템을 통해 추정된 Arousal 값이 일정 숫자 이상일 경우에, 시청자가 TV를 보면서 T-Commerce 쇼핑몰 서버 URL을 출력하여 바로 쇼핑몰 시스템으로 연결되어 쇼핑몰의 제품 구매 주문 데이터를 전송하고, 해당 주문 데이터에 대하여 결제하는 쇼핑몰 구매부를 더 포함하는 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템
|
| 7 |
7
삭제
|
| 8 |
8
입력 특징 추출부, 은닉 특징 추출부, 및 Valence/Arousal/Attention 벡터 계산부를 포함하는 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템에 있어서, (a) TV 화면의 정면 상단에 시청자를 향하는 카메라가 촬영한 입력 영상 I로부터 입력 특징 추출부에 의해 입력층/은닉층/출력층의 다층 구조의 신경망(CNN, Conventional Neural Network)을 사용하여 영상의 특징 벡터 x를 추출하는 단계; (b) 상기 입력 특징 추출부로부터 추출된 상기 영상의 특징 벡터 x를 사용하여 상기 은닉 특징 추출부에 의해 함수를 반복 적용하여 출력 벡터 를 계산하고, 입력 특징 벡터는 로 설정되며, 1번째부터 L개의 은닉층(hidden layer)이 존재할 경우 h1,h2,
|
| 9 |
9
제8항에 있어서, 상기 Valence/Arousal/Attention 벡터 계산부와 연결된 표시부로 계산된 Valence 값(v), 감정의 세기 Arousal 값(W), 2차원 화면의 좌표(x,y)로 나타내는 Attention 값을 화면에 출력하는 단계를 더 포함하는 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 방법
|
| 10 |
10
제8항에 있어서, 상기 Valence/Arousal/Attention 벡터 계산부와 연결된 스마트폰 전송부로부터 계산된 Valence 값(v), 감정의 세기 Arousal 값(W), 2차원 화면의 좌표(x,y)로 나타내는 Attention 값을 Bluetooth, 또는 Wi-Fi를 통해 스마트폰으로 전송하며, 스마트폰의 앱(App)으로 시청자의 감정 상태를 표시되도록 하는 단계를 더 포함하는 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 방법
|
| 11 |
11
삭제
|
| 12 |
12
제8항에 있어서, 상기 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템을 통해 예측된 Arousal 값이 일정 숫자 이상일 경우에, 광고 삽입부에 의해 미디어 데이터의 중간에 또는 프로그램과 프로그램 사이에 소정 시간 동안의 광고를 삽입하여 TV-셋탑박스의 저장부에 기 저장된 광고 동영상과 음성 데이터 또는 실시간 방송 콘텐츠와 함께 전송된 광고 동영상과 음성 데이터 또는 자막 광고가 재생하는 단계를 더 포함하는 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 방법
|
| 13 |
13
제8항에 있어서, 상기 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템을 통해 추정된 Arousal 값이 일정 숫자 이상일 경우에, 쇼핑몰 구매부에 의해 시청자가 TV를 보면서 T-Commerce 쇼핑몰 서버 URL을 출력하여 바로 쇼핑몰 시스템으로 연결되어 쇼핑몰의 제품 구매 주문 데이터를 전송하고, 해당 주문 데이터에 대하여 결제하는 단계를 더 포함하는 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 방법
|
