| 1 |
1
멀티모달 다중 화자 대화 속 인물 식별 방법에 있어서, 다중 화자 대화에서, 대본 정보의 멘션 및 상기 대본 정보 상에서 상기 멘션을 포함하는 문장이 발화되는 시점의 영상 정보를 분석함에 따라 각각의 표현 정보를 획득하는 단계; 및 상기 획득된 각각의 표현 정보에 기초하여 상기 다중 화자 대화에서의 멘션이 의미하는 인물을 식별하는 단계를 포함하는 인물 식별 방법
|
| 2 |
2
제1항에 있어서, 상기 대본 정보의 텍스트 데이터와 상기 대본 정보 상에서 상기 멘션을 포함하는 문장이 발화되는 시점에 해당하는 영상 정보를 정렬함에 따라 상기 대본 정보와 상기 영상 정보를 결합하여 인물을 식별하기 위한 데이터를 전처리하는 단계를 더 포함하는 인물 식별 방법
|
| 3 |
3
제2항에 있어서, 상기 전처리하는 단계는, 상기 대본 정보의 텍스트 데이터에 시간 정보를 부착하기 위하여 자막 데이터와 동기화하는 단계를 포함하는 인물 식별 방법
|
| 4 |
4
제3항에 있어서, 상기 전처리하는 단계는, 상기 자막 데이터의 대사 하나와 상기 텍스트 데이터의 대사 하나를 기본 단위로 하여, 각 대본 정보의 대사에 대하여 토큰 유사도가 기 설정된 기준 값 이상인 후보군을 추출하고, 상기 추출된 후보군을 최장 증가 수열 알고리즘에 기초하여 각 대본 정보의 대사에 0 또는 1개의 자막 데이터를 매칭하여 상기 텍스트 데이터에 시간 정보를 부착하는 단계를 포함하는 인물 식별 방법
|
| 5 |
5
제2항에 있어서, 상기 전처리하는 단계는, 상기 멘션을 포함하는 문장이 발화되는 시점에 해당하는 영상 정보의 구간을 초당 기 설정된 개수의 이미지를 가지는 각 장면 이미지로 분할하고, 상기 분할된 각 장면 이미지에 대하여 미리 학습된 네트워크를 통과시켜 기 설정된 크기의 장면의 벡터값을 추출하는 단계를 포함하는 인물 식별 방법
|
| 6 |
6
제1항에 있어서, 상기 각각의 표현 정보를 획득하는 단계는, 상기 대본 정보의 문맥 흐름과 화자 정보를 반영하여 대본 정보 내의 각 멘션의 특징을 나타내는 벡터 표현을 생성하고, 상기 멘션이 발화되는 시간에 따라 영상 정보의 특징을 나타내는 벡터 표현을 생성하는 단계를 포함하는 인물 식별 방법
|
| 7 |
7
제1항에 있어서, 상기 각각의 표현 정보를 획득하는 단계는, 상기 다중 화자 대화에서, 미리 정의된 등장 인물을 대상으로 멘션이 나타내는 인물을 분류하는 단계를 포함하는 인물 식별 방법
|
| 8 |
8
제7항에 있어서, 상기 각각의 표현 정보를 획득하는 단계는, 멘션의 단어를 제1 벡터로 표현하고, 상기 멘션의 발화자를 랜덤하게 제2 벡터로 표현한 뒤, 상기 제1 벡터 및 상기 제2 벡터를 이용하여 Bi-LSTM을 통과시킴에 따라 제3 벡터(hi)를 획득하고, 영상 정보에 대하여 ResNet-152를 통과한 제1 영상 정보 벡터를 ReLu 활성함수를 가진 리니어 레이어(Linear Layer)에 통과시킴에 따라 제2 영상 정보 벡터(vi)를 획득하는 단계를 포함하는 인물 식별 방법
|
| 9 |
9
제8항에 있어서, 상기 각각의 표현 정보를 획득하는 단계는, 상기 획득된 제2 영상 정보 벡터(vi)를 상기 획득된 제3 벡터(hi)와 결합시켜 인물을 식별하고자 하는 멘션을 표현하는 벡터(ei)와 각 인물의 특징을 표현하는 개체 라이브러리(Entity Library) 행렬에 대한 벡터와 코사인 유사도(Cosine Similarity)를 계산하고, 상기 계산된 값을 소프트맥스(Softmax) 레이어를 통과시켜 상기 멘션이 나타내는 인물을 분류하는 단계를 포함하는 인물 식별 방법
|
| 10 |
10
제1항에 있어서, 상기 각각의 표현 정보를 획득하는 단계는, 상기 다중 화자 대화에서, 미리 정의된 인물의 정보없이 상호참조 해결에 기초하여 멘션이 나타내는 인물을 분류하는 단계를 포함하는 인물 식별 방법
|
| 11 |
11
제10항에 있어서, 상기 각각의 표현 정보를 획득하는 단계는, 멘션의 단어를 임베딩과 Bi-LSTM 레이어를 통해 표현하고, 각 멘션이 복수 개의 단어로 이루어져 있는 경우, 어텐션으로 학습시키고, 어텐션 레이어를 통과한 멘션 표현 벡터(gi)를 생성하고, 상기 멘션이 발화된 시점의 ResNet을 통과한 영상정보 벡터를 제1 완전 연결 레이어(Fully Connected Layer)에 통과시킨 벡터(vi)를 생성하고, 상기 생성된 벡터(vi)를 선행사 점수를 계산하는 제2 완전 연결 레이어에 입력하는 단계를 포함하는 인물 식별 방법
|
| 12 |
12
제11항에 있어서, 상기 각각의 표현 정보를 획득하는 단계는, 복수 개의 멘션 표현 벡터간의 상호참조 여부를 판단하기 위하여 각 멘션이 발화된 시점의 영상 정보를 반영하여 선행사 점수를 계산하고, 상기 계산된 선행사 점수에 기초하여 멘션 후보를 선정하는 단계를 포함하는 인물 식별 방법
|
| 13 |
13
제12항에 있어서, 상기 각각의 표현 정보를 획득하는 단계는, 상기 선정된 멘션 후보에 기초하여 동일한 대상을 나타내는 멘션들끼리 그룹을 생성하고, 상기 생성된 그룹 내의 각 멘션들을 기 설정된 우선 순위에 기초하여 실제 인물과 매칭하는 단계를 포함하는 인물 식별 방법
|
| 14 |
14
제1항에 있어서, 상기 획득된 각각의 표현 정보에 기초하여 상기 다중 화자 대화에서의 멘션이 의미하는 인물을 식별하는 단계는,상기 다중 화자 대화에서의 각 멘션이 지칭하는 인물을 식별한 식별 결과를 출력하는 단계를 포함하는 인물 식별 방법
|
| 15 |
15
멀티모달 다중 화자 대화 속 인물 식별 시스템에 있어서, 다중 화자 대화에서, 대본 정보의 멘션 및 상기 대본 정보 상에서 상기 멘션을 포함하는 문장이 발화되는 시점의 영상 정보를 분석함에 따라 각각의 표현 정보를 획득하는 획득부; 상기 획득된 각각의 표현 정보에 기초하여 상기 다중 화자 대화에서의 멘션이 의미하는 인물을 식별하는 식별부; 및 상기 대본 정보의 텍스트 데이터와 상기 대본 정보 상에서 상기 멘션이 발화되는 시점에 해당하는 영상 정보를 정렬하여 상기 대본 정보와 상기 영상 정보를 결합하여 인물을 식별하기 위한 데이터를 전처리하는 전처리부를 포함하는 인물 식별 시스템
|
