| 1 |
1
소리 복원을 위한 전자 장치에 있어서,카메라를 통해 촬영된 영상을 입력받는 영상 입력부; 및상기 영상 입력부를 통해 입력된 영상으로부터 분할된 복수의 패치를 생성하고, 상기 각각의 패치 내에 포함된 오브젝트의 진동과 관련한 모션 정보를 이용하여, 상기 각각의 패치에 대하여 상기 영상의 소리를 복원하고, 상기 각각의 패치에 대하여 복원된 소리들 중 잡음이 가장 적은 소리를 선택하여 상기 영상의 소리를 복원하도록 제어하는 프로세서;를 포함하며,상기 프로세서는,상기 각각의 패치에 대하여 복원된 소리들 중 잡음 에너지 스펙트럼 밀도(Power Spectral Density) 평균과 분산 값의 가중치 합이 최소인 소리를 상기 잡음이 가장 적은 소리로 선택하는 것을 특징으로 하는, 전자 장치
|
| 2 |
2
제1항에 있어서,상기 프로세서는,상기 입력된 영상 내에서 복수의 모서리(corner) 영역을 검출하고, 상기 검출된 복수의 모서리 영역을 상기 입력된 영상으로부터 분할하여 상기 복수의 패치를 생성하는 것을 특징으로 하는, 전자 장치
|
| 3 |
3
삭제
|
| 4 |
4
제2항에 있어서,상기 프로세서는,해리스 모서리 검출(harris corner detector) 알고리즘을 이용하여, 상기 복수의 모서리 영역을 검출하는 것을 특징으로 하는, 전자 장치
|
| 5 |
5
제1항에 있어서,상기 프로세서는,상기 복수의 패치에 대하여 푸리에 변환을 수행하고, 푸리에 변환이 수행된 복수의 패치에 대하여 특정 주파수 및 방향 데이터를 가진 필터를 적용하여 각 프레임의 픽셀마다의 위상을 검출하며, 상기 검출된 위상을 이용하여 상기 각 프레임의 모션 정보를 획득하는 것을 특징으로 하는, 전자 장치
|
| 6 |
6
제5항에 있어서,상기 프로세서는,상기 각 프레임의 모션 정보로서, 현재(t) 프레임에서 검출된 픽셀별 위상과 첫 번째(t0) 프레임의 대응되는 픽셀의 위상과의 차이를 나타내는 프레임을 산출하는 것을 특징으로 하는, 전자 장치
|
| 7 |
7
제1항에 있어서,상기 프로세서는,상기 입력된 영상에 대하여 푸리에 변환을 수행하고, 푸리에 변환이 수행된 영상에 대하여 특정 주파수 및 방향 데이터를 가진 필터를 적용하여 각 프레임의 픽셀마다의 위상을 검출하며, 상기 검출된 위상을 이용하여 상기 각 프레임의 모션 정보로서, 현재(t) 프레임에서 검출된 픽셀별 위상과 첫 번째(t0) 프레임의 대응되는 픽셀의 위상과의 차이를 나타내는 프레임을 산출하며, 상기 산출된 프레임을 분할하여 복수의 패치를 생성하고, 생성된 패치에 대하여 영상의 소리를 복원하며, 상기 각각의 패치에 대하여 복원된 소리들 중 잡음이 가장 적은 소리를 상기 영상의 소리로 선택하는 것을 특징으로 하는, 전자 장치
|
| 8 |
8
소리 복원 방법에 있어서,카메라를 통해 촬영된 영상을 입력받는 단계;상기 입력된 영상으로부터 분할된 복수의 패치를 생성하는 단계;상기 각각의 패치 내에 포함된 오브젝트의 진동과 관련한 모션 정보를 이용하여, 상기 각각의 패치에 대하여 상기 영상의 소리를 복원하는 단계; 및상기 각각의 패치에 대하여 복원된 소리들 중 잡음이 가장 적은 소리를 상기 영상의 소리로 선택하는 단계;를 포함하며,상기 선택하는 단계는,상기 각각의 패치에 대하여 복원된 소리들 중 잡음 에너지 스펙트럼 밀도(Power Spectral Density) 평균과 분산 값의 가중치 합이 최소인 소리를 상기 잡음이 가장 적은 소리로 선택하는 것을 특징으로 하는, 소리 복원 방법
|
| 9 |
9
제8항에 있어서,상기 생성하는 단계는,상기 입력된 영상 내에서 복수의 모서리(corner) 영역을 검출하는 단계; 및상기 검출된 복수의 모서리 영역을 상기 입력된 영상으로부터 분할하여 상기 복수의 패치를 생성하는 단계;를 포함하는 것을 특징으로 하는, 소리 복원 방법
|
| 10 |
10
삭제
|
| 11 |
11
제9항에 있어서,상기 검출하는 단계는,해리스 모서리 검출(harris corner detector) 알고리즘을 이용하여, 상기 복수의 모서리 영역을 검출하는 것을 특징으로 하는, 소리 복원 방법
|
| 12 |
12
제8항에 있어서,상기 복수의 패치에 대하여 푸리에 변환을 수행하는 단계;상기 푸리에 변환이 수행된 복수의 패치에 대하여 특정 주파수 및 방향 데이터를 가진 필터를 각각 적용하여 각 프레임의 픽셀마다 위상을 검출하는 단계; 및상기 검출된 위상을 이용하여 상기 패치의 각 프레임의 모션 정보를 획득하는 단계;를 더 포함하는 것을 특징으로 하는, 소리 복원 방법
|
| 13 |
13
제12항에 있어서,상기 모션 정보를 획득하는 단계는,상기 각 프레임의 모션 정보로서, 현재(t) 프레임에서 검출된 픽셀별 위상과 첫 번째(t0) 프레임의 대응되는 픽셀의 위상과의 차이를 나타내는 프레임을 산출하는 것을 특징으로 하는, 소리 복원 방법
|
| 14 |
14
제8항에 있어서,상기 복수의 패치를 생성하는 단계는,상기 입력된 영상에 대하여 푸리에 변환을 수행하는 단계;상기 푸리에 변환이 수행된 영상에 대하여 특정 주파수 및 방향 데이터를 가진 필터를 적용하여 각 프레임의 픽셀마다의 위상을 검출하는 단계;상기 검출된 위상을 이용하여 상기 각 프레임의 모션 정보로서, 현재(t) 프레임에서 검출된 픽셀별 위상과 첫 번째(t0) 프레임의 대응되는 픽셀의 위상과의 차이를 나타내는 프레임을 산출하는 단계; 및상기 산출된 프레임을 분할하여 복수의 패치를 생성하는 단계;를 포함하는 것을 특징으로 하는 소리 복원 방법
|
