| 1 |
1
스마트폰에서 실행된 어플리케이션에서 아이디 및 비밀번호를 네트워크로 보내어 서버 프로그램으로부터 사용자 인증받는 인증단계; 상기 인증된 사용자인 경우, 어플리케이션에 의해 제어부가 서버 프로그램으로부터 다수 개의 텍스트 및 음성 데이터를 수신하는 데이터 수신단계; 상기 제어부가 다수 개의 텍스트 및 음성데이터를 통해 각각의 발음평가를 할 수 있도록 화면을 구성하는 화면 구성단계; 각각의 발음평가 진행시 스마트폰의 음성입력부를 통해 사용자 음성 신호를 입력받은 후, 상기 음성입력부를 통해 입력된 각각의 발음평가에 대한 사용자 음성 신호를 제어부에서 사용자 음성 데이터로 변환하는 음성데이터 변환단계; 상기 제어부에서 변환된 사용자 음성 데이터와 서버 프로그램으로부터 수신한 음성 데이터를 비교한 후, 발음 정확도, 말의 속도, 억양 유사도, 또는 목소리의 크기에 대한 결과 데이터를 도출하는 결과도출단계; 상기 제어부에서 도출된 결과 데이터를 통해 다수 개의 발음평가에 대한 결과를 발음진단결과화면에 나타내는 결과출력단계; 를 포함하는 스마트폰 기반 음성인식 어플리케이션 제어 방법에 있어서,상기 음성데이터 변환단계는 발음평가화면에서 마이크 버튼을 누르게 되면, 스마트폰은 현재 진행중인 발음평가에 대한 사용자 음성 신호를 입력받게 되며, 각각의 발음평가 진행시 스마트폰의 음성입력부를 통해 사용자 음성 신호를 입력받은 후, 제어부는 각각의 발음평가에 대한 사용자 음성 신호를 음성텍스트변환(speech to text)을 통해 사용자 음성 데이터로 변환하는 것이며,상기 사용자 음성 신호를 주파수로 변환하기 위해 MFCCs(Mel Frequency Cepstral Coefficients)을 얻는 것이며,상기 스마트폰은 서버 프로그램과 신호를 통신할 수 있는 통신부와; 사용자의 음성을 감지하는 소리감지부와; 터치를 통해 신호를 입력하는 터치 패널과; 사용자에게 음성을 들려주는 소리출력부와; 화면을 출력하는 디스플레이 패널과; 상기 통신부, 소리감지부, 또는 터치 패널로부터 신호를 받은 후, 설치된 어플리케이션의 설정에 따라 통신부, 소리출력부, 또는 디스플레이 패널로 제어를 위한 신호를 보내는 제어부; 를 포함하고,상기 스마트폰은 어플리케이션이 설치되어 실행되고, 스마트폰의 제어부는 어플리케이션의 설정에 따라 동작을 제어하게 되되, 통신부를 통해 서버 프로그램과 통신하여 서버 프로그램에 데이터를 주고받는 것이며,상기 스마트폰의 어플리케이션은 사용자를 인증하는 로그인 화면과; 상기 로그인 화면에서 사용자 인증한 후 나타나는 로딩화면과; 상기 로딩화면 이후 나타나는 안내문구화면과; 상기 안내문구화면 이후 나타나며, 발음평가, 발음연습, 발음연습결과 중에서 하나의 버튼을 선택할 수 있도록 각각의 버튼이 형성된 메인화면과; 상기 메인화면의 발음평가 버튼을 누르면 나타나며, 다수 개의 발음평가를 순차적으로 진행하여 사용자의 음성을 입력하여 평가를 실시하는 발음평가화면과; 상기 발음평가화면이 종료되면 나타나며, 상기 발음평가화면에서 실시한 모든 발음평가에 대한 진단결과를 목록으로 보여주는 발음진단결과화면과; 상기 발음진단결과화면의 진단결과 목록에서 하나를 선택하여 구체적인 진단결과를 보여주는 상세발음진단결과화면과; 상기 메인화면의 발음연습 버튼을 누르면 나타나며, 다수 개의 발음평가를 순차적으로 진행하여 서버에서 수신한 정확한 발음의 음성을 출력하여 사용자에게 들려주며, 정확한 발음의 음성을 들은 사용자가 동일한 단어를 말하여 사용자의 음성을 입력함으로써 사용자에게 발음 연습시키는 발음연습화면과; 상기 메인화면의 발음연습결과 버튼을 누르면 나타나며, 발음연습화면에서의 연습결과를 출력하는 연습결과화면; 을 포함하고,상기 발음진단결과화면은 여러 개의 구역을 상부에서 하부로 순서대로 출력하되, 상기 제일 상부의 구역에는 총진단결과 구역이 나타나며, 상기 총진단결과 구역 아래로 발음평가화면에서 실시한 발음평가를 개별결과 구역이 순서대로 나타나고, 상기 총진단결과 구역에는 좌측에는 모든 발음평가에 대한 현재까지 진단횟수와, 모든 진단결과를 평균으로 나타낸 유사도인 전체유사도가 나타나며, 우측에는 상기 전체유사도에 따라 변화된 이미지가 나타나는 것이며,상기 발음진단결과화면에서 개별결과 구역은 발음평가화면에서 실시한 발음평가의 수만큼 나타나며, 해당 발음평가에서 평가한 문장을 그대로 나타내며, 아래에는 분석한 결과 데이터를 바탕으로 발음 정확도, 말의 속도, 목소리 크기, 또는 억양 유사도에 대한 결과 데이터를 퍼센트 단위로 변환하여 결과 텍스트를 출력하게 되는 것이되,상기 발음 정확도 또는 억양 유사도에 대한 결과 데이터를 통한 퍼센트 범위는 0%이상 100%이하이며 완전히 유사할 때를 100%로 하며, 전혀 다른 경우를 0%로 하고, 상기 말의 속도 또는 목소리 크기에 대한 결과 데이터를 통한 퍼센트는 완전히 유사할 때를 100%로 하는 것이며,상기 말의 속도에 대한 결과 데이터를 통한 퍼센트가 100%보다 작을수록 사용자 음성의 말의 속도가 느린 것이며, 반대로 100%보다 클수록 사용자의 음성속도가 빠른 것이며, 상기 목소리 크기에 대한 결과 데이터를 통한 퍼센트가 100%보다 작을수록 사용자의 목소리가 작은 것이며, 100%보다 클수록 사용자의 목소리가 큰 것이며,상기 발음 정확도의 결과 텍스트를 출력 할 때, 해당 데이터가 0%이상 50%미만이면 '매우 많이 다릅니다
|
