説明
chrome.ttsEngine API を使用して、拡張機能でテキスト読み上げ(TTS)エンジンを実装します。拡張機能がこの API を使用して登録すると、拡張機能または Chrome アプリが tts API を使用して音声生成を行うたびに、発話内容を含むイベントとその他のパラメータが拡張機能に送信されます。拡張機能は、利用可能なウェブ テクノロジーを使用して音声を合成して出力し、ステータスをレポートするイベントを呼び出し元関数に送信できます。
権限
ttsEngineコンセプトと使用方法
拡張機能は、音声エンジンとして登録できます。これにより、tts.speak() や tts.stop() などの関数への呼び出しの一部またはすべてをインターセプトし、代替実装を提供できます。拡張機能は、サーバーからの音声ストリーミングや HTML5 音声など、利用可能なあらゆるウェブ テクノロジーを使用して音声を提供できます。拡張機能では、発話に対して別の処理を行うこともできます。たとえば、ポップアップでクローズド キャプションを表示したり、ログメッセージとしてリモート サーバーに送信したりできます。
TTS エンジンを実装するには、拡張機能で「ttsEngine」権限を宣言し、拡張機能のマニフェストで提供するすべての音声を次のように宣言する必要があります。
{
"name": "My TTS Engine",
"version": "1.0",
"permissions": ["ttsEngine"],
"tts_engine": {
"voices": [
{
"voice_name": "Alice",
"lang": "en-US",
"event_types": ["start", "marker", "end"]
},
{
"voice_name": "Pat",
"lang": "en-US",
"event_types": ["end"]
}
]
},
"background": {
"page": "background.html",
"persistent": false
}
}
拡張機能は任意の数の音声を指定できます。
voice_name パラメータは必須です。名前は、音声の名前と使用されたエンジンを識別できる程度に説明的なものにする必要があります。2 つの拡張機能が同じ名前で音声を登録する可能性は低いですが、クライアントは合成を行う拡張機能の ID を指定できます。
lang パラメータは省略可能ですが、指定することを強くおすすめします。ほとんどの場合、音声は 1 つの言語でのみ音声を合成できます。エンジンが複数の言語をサポートしている場合、言語ごとに個別の音声を簡単に登録できます。1 つの音声で複数の言語を処理できるまれな状況では、2 つの個別の音声をリストして、内部で同じロジックを使用して処理するのが最も簡単です。ただし、任意の言語の発話に対応する音声を作成する場合は、拡張機能のマニフェストから lang パラメータを省略します。
最後に、エンジンが音声合成の進行状況についてクライアントを更新するイベントを送信できる場合は、event_types パラメータが必要です。少なくとも、発話の終了を示す 'end' イベントタイプをサポートすることを強くおすすめします。そうしないと、Chrome はキューに登録された発話をスケジュールできません。
読み込みが完了すると、拡張機能は chrome.ttsEngine.updateVoices を呼び出して、宣言された音声のリストを置き換えることができます。(updateVoices へのプログラマティックな呼び出しで使用されるパラメータは、キャメルケース(voiceName など)です。マニフェスト ファイルで使用される voice_name とは異なります)。
送信できるイベントタイプは、speak() メソッドが受け取るイベントタイプに対応しています。
'start': エンジンが発話を開始しました。'word': 単語の境界に達しました。event.charIndexを使用して、現在の音声の位置を特定します。'sentence': 文の境界に達しました。event.charIndexを使用して、現在の音声の位置を特定します。'marker': SSML マーカーに到達しました。event.charIndexを使用して、現在の音声の位置を特定します。'end': エンジンが発話を終了しました。'error': エンジン固有のエラーが発生したため、この発話は発音できません。event.errorMessageで詳細情報を渡します。
'interrupted' イベントと 'cancelled' イベントは音声エンジンによって送信されません。Chrome によって自動的に生成されます。
テキスト読み上げクライアントは、以下の説明のとおり音声イベント リスナーを登録している場合、tts.getVoices を呼び出すことで拡張機能のマニフェストから音声情報を取得できます。
音声イベントを処理する
クライアントのリクエストに応じて音声を生成するには、拡張機能で onSpeak と onStop の両方のリスナーを登録する必要があります。
const speakListener = (utterance, options, sendTtsEvent) => {
sendTtsEvent({type: 'start', charIndex: 0})
// (start speaking)
sendTtsEvent({type: 'end', charIndex: utterance.length})
};
const stopListener = () => {
// (stop all speech)
};
chrome.ttsEngine.onSpeak.addListener(speakListener);
chrome.ttsEngine.onStop.addListener(stopListener);
特定の発話リクエストを拡張機能に送信するかどうかの判断は、拡張機能のマニフェストで特定の発話パラメータがサポートされているかどうか、および onSpeak と onStop のリスナーが登録されているかどうかのみに基づいて行われます。つまり、拡張機能が音声リクエストを受け取り、それを処理するかどうかを動的に決定する方法はありません。
型
AudioBuffer
音声バッファと関連データを含むパラメータ。
プロパティ
-
audioBuffer
ArrayBuffer
テキスト読み上げエンジンからの音声バッファ。長さは audioStreamOptions.bufferSize とまったく同じで、audioStreamOptions.sampleRate でモノラルとしてエンコードされ、リニア PCM、32 ビット符号付き浮動小数点(javascript の Float32Array 型)としてエンコードされている必要があります。
-
charIndex
number 省略可
この音声バッファに関連付けられた文字インデックス。
-
isLastBuffer
boolean 省略可
この音声バッファが発話されるテキストの最後のものである場合は true。
AudioStreamOptions
エンジンによって生成されることが想定される音声ストリーム形式が含まれます。
プロパティ
-
bufferSize
数値
音声バッファ内のサンプル数。
-
sampleRate
数値
音声バッファで想定されるサンプルレート。
LanguageInstallStatus
音声のインストール ステータス。
列挙型
"notInstalled"
"installing"
"installed"
"failed"
LanguageStatus
言語のインストール ステータス。
プロパティ
-
エラー
文字列 省略可
インストール エラーの詳細。言語のインストールに失敗した場合に、必要に応じて入力されます。
-
installStatus
インストール ステータス。
-
lang
文字列
言語コードと地域コードの形式の言語文字列。地域は省略可能です。例: en、en-AU、zh-CH。
LanguageUninstallOptions
特定の言語をアンインストールするためのオプション。
プロパティ
-
uninstallImmediately
ブール値
TTS クライアントが言語の即時アンインストールを希望している場合は true。エンジンは、このパラメータとリクエスト元の情報に基づいて、言語をアンインストールするかどうか、アンインストールするタイミングを決定します。false の場合、最近の使用状況などの他の条件を使用して、アンインストールするタイミングを判断することがあります。
SpeakOptions
tts.speak() メソッドに指定されたオプション。
プロパティ
-
gender
VoiceGender 省略可
Chrome 92 以降で非推奨性別は非推奨となり、無視されます。
合成音声の性別。
-
lang
文字列 省略可
合成に使用する言語(言語-地域 の形式)。例: 「en」、「en-US」、「en-GB」、「zh-CN」。
-
投球
number 省略可
発話のピッチ。0 ~ 2 の範囲で、0 が最も低く、2 が最も高い。1.0 は、この音声のデフォルトのピッチに対応します。
-
速度
number 省略可
この音声のデフォルトの速度に対する発話速度。1.0 はデフォルトの速度で、通常は 1 分あたり 180 ~ 220 語程度です。2.0 はその 2 倍の速さで、0.5 は半分の速さです。この値は 0.1 ~ 10.0 の範囲内(両端の値を含む)であることが保証されています。音声がこのレートの全範囲をサポートしていない場合は、エラーを返さないでください。代わりに、音声がサポートする範囲にレートをクリップします。
-
voiceName
文字列 省略可
合成に使用する音声の名前。
-
ボリューム
number 省略可
発話音量。0 ~ 1 の範囲(0 が最小、1 が最大)。デフォルトは 1.0。
TtsClient
ステータスをリクエストしているクライアントの識別子。
プロパティ
-
id
文字列
言語管理のリクエストを行っているクライアント。拡張機能の場合は、一意の拡張機能 ID です。Chrome の機能の場合、これは機能の人間が読める名前です。
-
source
リクエスト元のタイプ。
TtsClientSource
リクエスト元のタイプ。
列挙型
"chromefeature"
"extension"
VoiceGender
性別は非推奨となり、無視されます。
列挙型
"male"
"female"
メソッド
updateLanguage()
chrome.ttsEngine.updateLanguage(
status: LanguageStatus,
): void
言語のインストールが試行されたとき、および言語がアンインストールされたときに、エンジンによって呼び出されます。クライアントからのステータス リクエストに応答して呼び出されることもあります。音声がインストールまたはアンインストールされた場合、エンジンは ttsEngine.updateVoices を呼び出して音声を登録する必要があります。
パラメータ
-
ステータス
言語のインストール ステータス。
updateVoices()
chrome.ttsEngine.updateVoices(
voices: TtsVoice[],
): void
エンジンによって呼び出され、音声のリストを更新します。このリストは、この拡張機能のマニフェストで宣言された音声をオーバーライドします。
パラメータ
-
声
TtsVoice[]
音声合成に使用できる音声を表す
tts.TtsVoiceオブジェクトの配列。
イベント
onInstallLanguageRequest
chrome.ttsEngine.onInstallLanguageRequest.addListener(
callback: function,
)
TTS クライアントが新しい言語のインストールをリクエストしたときに発生します。エンジンは言語のダウンロードとインストールを試み、結果とともに ttsEngine.updateLanguage を呼び出す必要があります。成功した場合、エンジンは ttsEngine.updateVoices も呼び出して、新しく利用可能になった音声の登録を行う必要があります。
パラメータ
-
callback
関数
callbackパラメータは次のようになります。(requestor: TtsClient, lang: string) => void
-
リクエスト元
-
lang
文字列
-
onLanguageStatusRequest
chrome.ttsEngine.onLanguageStatusRequest.addListener(
callback: function,
)
TTS クライアントが言語のインストール ステータスをリクエストしたときに発生します。
パラメータ
-
callback
関数
callbackパラメータは次のようになります。(requestor: TtsClient, lang: string) => void
-
リクエスト元
-
lang
文字列
-
onPause
chrome.ttsEngine.onPause.addListener(
callback: function,
)
省略可: エンジンが一時停止イベントをサポートしている場合、再開イベントまたは停止イベントを受信するまで、発話中の現在の発話(ある場合)を一時停止する必要があります。停止イベントでは、一時停止状態もクリアする必要があります。
パラメータ
-
callback
関数
callbackパラメータは次のようになります。() => void
onResume
chrome.ttsEngine.onResume.addListener(
callback: function,
)
省略可: エンジンが一時停止イベントをサポートしている場合は、現在の発話(ある場合)を続行するための再開イベントもサポートする必要があります。停止イベントでは、一時停止状態もクリアする必要があります。
パラメータ
-
callback
関数
callbackパラメータは次のようになります。() => void
onSpeak
chrome.ttsEngine.onSpeak.addListener(
callback: function,
)
ユーザーが tts.speak() を呼び出し、この拡張機能のマニフェストの音声のいずれかがオプション オブジェクトと最初に一致したときに呼び出されます。
パラメータ
-
callback
関数
callbackパラメータは次のようになります。(utterance: string, options: SpeakOptions, sendTtsEvent: function) => void
-
発話
文字列
-
オプション
-
sendTtsEvent
関数
sendTtsEventパラメータは次のようになります。(event: tts.TtsEvent) => void
-
イベント
この発話のステータスを示すテキスト読み上げエンジンからのイベント。
-
-
onSpeakWithAudioStream
chrome.ttsEngine.onSpeakWithAudioStream.addListener(
callback: function,
)
ユーザーが tts.speak() を呼び出し、この拡張機能のマニフェストの音声のいずれかがオプション オブジェクトと最初に一致したときに呼び出されます。Chrome が音声再生サービスを提供し、tts イベントのディスパッチを処理するという点で、ttsEngine.onSpeak とは異なります。
パラメータ
-
callback
関数
callbackパラメータは次のようになります。(utterance: string, options: SpeakOptions, audioStreamOptions: AudioStreamOptions, sendTtsAudio: function, sendError: function) => void
-
発話
文字列
-
オプション
-
audioStreamOptions
-
sendTtsAudio
関数
sendTtsAudioパラメータは次のようになります。(audioBufferParams: AudioBuffer) => void
-
audioBufferParams
音声バッファと関連データを含むパラメータ。
-
-
sendError
関数
Chrome 94 以降sendErrorパラメータは次のようになります。(errorMessage?: string) => void
-
errorMessage
文字列 省略可
エラーを説明する文字列。
-
-
onStop
chrome.ttsEngine.onStop.addListener(
callback: function,
)
tts.stop が呼び出されたときに発生します。この拡張機能は発話の途中である可能性があります。拡張機能が onStop の呼び出しを受け取り、音声がすでに停止している場合は、何も行わない(エラーを発生させない)ようにする必要があります。音声が一時停止状態の場合、一時停止状態をキャンセルします。
パラメータ
-
callback
関数
callbackパラメータは次のようになります。() => void
onUninstallLanguageRequest
chrome.ttsEngine.onUninstallLanguageRequest.addListener(
callback: function,
)
TTS クライアントが言語が不要になったことを示すときに発生します。
パラメータ
-
callback
関数
callbackパラメータは次のようになります。(requestor: TtsClient, lang: string, uninstallOptions: LanguageUninstallOptions) => void
-
リクエスト元
-
lang
文字列
-
uninstallOptions
-