chrome.ttsEngine

Описание

Используйте API chrome.ttsEngine для реализации механизма преобразования текста в речь (TTS) с помощью расширения. Если ваше расширение регистрируется с использованием этого API, оно будет получать события, содержащие произносимое высказывание, и другие параметры, когда какое-либо расширение или приложение Chrome использует API tts для генерации речи. Затем ваше расширение может использовать любую доступную веб-технологию для синтеза и вывода речи, а также отправлять события обратно вызывающей функции, чтобы сообщить о состоянии.

Разрешения

ttsEngine

Это разрешение вызывает предупреждение .

Обзор

Расширение может зарегистрировать себя как речевой движок. Таким образом, он может перехватить некоторые или все вызовы таких функций, как tts.speak и tts.stop и предоставить альтернативную реализацию. Расширения могут бесплатно использовать любую доступную веб-технологию для передачи речи, включая потоковое аудио с сервера, аудио HTML5. Расширение может даже делать с высказываниями что-то другое, например отображать субтитры во всплывающем окне или отправлять их в виде сообщений журнала на удаленный сервер.

Манифест

Чтобы реализовать механизм TTS, расширение должно объявить разрешение «ttsEngine», а затем объявить все голоса, которые оно предоставляет, в манифесте расширения, например:

{
  "name": "My TTS Engine",
  "version": "1.0",
  "permissions": ["ttsEngine"],
  "tts_engine": {
    "voices": [
      {
        "voice_name": "Alice",
        "lang": "en-US",
        "event_types": ["start", "marker", "end"]
      },
      {
        "voice_name": "Pat",
        "lang": "en-US",
        "event_types": ["end"]
      }
    ]
  },
  "background": {
    "page": "background.html",
    "persistent": false
  }
}

Расширение может указать любое количество голосов.

Параметр voice_name является обязательным. Имя должно быть достаточно информативным, чтобы оно идентифицировало имя голоса и используемый движок. В том маловероятном случае, когда два расширения регистрируют голоса с одинаковым именем, клиент может указать идентификатор расширения, которое должно выполнить синтез.

Параметр lang не является обязательным, но настоятельно рекомендуется. Почти всегда голос может синтезировать речь только на одном языке. Когда движок поддерживает более одного языка, он может легко зарегистрировать отдельный голос для каждого языка. В редких случаях, когда один голос может обрабатывать более одного языка, проще всего просто указать два отдельных голоса и обрабатывать их, используя одну и ту же внутреннюю логику. Однако, если вы хотите создать голос, который будет обрабатывать высказывания на любом языке, исключите параметр lang из манифеста вашего расширения.

Наконец, параметр event_types необходим, если механизм может отправлять события для обновления клиента о ходе синтеза речи. Как минимум, настоятельно рекомендуется поддерживать тип события 'end' , указывающий на завершение речи, иначе Chrome не сможет планировать высказывания в очереди.

После загрузки расширение может заменить список объявленных голосов, вызвав chrome.ttsEngine.updateVoices . (Обратите внимание, что параметры, используемые в программном вызове updateVoices указаны в верблюжьем регистре: например, voiceName , в отличие от файла манифеста, который использует voice_name .)

Примечание. Если ваш движок TTS не поддерживает тип события 'end' , Chrome не сможет поставить высказывания в очередь, поскольку у него нет возможности узнать, когда ваше высказывание закончилось. Чтобы смягчить эту ситуацию, Chrome передает дополнительную логическую опцию enqueue в очередь обработчику onSpeak вашего движка, предоставляя вам возможность реализовать собственную очередь. Это не рекомендуется, поскольку тогда клиенты не смогут ставить в очередь высказывания, которые должны быть произнесены разными речевыми механизмами.

Возможные типы событий, которые вы можете отправить, соответствуют типам событий, которые получает метод speak() :

• 'start' : Двигатель начал произносить фразу.
• 'word' : достигнута граница слова. Используйте event.charIndex чтобы определить текущую позицию речи.
• 'sentence' : достигнута граница предложения. Используйте event.charIndex чтобы определить текущую позицию речи.
• 'marker' : достигнут маркер SSML. Используйте event.charIndex чтобы определить текущую позицию речи.
• 'end' : двигатель закончил произнесение высказывания.
• 'error' : произошла ошибка, связанная с механизмом, и произнести это сообщение невозможно. Передайте дополнительную информацию в event.errorMessage .

События 'interrupted' и 'cancelled' не отправляются речевым механизмом; они генерируются Chrome автоматически.

Клиенты преобразования текста в речь могут получить голосовую информацию из манифеста вашего расширения, вызвав tts.getVoices , при условии, что вы зарегистрировали прослушиватели речевых событий, как описано ниже.

Обработка речевых событий

Чтобы генерировать речь по запросу клиентов, ваше расширение должно зарегистрировать слушателей как для onSpeak , так и для onStop , вот так:

const speakListener = (utterance, options, sendTtsEvent) => {
  sendTtsEvent({type: 'start', charIndex: 0})

  // (start speaking)

  sendTtsEvent({type: 'end', charIndex: utterance.length})
};

const stopListener = () => {
  // (stop all speech)
};

chrome.ttsEngine.onSpeak.addListener(speakListener);
chrome.ttsEngine.onStop.addListener(stopListener);

Предупреждение. Если ваше расширение не регистрирует прослушиватели как для onSpeak , так и onStop , оно не будет перехватывать никакие речевые вызовы, независимо от того, что указано в манифесте.

Решение о том, отправлять ли данный речевой запрос расширению, основано исключительно на том, поддерживает ли расширение заданные голосовые параметры в своем манифесте и имеет ли зарегистрированных прослушивателей onSpeak и onStop . Другими словами, у расширения нет возможности получить речевой запрос и динамически решить, следует ли его обрабатывать.

Типы

AudioBuffer

Хром 92+

Параметры, содержащие аудиобуфер и связанные с ним данные.

Характеристики

• аудиобуфер

  МассивБуфер

  Аудиобуфер из механизма преобразования текста в речь. Он должен иметь длину ровно audioStreamOptions.bufferSize и закодироваться как моно, в audioStreamOptions.sampleRate, и как линейный PCM, 32-битный знак с плавающей запятой, т. е. тип Float32Array в javascript.

• charIndex

  номер необязательно

  Индекс символа, связанный с этим аудиобуфером.

• isLastBuffer

  логическое значение необязательно

  Истинно, если этот аудиобуфер является последним для произнесенного текста.

AudioStreamOptions

Хром 92+

Содержит формат аудиопотока, который, как ожидается, будет создан механизмом.

Характеристики

• размер буфера

  число

  Количество сэмплов в аудиобуфере.

• SampleRate

  число

  Ожидаемая частота дискретизации в аудиобуфере.

LanguageInstallStatus

В ожидании

Статус установки голоса.

Перечисление

"не установлено"

"установка"

"установлен"

"неуспешный"

LanguageStatus

В ожидании

Установить статус языка.

Характеристики

• ошибка

  строка необязательна

  Подробно о сбоях при установке. Необязательно заполняется, если язык не удалось установить.

• installStatus

  ЯзыкУстановитьСтатус

  Статус установки.

• язык

  нить

  Языковая строка в виде кода языка-кода региона, где регион можно опустить. Примеры: en, en-AU, zh-CH.

LanguageUninstallOptions

В ожидании

Варианты удаления данного языка.

Характеристики

• удалить немедленно

  логическое значение

  Истинно, если клиент TTS хочет, чтобы язык был немедленно удален. Механизм может выбрать, удалять ли язык или когда, на основе этого параметра и информации запрашивающей стороны. Если значение равно false, для определения момента удаления могут использоваться другие критерии, например недавнее использование.

SpeakOptions

Хром 92+

Параметры, указанные для метода tts.speak().

Характеристики

• пол

  Голосовой пол необязательно

  Устарело с Chrome 92.

  Пол устарел и будет игнорироваться.

  Пол голоса для синтезированной речи.

• язык

  строка необязательна

  Язык, который будет использоваться для синтеза, в форме язык - регион . Примеры: «en», «en-US», «en-GB», «zh-CN».

• подача

  номер необязательно

  Высота речи от 0 до 2 включительно, где 0 — самый низкий, а 2 — самый высокий. 1.0 соответствует высоте этого голоса по умолчанию.

• ставка

  номер необязательно

  Скорость речи относительно скорости речи по умолчанию для этого голоса. 1.0 — это скорость по умолчанию, обычно от 180 до 220 слов в минуту. 2.0 в два раза быстрее, а 0.5 в два раза быстрее. Это значение гарантированно находится в диапазоне от 0,1 до 10,0 включительно. Если голос не поддерживает этот полный диапазон скоростей, не возвращайте ошибку. Вместо этого сократите скорость до диапазона, поддерживаемого голосом.

• Голосовое имя

  строка необязательна

  Имя голоса, используемого для синтеза.

• объем

  номер необязательно

  Громкость речи от 0 до 1 включительно, где 0 — самый низкий, 1 — самый высокий, значение по умолчанию — 1,0.

TtsClient

Хром 131+

Идентификатор статуса запроса клиента.

Характеристики

• идентификатор

  нить

  Клиент делает запрос на управление языком. Для расширения это уникальный идентификатор расширения. Для функций Chrome это удобочитаемое имя функции.

• источник

  TtsClientSource

  Тип запросчика.

TtsClientSource

Хром 131+

Тип запросчика.

Перечисление

"хромированная функция"

"расширение"

VoiceGender

Chrome 54+ устарел с Chrome 70

Пол устарел и будет игнорироваться.

Перечисление

"мужской"

"женский"

Методы

updateLanguage()

В ожидании

chrome.ttsEngine.updateLanguage(
  status: LanguageStatus,
)

Вызывается механизмом при попытке установки языка и при удалении языка. Также вызывается в ответ на запрос статуса от клиента. Когда голос установлен или удален, движок также должен вызвать ttsEngine.updateVoices, чтобы зарегистрировать голос.

Параметры

• статус

  Языковой статус

  Статус установки языка.

updateVoices()

Хром 66+

chrome.ttsEngine.updateVoices(
  voices: TtsVoice[],
)

Вызывается механизмом для обновления списка голосов. Этот список переопределяет любые голоса, объявленные в манифесте этого расширения.

Параметры

• голоса

  ТтсВойс []

  Массив объектов tts.TtsVoice представляющих доступные голоса для синтеза речи.

События

onInstallLanguageRequest

Хром 131+

chrome.ttsEngine.onInstallLanguageRequest.addListener(
  callback: function,
)

Запускается, когда клиент TTS запрашивает установку нового языка. Механизм должен попытаться загрузить и установить язык и вызвать ttsEngine.updateLanguage с результатом. В случае успеха движок также должен вызвать ttsEngine.updateVoices, чтобы зарегистрировать новые доступные голоса.

Параметры

• перезвонить

  функция

  Параметр callback выглядит так:

  (requestor: TtsClient, lang: string) => void

  • проситель

    ТтсКлиент

  • язык

    нить

onLanguageStatusRequest

В ожидании

chrome.ttsEngine.onLanguageStatusRequest.addListener(
  callback: function,
)

Вызывается, когда клиент TTS запрашивает статус установки языка.

Параметры

• перезвонить

  функция

  Параметр callback выглядит так:

  (requestor: TtsClient, lang: string) => void

  • проситель

    ТтсКлиент

  • язык

    нить

onPause

chrome.ttsEngine.onPause.addListener(
  callback: function,
)

Необязательно: если механизм поддерживает событие паузы, он должен приостановить произнесение текущего высказывания, если таковое имеется, до тех пор, пока не получит событие возобновления или остановки. Обратите внимание, что событие остановки также должно очищать состояние паузы.

Параметры

• перезвонить

  функция

  Параметр callback выглядит так:

  () => void

onResume

chrome.ttsEngine.onResume.addListener(
  callback: function,
)

Необязательно: если движок поддерживает событие паузы, он также должен поддерживать событие возобновления, чтобы продолжить произнесение текущего высказывания, если таковое имеется. Обратите внимание, что событие остановки также должно очищать состояние паузы.

Параметры

• перезвонить

  функция

  Параметр callback выглядит так:

  () => void

onSpeak

chrome.ttsEngine.onSpeak.addListener(
  callback: function,
)

Вызывается, когда пользователь вызывает tts.speak() и один из голосов из манифеста этого расширения первым соответствует объекту параметров.

Параметры

• перезвонить

  функция

  Параметр callback выглядит так:

  (utterance: string, options: SpeakOptions, sendTtsEvent: function) => void

  • высказывание

    нить

  • параметры

    SpeakOptions

  • sendTtsEvent

    функция

    Параметр sendTtsEvent выглядит так:

    (event: tts.TtsEvent) => void

    • событие

      tts.TtsEvent

      Событие от преобразователя текста в речь, указывающее статус этого высказывания.

onSpeakWithAudioStream

Хром 92+

chrome.ttsEngine.onSpeakWithAudioStream.addListener(
  callback: function,
)

Вызывается, когда пользователь вызывает tts.speak() и один из голосов из манифеста этого расширения первым соответствует объекту параметров. Отличается от ttsEngine.onSpeak тем, что Chrome предоставляет услуги воспроизведения звука и обрабатывает отправку событий tts.

Параметры

• перезвонить

  функция

  Параметр callback выглядит так:

  (utterance: string, options: SpeakOptions, audioStreamOptions: AudioStreamOptions, sendTtsAudio: function, sendError: function) => void

  • высказывание

    нить

  • параметры

    SpeakOptions

  • аудиоStreamOptions

    Параметры аудиопотока

  • отправитьTtsAudio

    функция

    Параметр sendTtsAudio выглядит так:

    (audioBufferParams: AudioBuffer) => void

    • аудиобуферпарамс

      Аудиобуфер

      Параметры, содержащие аудиобуфер и связанные с ним данные.

  • ошибка отправки

    функция

    Хром 94+

    Параметр sendError выглядит так:

    (errorMessage?: string) => void

    • сообщение об ошибке

      строка необязательна

      Строка, описывающая ошибку.

onStop

chrome.ttsEngine.onStop.addListener(
  callback: function,
)

Вызывается при вызове на tts.stop, и это расширение может находиться в процессе разговора. Если расширение получает вызов onStop и речь уже остановлена, оно не должно ничего делать (не выдавать ошибку). Если речь находится в состоянии паузы, это должно отменить состояние паузы.

Параметры

• перезвонить

  функция

  Параметр callback выглядит так:

  () => void

onUninstallLanguageRequest

В ожидании

chrome.ttsEngine.onUninstallLanguageRequest.addListener(
  callback: function,
)

Запускается, когда клиент TTS указывает, что язык больше не нужен.

Параметры

• перезвонить

  функция

  Параметр callback выглядит так:

  (requestor: TtsClient, lang: string, uninstallOptions: LanguageUninstallOptions) => void

  • проситель

    ТтсКлиент

  • язык

    нить

  • удалитьПараметры

    ЯзыкУдалитьПараметры