Ученые из Калифорнийского университета в Беркли первыми научили искусственный интеллект распознавать безмолвную речь через технологию silent speech и датчики, которые позволяют фиксировать активность мышц.
Исследователи пояснили, что Silent speech обнаруживается с помощью электромиографии (ЭМГ), когда электроды помещаются на лицо и горло. При этом искусственный интеллект концентрируется на цифровом звучании - распознает слова, после чего генерирует синтетическую речь.
При распознавании слов использовался подход, при котором целевые объекты аудиовыхода конвертировались из озвученных в беззвучные записи. После этого был применен декодер WaveNet.
«Цифровое озвучивание беззвучной речи имеет множество потенциальных сценариев применения. К примеру, оно может быть применено для создания устройства, работающего по аналогии с Bluetooth-гарнитурой, благодаря которому можно будет разговаривать по телефону и не доставлять беспокойства и дискомфорта окружающим. Оно может оказаться полезным в условиях избыточного шума, так как позволит уловить едва слышимую речь, или в местах, где важно сохранять тишину - например, в аудиториях», - заявляют создатели.
Эта технология, как считают разработчики, может также лечь в основу многих приложений, которые предназначаются для людей с ограниченными возможностями.
