И тогда возникает вопрос: «Читает ли Алиса последние новости так, как она это делала раньше?». «Алиса, включи шоу» — для начала воспроизведения выбранного видео. Добавьте в голосовой помощник Алису от Яндекса новые навыки на тему — Новости. О сервисе Прессе Авторские права Связаться с нами Авторам Рекламодателям Разработчикам.
Конкатенативный синтез: рождение Алисы
- Алиса (голосовой помощник) — Википедия
- Утреннее шоу «Алисы» стало персональным
- Алиса (голосовой помощник) — Википедия
- Как Алиса отображает последние новости
Место под большое лого и рекламу навыков
| «Алиса» научилась вести утренние шоу — Игромания | Алиса с каждым днем становится лучше, и теперь у нее появилось собственное утреннее шоу! Каждое утро вас ждет коктейль из рассказа о погоде, персональной подборки новостей, выпуска классного подкаста и, специально подобранных под вас треков с комментариями Алисы! |
| Утреннее шоу Алисы теперь можно настроить на свой вкус | Утреннее шоу Алисы теперь можно настроить на свой вкус. Для этого пользователь может сам выбрать тематику новостей и подкастов. |
Утренняя Алиса. У голосового помощника Яндекса теперь своё шоу
«Алиса» научилась персонализировать «Утреннее шоу» и включать новости радиостанций Вслед за появлением интерактивных рецептов голосовой помощник «Алиса». Голосовой помощник «Алиса» для смарт-колонок «Яндекса» научился вести утренние шоу. В компании обещают персонализированные программы с полезной информацией, любимой музыкой, новостями и прочим интересным каждому пользователю контентом. В конце 2020 года утреннее шоу Алисы стало персонализированным. Это означает, что вы можете настроить его в соответствии с вашими интересами, указав предпочтительные темы новостей и подкастов. Виртуальный ассистент Алиса поставит утреннее шоу: слушайте музыку, новости, подкасты и настраивайтесь на день. Теперь навыки смогут отправлять короткий регулярный контент в утреннее шоу Алисы. Для настройки новостей на колонке Алиса Яндекс, найдите раздел «Новости» или «Информация» и выберите его.
Похожие статьи
- Топовые фишки Яндекс.Станции, о которых вы могли не знать
- Читает ли Алиса последние новости? Необходимые настройки
- Что нового в апреле у Алисы и умных устройств
- Умные колонки с "Алисой" научились вести персонализированные утренние шоу - ТАСС
- «Яндекс» научил «Алису» вести персональное утреннее шоу
- Утреннее шоу от Алисы на Яндекс Станции
Утреннее шоу от Алисы на Яндекс Станции
Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу — первый шаг в этом направлении. А для тех, кто сидит на самоизоляции, голосовой помощник даёт советы о том, как провести время с пользой. Работает это примерно так: сначала Алиса рассказывает сводку погоды, потом переходит к самым актуальным новостям, перемешивая их с музыкой. И иногда добавляет к ним подкасты.
Сейчас: Простая автоматизация нажатия кнопок помогает быстро включить нужную яркость. Есть ещё сценарий для восстановления яркости. Сценарий: Время ночного просмотра телевизора Ранее: Включал телевизор через пульт. Бегал выключать свет, который не выключил. Сейчас: Одна автоматизация: голосовым запуском или через приложение.
В ближайшее время докуплю ещё кнопку для запуска данного сценария — одно нажатие. Ещё можно найти эмбилайт ленту для вашего андроид тв. Сценарий: Время спать Ранее: Приходилось по отдельности выключать телевизор, светодиодную ленту, обесточить какие-то розетки и, конечно, выключить свет в спальне. В ближайшее время докуплю ещё кнопку для запуска данного сценария - долгое нажатие. УДЯ НЕ запоминает состояние телевизора. Можно и без умной розетки и wake on lan режима управлять. Тогда из этого моего сценария убрать телевизор. Сейчас: Возле входной двери установлена умная кнопка.
После её зажатия происходит сценарий: выключается всё освещение, которое забывал выключить, выключается кондиционер, розетки обесточиваются если установлена умная розетка или умное реле на розетку. Сценарий: Помогаем кондиционеру не работать просто так Ранее: я забывал выключить кондиционер, когда открывалась дверь на балконе. Сейчас: Я также забываю выключать кондиционер, когда выхожу на балкон. С данным сценарием кондиционер отключается автоматически. Список покупок Ранее: На моём телефоне установлено приложение Tick-Tick, это простая гибка тудушка. Через неё создавал список покупок. Но таким голосовым управлением добавляется по одной задаче. Сейчас: В каждой комнате установлен Яндекс со своими мини станциями и создавать списки покупок голосом стало удобно.
Например, Вы принимаете душ или делая дела по дому обнаружили отсутствие зубной пасты. Голосовой фразой "Алиса, добавь зубную пасту в список покупок" - зубная паста добавляется в общий список покупок. Не забывайте пуши использовать для других сценариев. Если влажность в доме повысилась, открылась дверь или что-то ещё. Сценарий: После работы направляемся домой Наконец-то можно подготовить квартиру к вашему приходу светодиодной гирлянды на балконе у меня нет. Сценарий: Доброе утро Вы проснулись. Голосовым управлением "Алиса, доброе утро" или нажатием кнопки начинается утренний сценарий. Яндекс Станция включает Шоу Алисы погода, новости, музыка и т.
Об этом я рассказываю ниже. Для утреннего сценария использую автоматизацию охлаждения кухни кондиционером. К данному сценарию можно подключить: кофеварку через навык xiaomi от Яндекса , но у меня дома рожковая кофеварка. К данному сценарию можно добавить: Рассказать список личных дел на сегодня. Я этими делами не пользуюсь. Утреннее шоу Алисы В утреннем шоу Алиса расскажет о погоде, настраиваемая подборка новостей, короткие подкасты и треки из плейлиста дня. Дополнительно можно подключить навыки из представленной подборки. Обо всём этом Алиса рассказывает через музыкальный трек.
Ещё есть секретное шоу: ночное шоу Алисы со спокойной музыкой. А что с роботом пылесосом? Да, его тоже можно использовать для сценариев или управления голосом, но он у меня не такой умный у моего пылика нет лидара, беда.
Утренняя Алиса. У голосового помощника Яндекса теперь своё шоу 16. Теперь люди могут слушать полезную информацию, музыку и интересные истории, подобранные специально для них.
Чтобы запустить программу, достаточно сказать: «Алиса, включи утреннее шоу!
Например, новости спорта или подкасты про кино. Кроме этого, в голосовом помощнике появились новости радиостанций. Утреннее шоу - это развлекательная программа, в которой Алиса выступает в роли ведущей. Она читает новости, включает музыку и развлекает слушателей веселыми историями. Для того чтобы она ставила наиболее подходящий контент, стоит указать свои предпочтения в настройках.
Что умеет «Яндекс-станция»: 17 полезных функций и команд для Алисы
Утреннее шоу — первый шаг в этом направлении», — отметил руководитель продукта Андрей Законов. В марте 2020 года «Алиса» начала читать статьи в «Яндекс. Голосовой помощник озвучит любой связный текст на странице без учёта навигационных элементов. Чтобы включить его, нужно нажать на значок наушников — он есть на страницах, где доступен режим чтения.
Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу - первый шаг в этом направлении", - отметил руководитель продукта Андрей Законов. Утреннее шоу доступно в "Яндекс. Станции", "Станции Мини" и других умных колонках с "Алисой".
Причины, по которым Алиса может не реагировать на команды Что такое сценарии и чем они отличаются от команд? Сценарии для Алисы — это набор команд, которые выполняются последовательно в определенном порядке. Они автоматизируют выполнение конкретных действий, например включение или отключение устройств умного дома, воспроизведение музыки, установку будильника и так далее. Сценарии можно создавать самостоятельно или использовать готовые шаблоны. Команды для Алисы — это отдельные приказы, которые выполняются сразу после их произнесения. Например, команда «Алиса, включи свет» включает свет в комнате. Команды можно использовать для выполнения простых действий, которые не требуют автоматизации. Основные отличия между сценариями и командами для Алисы: Сценарии выполняются последовательно, а команды — сразу после произнесения. Сценарии позволяют автоматизировать выполнение определенных действий, а команды — нет. Сценарии могут включать в себя как команды для Алисы, так и команды для других устройств умного дома. Рассмотрим конкретные примеры сценариев для Алисы и включенные в них команды.
Так, например "Алиса" ставит и комментирует песни из персонального плейлиста дня на "Яндекс. Музыке", где собраны треки, отобранные для пользователя. Также "Яндекс" обучил своего голосового помощника ориентироваться в происходящем и говорить о том, что волнует людей. Например, сейчас в паузах между новостями и песнями "Алиса" рассказывает, как с пользой и удовольствием провести время дома.
Команды и сценарии для Алисы: покоряем умного помощника
Музыке", где собраны треки, отобранные для пользователя. Также "Яндекс" обучил своего голосового помощника ориентироваться в происходящем и говорить о том, что волнует людей. Например, сейчас в паузах между новостями и песнями "Алиса" рассказывает, как с пользой и удовольствием провести время дома. Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу - первый шаг в этом направлении", - отметил руководитель продукта Андрей Законов.
Схема конкатенативного синтеза У такого подхода тоже есть плюсы и минусы. Среди достоинств — более естественное звучание голоса, ведь исходный материал не синтезирован, а записан вживую. Правда, есть и обратная сторона: чем меньше данных, тем более грубо будут звучать места склейки фрагментов. Для шаблонных фраз всё более-менее хорошо, но шаг влево или вправо — и вы замечаете склейку. Поэтому нужно очень много исходного материала, а это требует многих часов записи голоса диктора. К примеру, в первые несколько лет работы над Алисой нам пришлось записать несколько десятков часов. Это несколько месяцев непрерывной работы с актрисой Татьяной Шитовой в студии.
При этом нужно не просто «прочитать текст по листочку». Чем более нейтрально будет звучать голос, тем лучше. Обычно от актёров ждут эмоциональности, проявления темперамента в своей речи. У нас ровно обратная задача, потому что нужны универсальные «кубики» для создания произвольных фраз. Вот характерный пример работы синтеза: В этом главный недостаток метода unit selection: несмотря на все усилия, фрагменты речи не будут идеально соответствовать друг другу по эмоциям и стилю. Из-за этого сгенерированная речь Алисы постоянно «переключалась» между ними. На коротких фразах это не всегда заметно, но если хотите услышать произвольный ответ длиной хотя бы в пару предложений например, быстрый ответ из поиска , то недостатки подхода становятся очевидны. В общем, unit selection перестал нас устраивать и нужно было развиваться дальше. Иногда они возвращаются: опять параметрический синтез В результате мы вернулись к архитектуре из двух последовательных блоков: акустическая модель и вокодер. Правда, на более низком уровне обновилось примерно всё.
Акустическая модель В отличие от старой параметрики, новую модель мы построили на основе seq2seq-подхода с механизмом внимания. Помните проблему с потерей контекста в нашей ранней параметрике? Если нет нормального контекста, то нет и нормальной интонации в речи. Решение пришло из машинного перевода. Дело в том, что в машинном переводе как раз возникает проблема глобального контекста — смысл слов в разных языках может задаваться разным порядком или вообще разными структурами, поэтому порой для корректного перевода предложения нужно увидеть его целиком. Для решения этой задачи исследователи предложили механизм внимания — идея в том, чтобы рассмотреть всё предложение разом, но сфокусироваться через softmax-слой на небольшом числе «важных» токенов. При генерации каждого нового выходного токена нейросеть смотрит на обработанные токены фонемы для речевого синтеза или символы языка для перевода входа и «решает», насколько каждый из них важен на этом шаге. Оценив важность, сеть учитывает её при агрегировании результатов и получает информацию для генерации очередного токена выхода. Таким образом нейросеть может заглянуть в любой элемент входа на любом шаге и при этом не перегружается информацией, поскольку фокусируется на небольшом количестве входных токенов. Для синтеза важна подобная глобальность, так как интонация сама по себе глобальна и нужно «видеть» всё предложение, чтобы правильно его проинтонировать.
На тот момент для синтеза была хорошая seq2seq-архитектура Tacotron 2 — она и легла в основу нашей акустической модели. Мел-спектрограмма Параметрическое пространство можно сжать разными способами. Более сжатые представления лучше работают с примитивными акустическими моделями и вокодерами — там меньше возможностей для ошибок. Более полные представления позволяют лучше восстановить wav, но их генерация — сложная задача для акустической модели. Кроме того, восстановление из таких представлений у детерминированных вокодеров не очень качественное из-за их нестабильности. С появлением нейросетевых вокодеров сложность промежуточного пространства стала расти и сейчас в индустрии одним из стандартов стала мел-спектрограмма. Она отличается от обычного распределения частоты звука по времени тем, что частоты переводятся в особую мел-частоту звука. Другими словами, мел-спектрограмма — это спектрограмма, в которой частота звука выражена в мелах , а не герцах. Мелы пришли из музыкальной акустики, а их название — это просто сокращение слова «мелодия». Строение улитки уха из Википедии Эта шкала не линейная и основана на том, что человеческое ухо по-разному воспринимает звук различной частоты.
Вспомните строение улитки в ухе: это просто канал, закрученный по спирали. Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов. Низкочастотный же звук проходит вглубь. Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом. Это полезно, потому что мы генерируем звук именно для человека, а не для машины. Вот как выглядит мел-спектрограмма синтеза текста «Я — Алиса»: У мел-спектрограммы по одному измерению [X на рисунке выше] — время, по другому [Y] — частота, а значение [яркость на рисунке] — мощность сигнала на заданной частоте в определенный момент времени. Проще говоря, эта штуковина показывает, какое распределение по мощностям было у различных частот звука в конкретный момент. Мел-спектрограмма непрерывна, то есть с ней можно работать как с изображением. А так звучит результат синтеза: 3.
Новый вокодер Вероятно, вы уже догадались, что мы перешли к использованию нового нейросетевого вокодера. Именно он в реальном времени превращает мел-спектрограмму в голос. Наиболее близкий аналог нашего первого решения на основе нейросетей, которое вышло в 2018 году — модель WaveGlow. Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл. За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам. В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих. Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука. Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов.
В закладки В Алису от Яндекса добавили функцию Утреннее шоу. Голосовой помощник в колонках рассказывает персонализированные новости, проигрывает музыку из личного плейлиста дня, а также подбирает интересные конкретно для вас истории. В приложениях для смартфонов такого пока нет. Мы хотим, чтобы Алиса была не только помощником, но и другом, с которым приятно проводить время.
Например, человек может выбрать новости спорта и подкасты про кино. Кроме того, в голосовом помощнике появились новости радиостанций. Утреннее шоу — это развлекательная программа, где «Алиса» выступает в роли ведущей. Она читает новости, ставит людям музыку и развлекает историями на разные темы — почти как настоящий диджей. Чтобы она включала наиболее подходящий контент, нужно указать свои предпочтения в настройках. Сейчас в голосовом помощнике доступны 11 новостных тематик и 21 рубрика для подкастов.
Утренняя Алиса. У голосового помощника Яндекса теперь своё шоу
Алиса запустила утреннее шоу с персональными рекомендациями 17 апреля 2020 1 мин В умных колонках с Алисой появилось персональное утреннее шоу: теперь можно слушать полезную информацию и музыку, подобранную специально для слушателя. Слушателей ждут новости, прогноз погоды, музыка и короткие подкасты. Алиса выступает диджеем: ставит и комментирует песни из персонального плейлиста дня на Яндекс.
Голосовой помощник следит за новостными выпусками девяти радиостанций. А утреннее шоу — это такой формат, который позволяет собрать воедино то, что любишь. Несложные манипуляции с настройками — и человек получает именно то, что хочет.
Думаю, новую возможность особенно оценят авторы подкастов, у которых появилась ещё одна площадка», — рассказал Андрей Законов, руководитель голосового помощника. Шоу и новости доступны в «Яндекс.
Голосовой помощник в колонках рассказывает персонализированные новости, проигрывает музыку из личного плейлиста дня, а также подбирает интересные конкретно для вас истории.
В приложениях для смартфонов такого пока нет. Мы хотим, чтобы Алиса была не только помощником, но и другом, с которым приятно проводить время. Поэтому мы учим её следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу — первый шаг в этом направлении.
Новости радиостанций можно слушать как в утреннем шоу, так и отдельно. Причём их зачитывает ведущий. Голосовой помощник следит за новостными выпусками девяти радиостанций. А утреннее шоу — это такой формат, который позволяет собрать воедино то, что любишь. Несложные манипуляции с настройками — и человек получает именно то, что хочет.
Вышло большое обновление Алисы. Смотри, что теперь умеет твоя Яндекс Станция
К слову, Алиса теперь умеет вести "утренние шоу". Утреннее шоу Алисы теперь можно настроить на свой вкус, указав тематику новостей и подкастов. Мы расскажем, что такое сценарии для Алисы, чем они отличаются от команд и какие хорошие команды уже придумали пользователи. В конце 2020 года утреннее шоу Алисы стало персонализированным. До публикации этой новости я мельком слышал про существование Алисы (видео, когда 2 телефона общаются между собой).
Новый формат контента в утреннем шоу Алисы: истории от навыков
Голосовой помощник «Алиса» для смарт-колонок «Яндекса» научился вести утренние шоу. В компании обещают персонализированные программы с полезной информацией, любимой музыкой, новостями и прочим интересным каждому пользователю контентом. Что сказать: «Алиса, запусти утреннее шоу», «Алиса, включи утреннее шоу». Эти программы помогают узнать нужную информацию в начале дня или рассказать о том, что вы могли пропустить. Тогда, услышав запрос «Расскажи новости», Алиса будет всегда включать новости нужного издания. Кроме этого, их можно добавить в утреннее шоу Алисы. Сделать это можно в приложении «Дом с Алисой»: Настройки → Контент → Шоу с Алисой. Афиша мероприятий и новости.
Место под большое лого и рекламу навыков
В общей сложности у «Алисы» больше двух тысяч подкастов на разные темы. Новости радиостанций можно слушать как в утреннем шоу, так и отдельно. Причём их зачитывает ведущий. Голосовой помощник следит за новостными выпусками девяти радиостанций. А утреннее шоу — это такой формат, который позволяет собрать воедино то, что любишь. Несложные манипуляции с настройками — и человек получает именно то, что хочет.
Заявлено, что все это будет очень персонализировано, а не по какому-то одному определенному шаблону для всех пользователей.
Но будет и общая полезная информация — например, прогноз погоды на день, а сейчас — подборки актуальных материалов, которые могут быть полезными в режиме самоизоляции у себя дома. Руководитель проекта "Алиса" Андрей Законов отмечает, что данное нововведение было сделано с той целью, чтобы Алису стали воспринимать не только как умного помощника с голосовым «интерфейсом», а как некоего виртуального компаньона, который может не только быть полезным в конкретных задачах, но и помогать приятно провести время в своей компании, тем более, в условиях сокращения социальных контактов.
Голосовой помощник следит за новостными выпусками девяти радиостанций. Станции, Станции Мини и других умных колонках, где есть голосовой помощник Алиса. Чтобы выбрать тематику новостей и подкастов, нужно просто открыть приложение Яндекс, выбрать пункт «Устройства», далее выбрать «Аккаунт» и перейти в «Настройки шоу Алисы».
А куда нажать? Это я к тому, что не плохо бы ссылочку или инструкцию какую то в конце сообщения..
Более сжатые представления лучше работают с примитивными акустическими моделями и вокодерами — там меньше возможностей для ошибок. Более полные представления позволяют лучше восстановить wav, но их генерация — сложная задача для акустической модели. Кроме того, восстановление из таких представлений у детерминированных вокодеров не очень качественное из-за их нестабильности. С появлением нейросетевых вокодеров сложность промежуточного пространства стала расти и сейчас в индустрии одним из стандартов стала мел-спектрограмма. Она отличается от обычного распределения частоты звука по времени тем, что частоты переводятся в особую мел-частоту звука. Другими словами, мел-спектрограмма — это спектрограмма, в которой частота звука выражена в мелах , а не герцах. Мелы пришли из музыкальной акустики, а их название — это просто сокращение слова «мелодия».
Строение улитки уха из Википедии Эта шкала не линейная и основана на том, что человеческое ухо по-разному воспринимает звук различной частоты. Вспомните строение улитки в ухе: это просто канал, закрученный по спирали. Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов. Низкочастотный же звук проходит вглубь. Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом. Это полезно, потому что мы генерируем звук именно для человека, а не для машины. Вот как выглядит мел-спектрограмма синтеза текста «Я — Алиса»: У мел-спектрограммы по одному измерению [X на рисунке выше] — время, по другому [Y] — частота, а значение [яркость на рисунке] — мощность сигнала на заданной частоте в определенный момент времени. Проще говоря, эта штуковина показывает, какое распределение по мощностям было у различных частот звука в конкретный момент.
Мел-спектрограмма непрерывна, то есть с ней можно работать как с изображением. А так звучит результат синтеза: 3. Новый вокодер Вероятно, вы уже догадались, что мы перешли к использованию нового нейросетевого вокодера. Именно он в реальном времени превращает мел-спектрограмму в голос. Наиболее близкий аналог нашего первого решения на основе нейросетей, которое вышло в 2018 году — модель WaveGlow. Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл. За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам.
В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих. Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука. Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов. Они валидируют натуральность звука, смотря на сэмплы с различными периодами и на различном масштабе. Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса. Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение.
В русском языке эти слова пишутся одинаково, но в английском написание отличается, например, castle и lock, proteins и squirrels. Из этого представления легко выделить информацию о том, как произносить омограф, ведь перевод должен различать формы для корректного подбора английского варианта. Буквально на 20 примерах можно выучить классификатор для нового омографа, чтобы по эмбеддингу перевода понимать, какую форму нужно произнести. Летом 2020 года допилили паузер для расстановки пауз внутри предложения. Язык — хитрая штука. Не все знаки препинания в речи выражаются паузами Например, после вводного слова «конечно» на письме мы ставим запятую, но в речи обычно не делаем паузу. А там, где знаков препинания нет, мы часто делаем паузы. Если эту информацию не передавать в акустическую модель, то она пытается её выводить и не всегда успешно. Первая модель Алисы из-за этого могла начать вздыхать в случайных местах длинного предложения.
Для этого мы взяли датасет, разметили его детектором активности голоса, сгруппировали паузы по длительности, ввели класс длины паузы, на каждое слово навесили тэг и на этом корпусе обучили ещё одну голову внимания из тех же нейросетевых эмбеддингов, что использовались для детекции омографов. Осенью 2020 года мы перевели на трансформеры нормализацию — в синтезе она нужна, чтобы решать сложные случаи, когда символы читаются не «буквально», а по неким правилам. Например, «101» нужно читать не как «один-ноль-один», а как «сто один», а в адресе yandex. Обычно нормализацию делают через комбинацию взвешенных трансдьюсеров FST — правила напоминают последовательность замен по регулярным выражениям, где выбирается замена, имеющая наибольший вес. Мы долго писали правила вручную, но это отнимало много сил, было очень сложно и не масштабируемо. Тогда решили перейти на трансформерную сеть, «задистиллировав» знания наших FST в нейронку. Теперь новые «правила раскрытия» можно добавлять через доливание синтетики и данных, размеченных пользователями Толоки, а сеть показывает лучшее качество, чем FST, потому что учитывает глобальный контекст. Итак, мы научили Алису говорить с правильными интонациями, но это не сделало ее человеком — ведь в нашей речи есть еще стиль и эмоции. Работа продолжалась.
С чувством, толком, расстановкой: стили голоса Алисы Один и тот же текст можно произнести десятком разных способов, при этом сам исходный текст, как правило, никаких подсказок не содержит. Если отправить такой текст в акустическую модель без дополнительных меток и обучить её на достаточно богатом различными стилями и интонациями корпусе, то модель сойдёт с ума — либо переусреднит всё к металлическому «голосу робота», либо начнёт генерировать случайный стиль на каждое предложение. Это и произошло с Алисой: в начале она воспроизводила рандомные стили в разговоре. Казалось, что у неё менялось настроение в каждом предложении. Вот пример записи с явными перебоями в стилях: Чтобы решить проблему, мы добавили в акустическую модель стили: в процессе обучения нейросети специально ввели «утечку».