Учим алису управлять нашим умным домом

Алиса

Колонка — это не Алиса?

Конечно, нет. Алиса — это голосовой помощник, помогающий нам решать проблемы, организовать наши дела и пространство вокруг нас, от утреннего будильника до вечернего отдыха и развивающих игр с детьми.

Где живёт Алиса?

Алиса живёт одновременно везде: и на далёких серверах Яндекса, где распознаётся сказанный нами текст и превращается в команды умному дому, заказ такси или поиск информации в Интернете; и на наших с вами устройствах — телефонах, часах, домашних и автомобильных компьютерах и, конечно, умных колонках, среди которых самая «умная» и самая известная — это, пожалуй, Яндекс.Станция. Поэтому Алиса на некоторых устройствах умеет то, что недоступно на других. На Яндекс.Станции Алиса может помочь выбрать (и показать) фильм или видеоклип, на компьютерах — управлять некоторыми функциями компьютера, на телефонах — распознавать то, что изображено на картинках (или сфотографировано камерой). Но многие функции (навыки, музыка, радио, поиск по голосовому запросу, итд) доступны на всех устройствах с Алисой, а какие-то даже могут быть перенесены с одного устройства на другое.

А что такое навыки?

Навыки — это специальные «программы», которые можно запускать по их названиям на любом устройстве с Алисой (если автор навыка специально не ограничил список устройств). Навыки бывают развлекательными (детские игры, новогодние тосты), образовательными (тренажёры ЕГЭ, головоломки), помогающими организовать дела (встречи, список покупок, обмен сообщениями) и, хотя они совершенно незаметно для нас вписываются в диалог с Алисой, на самом деле их написали самые разные люди, не имеющие отношения ни к Яндексу, ни к Алисе

Важно помнить, что во время работы навыка Алиса ничего не знает о происходящем в навыке, не может вмешаться, завершить навык, либо выполнять какие-то другие команды (включить музыку, например).

Подробнее об этом можно прочитать в статье Что такое Навыки. А если есть желание самому написать свой Навык, то добро пожаловать в FAQ по Навыкам для авторов.

На вики есть несколько отличных подборок, например:

• Навыки-победители Премии Алисы
• Вся подборка «Навыки среды»

Я запустил навык, Алиса меня больше не слушает

Всё верно. Как мы уже рассказали выше, во время работы навыка Алиса передаёт ему все-все полномочия) и всё, что мы говорим, попадает напрямую в навык. По счастью, всё предусмотрено. Каждый навык обязан уметь рассказать о себе на вопрос «Что ты умеешь?», а также закрыться по команде «Стоп» или «Хватит». Тогда в наш диалог снова вернётся Алиса, а Навык закроется до следующего вызова.

Если же Навык никак не хочет закрываться, то для умной колонки всегда есть решение: перезагрузить колонку, выключив питание на 5-10 секунд и включив его обратно. На телефонах, компьютерах и других устройствах с экраном достаточно схлопнуть чат с Навыком.

Извините, я вас не поняла

Частая ситуация у «новичков».

Скорее всего, вы «зависли» в каком-то навыке, забыв про него. А сам навык и не закрылся, и не может корректно обработать ваш запрос.

Кажется, мы меня сломали

А также «Что-то у меня сервер забарахлил», «Прошу прощения, что-то сломалось» и подобные — проблема возникла на серверах Алисы.

Произошла ошибка при просмотре видео

«…попробуйте повторить попозже» — ошибка передачи потока с сервера, на котором расположено видео. Может быть вызвана

• перебоями в связи с Интернетом
• долгой паузой, за время которой сервер с видео разорвал соединение
• какой-то общий сбой на серверах Яндекса.

В первом случае может помочь перезагрузка роутера или повторная команда («Продолжить»), во втором — повторная команда запуска видео (например, через «Назад» и затем «Продолжить»), в третьем (при таком сообщении об ошибке маловероятном) — видимо, подождать, пока «рассосётся».

Возможно, поможет указать в вашем роутере адреса DNS-серверов Яндекса (77.88.8.8, 77.88.8.1)

Алиса не сообщает об ошибке, но Музыка не играет

В таком случае наверняка пригодится предыдущий совет: указать в роутере DNS-сервера Яндекса: 77.88.8.8 и 77.88.8.1

Обновления

Как работает Алиса в колонках?

В любых устройствах с Алисой её функции разделены между облаком Яндекса (большим-большим количеством специально обученных серверов, расположенных далеко-далеко от колонки), и самим устройством. Если мы хотим посмотреть фильм, где и что будет происходить? Давайте разбираться:

Алиса, найди фильмы с Томом Крузом!

• «Алиса» — это слово перехватывает сама колонка (она всегда ждёт, когда мы её позовём, и непрерывно ищет своё имя в окружающих звуках).
• «найди фильмы с Томом Крузом» — процессор в колонке производит предварительную очистку нашей команды от шумов, и отправляет очищенный сэмпл в облако.
• Облако принимает сэмпл и гигантская обученная нейронная сеть выделяет из него наш текст («распознаёт» его).
• В зависимости от запроса он передаётся в сервис Яндекс.Видео или, например, Кинопоиска.
• Активированный сервис возвращает результаты поиска.
• Облако отправляет подготовленный результат (с картинками и описанием) на Станцию.
• Станция выводит на экран полученные данные.

Алиса, <включи> номер четыре!

• «Алиса» — перехватывает колонка
• «номер 4» — сэмпл очищается в колонке, и улетает в облако для распознавания.
• Облако распознаёт текст, понимает, что это команда для самой колонки, и возвращает его на Станцию.
• Станция определяет, какой из результатов поиска мы выбрали и запрашивает нужный поток уже с Ютуба/Кинопоиска итд.
• Станция сама обрабатывает видеопоток и выводит на телевизор по HDMI-кабелю.
• Станция временно запоминает прогресс просмотра видео.

Буквально за секунду наш запрос пролетает просто чумовой марафон по нескольким совершенно разным сервисам и компаниям, а мы этого даже не успеваем заметить), но главное — многие функции на себя берёт именно облако, а не колонка, это важно сразу запомнить. И обновляется как прошивка (микропрограмма) в самой умной колонке, так и невидимое нам, но очень важное облако Яндекса, обеспечивающее работу наших устройств.

А как обновляться?

Не нужно предпринимать никаких специальных действий. Умная колонка сама узнает про обновления, скачает и установит их без всякого вмешательства. Обычно обновления прилетают в 4 часа утра по местному часовому поясу (в это время суток использование устройств минимально). Но колонка умеет обновляться и в любое другое время (например, сразу после её первой активации она сразу найдёт и установит обновления).

Поэтому, если вдруг около 4 утра ваша колонка молча засветилась - это не восстание машин)), это ваша Алиса прямо сейчас учится чему-то новому.

А если я пропустил обновления?

Ситуации бывают разными: отключение света, отпуск, просто случайно выключили колонку ночью. Что делать? Не переживайте, просто оставьте колонку включенной на ночь. В ближайшие ночи она обязательно скачает нужные обновления и установит их сама, как будто бы не выключалась.

А я не будут ставить обновления! (А как откатиться?)

По этой причине (что параллельно обновляются и облако, и умные колонки) лишена смысла очень редко, но всё же встречающаяся среди пользователей позиция «меня сейчас всё устраивает, я не буду обновляться»! Да, конечно, можно отключать колонку специально на ночь, не давая ей скачать новую прошивку. Но всё, чем это закончится — рассинхронизацией свежеобновлённого облака и безнадёжно устаревшей прошивки в колонке, и потерей или нарушением части функций. И по этой же причине нет никакой пользы в «откате» прошивки (хотя некоторые колонки при полном сбросе это умеют).

Выключать ли колонку?

Теперь легко ответить на вопрос, стоит ли выключать колонку.

• При долгом отсутствии домочадцев (все уехали в отпуск) — конечно, да.
• Если дома кто-нибудь есть — конечно, нет.

Возможные ошибки

Будьте готовы, что с первого раза не получится настроить умный дом Яндекс. Некоторые пользователи жалуются, что при попытке ввода устройств они сталкиваются с ошибкой и рекомендацией попробовать подключение позже. Причиной является загруженность серверов в первые дни работы.

Разработчики уверяют, что в дальнейшем проблема будет исправлена. При появлении трудностей эксперты рекомендую выждать немного и сделать еще одну попытку.

Не менее важная проблема — отражение не всех устройств или их отсутствие в списке после авторизации в приложении Mi. Одна из причин в том, что устройства добавляются в одну учетную запись для конкретного региона (как правило, Китая), а при авторизации человек устанавливает другую зону (к примеру, Европу).

Еще одна особенность приложения в том, что после ввода данных внести изменения не выйдет. В случае отвязки сервисов и вторичной авторизации подтягиваются первичные данные.

Для решения проблемы сделайте такие шаги:

• войдите в приложение Mi Home, а далее в секцию Профиль;
• жмите на аватарку своей учетки;
• откройте раздел с аккаунтом;
• найдите раздел Яндекс и подтвердите факт отвязки.

По завершении этих шагов пройдите вторичную авторизацию в приложении для умного дома Яндекс.

Подробнее о возможностях элементов умного дома

Рассмотрим возможности техники Редмонд, подключенной к умному дому Яндекс и управляемой с помощью Алисы или без нее.

Основные единицы Redmond:

1. Центр управления — осуществляет управление техникой по беспроводной сети. Это не обязательная единица, но в случае ее отсутствия придется использовать блютуз и находиться в непосредственной близости от устройства. К Алисе такая техника не подключается.
2. Чайник. Для Алисы доступно включение и отключение устройства. Другие опции (нагрев до конкретной температуры, информирование о необходимости смены воды) не доступны.
3. Цоколь. Умный дом Яндекс может включать и отключать лампочки на большом расстоянии. Изменение яркости пока недоступно. Через приложение Редмонд пользователь может установить таймер на работу лампочки, но в Алисе этой опции нет. Для управления лампочкой ее нужно вкрутить в смарт-цоколь, а далее установить в светильник. Чтобы настроить смарт-цоколь, потребуется несколько нажатий на корпусе для совмещения с центром по Вай-Фай и телефоном по блютуз.
4. Розетки. Здесь работа построена на включении и отключении питания. Допускается подключение устройств, работающих сразу после подсоединения к сети (вентиляторы, кофеварки и т. д.). Их можно подключить к удлинителю, чтобы одной командой снять напряжение со всех устройств.

Умный дом на базе Raspberry Pi 3 своими руками, пошаговая инструкция

Розетки от Яндекса и Редмонд внешне отличаются. Первая имеет большие размеры, а кнопка для настройки установлена с торцевой части.

У Redmond этот элемент находится на лицевой части, поэтому такую розетку лучше установить где-то в невидимой части комнаты. В приложении умного дома розетке лучше давать название по имени подключенного прибора.

Кроме розетки, компания Яндекс выпустила следующие устройства для умного дома:

1. Универсальный пульт. С его помощью можно управлять только ТВ и кондиционерами. С другой аппаратурой пульт пока не взаимодействует. Для управления телевизором необходимо изучить список, выбрать производителя ТВ и определиться с подходящим пультом. Для некоторых моделей телевизоров может подходить сразу несколько пультов. По функционалу пульт ДУ ограничен. Он позволяет менять каналы, включать и отключать ТВ, корректировать громкость в большую или меньшую стороны. Приказы подаются с помощью Алисы. Для выполнения других приказов потребуется обычный пульт. Дать команду Алисе включить ТВ на Смарт или Apple не получится.
2. Лампочка. На данный момент этот элемент умного дома наиболее полезен. Устройство можно включать и отключать, менять яркость, температуру свечения и цвет. Алиса распознает много команд, что упрощает управление лампочкой. Наиболее ярким является белое свечение. Но можно задать и другие цвета — красный, желтые и т. д. Все изменения задаются через настройки приложения или с помощью голосовых команд Алисы.
3. Яндекс.Станция. Отдельного внимания заслуживает Яндекс.Станция, продажи которой начались лишь год назад. Не секрет, что Алиса появилась давно и уже встроена во многие устройства (браузер, навигатор и т. д.). Но там он выполняет вспомогательные функции. В случае с умным домом Алиса — главный элемент, обеспечивающий управление техникой. Первичная настройка происходит через смартфон, но впоследствии управление колонкой происходит только голосом.

Яндекс.Станция объединяет необходимые сервисы и позволяет им работать через аккаунт системы. Это не обычная ТВ-приставка. С ее помощью можно управлять ТВ, менять каналы и получать помощь в выборе фильма. Она полезна, когда хочется послушать музыку, а с выбором возникают проблемы.

Отметим, что пока умный дом Яндекс находится на этапе развития. Со временем появится больше устройств и функций, с которыми будет справляться Алиса.

Подключаемся методом webhooks к Умному дому Яндекса

Кузя

1. Выбираем кнопку «Добавить правило GET».
2. Заполняем «по вкусу». Можно похулиганить и дать устройству имя «Розетка Яндекс».
3. Не забываем в поле «URL управления устройством, доступный из интернета» вставить ссылку на наш вебхук.
4. Создаём ВТОРОЕ правило GET — одно на включение устройства, второе — на его выключение.
5. Выбираем кнопку «Виртуальные устройства умного дома» и создаем новое устройство (у меня лучше всего работают «лампы»).
6. Указываем ранее созданные «Правило на включение» и «Правило на выключение».
7. Задаем имя устройства и комнату, в которой оно находится.

Приложение «Яндекс»

В приложении «Яндекс» (раздел «Устройства») находим навык «Домовенок Кузя». При первом запуске навык попросит авторизоваться. После авторизации нажимаем единственную кнопку «Обновить список устройств». Готово! После загрузки мы увидим наше устройство в списке.

Осталось сказать «Алиса, включи Розетку Яндекс» и услышать радостное пощелкивание реле.

Поддерживаемые устройства

Пока умный дом Яндекса работает с ограниченным числом производителей. Среди них:

• Samsung;
• Rubetec;
• Philips;
• Xiaomi;
• Redmond и другие.

В ближайшее время планируется наладить взаимодействие с техникой других брендов, к примеру, Elari, Bosch и т. д.

Вместе с имеющейся продукцией умный дом Яндекс пополнился и собственной продукцией компании — появились смарт лампы, розетки и пульты.

Лампочки могут включаться и отключаться в дистанционном режиме. К розеткам подается или снимается напряжение.

Пульт ДУ позволяет управлять техникой. Аналогичный подход касается и других устройств. Стоимость техники Яндекс составляет от 1000 до 1400 рублей за единицу.

Один из конкурентов на рынке Умный дом Триколор.

Возможности платформы умного дома от Яндекса

Основным затруднением распространения программы Smart Home на постсоветском пространстве стало отсутствие русскоязычной версии, что было успешно реализовано в совмещении мультимедийной платформы «Яндекс.Станция» с Алисой, преобразующей процесс управления бытовыми приборами в живой диалог.

Что умеет?

Управление умным домом начинается с команды, приемником которой служит смартфон, заряженный голосовым помощником «Алиса» или умная колонка, наподобие: DEXP, Elari SmartBeat или IRBIS A. Обязательным условием для этих устройств становится постоянная связь с Интернетом, поскольку обработкой сообщений занимаются серверы «Яндекса». Работая с партнерскими устройствами, сервер связывается с их производителями, перенаправляющими команду на контроллер конкретного прибора. Несмотря на кажущуюся сложность процесса, при нормальном интернет-соединении, он занимает не более секунды.

Помимо управления, платформа контролирует состояние каждого устройства, подключенного к системе умного дома. Основные возможности (devices.capabilities):

• On/Off Включение/отключение питания.
• Смена режимов работы.
• Диапазонные настройки.
• Color setting. Изменение цвета «умных ламп» и других приборов, оборудованных подобной функцией.
• Отключение и включение звука.

Платформа позволяет активировать и обесточивать устройства, настраивать яркость ламп и громкость звуковоспроизводящей аппаратуры. С ее помощью можно управлять режимами кондиционеров и нагревателей, выбирать каналы на телевизоре или треки на плеере.

С чего начать?

Строительство умного дома Яндекс начинается с приобретения предусмотренного платформой оборудования и настройки системы. В стартовый пакет входят умные:

• пульт. Преобразует голосовые команды в инфракрасные импульсы, позволяющие дистанционно управлять режимами телевизора, кондиционера, холодильника и пр.;
• лампочка. Помимо включения и выключения, изменяет яркость, цвет свечения;
• розетка. Подает питание подключенному к ней прибору.

Не балуя разнообразием собственных разработок, платформа совместима с устройствами партнеров, которые представлены устройствами производителей: Xiaomi, Rubetek, Redmond, Samsung, Philips. При этом парк девайсов и брендов постоянно расширяется. Более подробную информацию о совместимых устройствах, включающих чайники, роботы пылесосы, стиральные машины, можно получить в Яндекс. Маркете.

Может ли «Алиса» стать баристой?

«Алиса, вскипяти чайник» стала самой частой фразой дома.

А за чайник, управляемый через интернет, Redmond отдельное спасибо. Кипяток из REDMOND SkyKettle G210S в тот момент, когда заходишь домой — бесценно.

Но таким кофеманам, как я, больше походит капельная кофеварка SkyCoffee M1505S-E. Пока я писал эту статью, бедная «Алиса» трижды отчитывалась о выполнении готовом напитке. Из свежих зерен, которых хранятся в надежно запертой встроенной кофемолке.

Отличное кофе получается

Не капает, не пачкает, легкая в использовании и обслуживании. Через приложение можно поставить на подогрев до определенной температуры и не готовить с нуля. При варке так же можно задать продолжительность.

Интересно: покупка зернового кофе серьезно экономит бюджет: по какой-то невероятной случайности в нашей стране он дешевле суррогата. А SkyCoffee смолет его так, как понадобится в конкретном случае.

Как быстро создать эффективный «умный дом»

На рынке существует невообразимое число решений для домашней автоматизации. Условно их можно объединить в три типа экосистем по принципу интеграции устройств: универсальные, закрытые, открытые.

Универсальные устройства требуют программирования и других инженерных навыков. Поэтому, хотя и существуют намного дольше современных «умных» гаджетов, практически не распространены в масс-маркете.

Закрытые экосистемы вроде Apple HomeKit и Xiaomi Mi Home проще в настройке и готовы к использованию из коробки, но не работают без костылей с другими умными гаджетами.

Поэтому я перешел на компоненты Redmond, объединив их с открытой экосистемой Яндекса под управлением «Алисы». Теперь работает так, как я скажу.

Технические характеристики Развернуть Свернуть

Мощность	1850—2200 Вт
Напряжение	220-240 В, 50 Гц
Защита от поражения электротоком	класс I
Объем	1,7 л
Тип стали нагревательного элемента	304
Материал корпуса	термостойкое стекло
Автоотключение при закипании	есть
Автоотключение при отсутствии воды	есть
Автоотключение при снятии с подставки	есть
Тип управления	электронный, дистанционный (Ready for Sky)
Протокол передачи данных	Bluetooth v4.0
Поддержка на операционных системах	Android 4.3. JellyBean и выше (устройства, сертифицированные Google); iOS 9.0. и выше
Контактная группа	Strix
Выбор температуры нагрева воды	40, 55, 70, 85, 100°C
Поддержание температуры	есть
Индикация	светодиодная, звуковая
Нагревательный элемент	скрытый
Вращение на подставке	360°
Отсек для хранения электрошнура	есть
Размер упаковки (д. -ш. -в.)	218 × 158 × 224 мм
Вес (в упаковке)	1 кг ± 3%
Длина электрошнура	0,7 м
Комплектация:
– чайник
– подставка для чайника
– руководство по эксплуатации/гарантийный талон
Гарантия	12 месяцев

Слабые места умного дома Яндекс и Алисы

Главная проблема новой системы — невозможность раздела смарт дома Яндекс с другими пользователями. Бытовой техникой можно управлять со смартфона, но такая функция доступна только одному пользователю. Остальные жильцы смогут подавать только голосовые команды Алисы.

Доступ к добавлению сценариев и техники открыт только для одного человека. В компании Яндекс отметили, что знают об этом недостатке умного дома и пытаются его решить.

Второй момент — ограниченное число устройств, доступных для подключения. Пользователи системы могу подключить ограниченное число техники, находящейся в доме (если она взаимодействует с системой). Пульт можно использовать только для кондиционера и ТВ.

Третий момент — возможность применения элементов умного дома Яндекс только с Алисой. Остальные устройства добавить в сценарий не получится. Более того, в компании пока не озвучиваю планы по расширению совместимости с другими системами.

Работа с оборудованием:

Чтобы интегрировать устройства в систему, нужно сначала научить Алису различать их. Это значит, что при установке нужно добавить новые устройства в приложение и дать им свои имена.

Как добавить новые устройства

Чтобы добавить новые устройства сторонних производителей, необходимо:

• Подключить устройство, зарегистрироваться на сайте его производителя и настроить в его приложении;
• Связать аккаунты в приложении производителя и Яндексе;
• Зайти в приложение Яндекс и снова настроить устройство.

Настроить элементы умного дома

Чтобы настроить новые элементы «умного дома», нужно:

• Найти в списке устройств системы нужное и нажать на иконку настроек;
• Сменить название подключаемого оборудования с названия по умолчанию на новое, которое будет использоваться в голосовых командах;
• Проверить и, по необходимости, изменить тип устройства;
• Выбрать комнату, в которой и будет использоваться устройство;
• По желанию добавить его в группу устройств.

Что делать, если не находит светильник или другое устройство?

Если приложение не может найти устройство, то необходимо:

• В меню приложения выбрать «Устройства» – «Умный дом»;
• Нажать на иконку добавления новых устройств и выбрать в списке нужного производителя;
• Нажать кнопку «Обновить список устройств».

Компьютерное зрение

Я поставил камеру и научил её распознавать местоположение людей на кадре.

Камера видит почти всю квартиру: комнату, кухню и часть коридора. Выглядит это так:

У камеры есть знание о 5 зонах в квартире:

Каждую секунду камера распознаёт картинку и выдаёт мои координаты. Картинка для распознавания именно такая маленькая, 300х300 пикселей, этого хватает, чтобы хорошо распознавать людей и не путать с кошками:

Так умный дом узнаёт, где сейчас находятся люди и может, например, выключить свет в комнате, где нет людей.

Ночное зрение

Камера имеет инфракрасную подсветку, с ней она может видеть комнату в темноте.

На фото видно, как камера распознаёт меня в коридоре, в полной темноте:

До кухни ИК-подсветка не добивала, поставил на кухню инфракрасных диодов, для камеры это как освещение люстры, а глазу не видно.

На этом фото по-прежнему в квартире выключен свет, но кухня хорошо видна:

Нейросеть vs Кошка

Весной кошка начала ссать в коридоре, я сначала ведро ставил в том месте, пару месяцев помогало, потом перестало помогать.

Написал распознавалку кошки, поставил вторую камеру с видом на коридор.

Теперь, когда кошка идёт в место, где гадит, мой строгий голос из колонки говорит ей, что я всё вижу. Это срабатывает, но не всегда, камера без ночного видения, поэтому кошка пользуется этим и под покровом ночи делает свои грязные дела.

Проект пришлось свернуть из-за трудности обучения камеры распознавать срущую кошку. Но этого хватило, чтобы кошка одумалась и начала хорошо себя вести.

Технически распознавание работает на дообученной модели SSD MobileNet v1 COCO. На датасете из 500 фоток начала работать хорошо. Несколько раз дообучал.

Заключение

Умный дом повышает комфорт жизни, но требует массу времени и главная проблема превращается в Хобби, получаешь умный дом головного мозга. Сейчас все стабильно работает, а ты сидишь и думаешь а может еще какой датчик куда поставить и чего-то автоматизировать. Плюс главный риск когда все работает хорошо все классно, но в процессе отладки или сбоев у вашей семьи должно быть терпение и готовность к определенным трудностям, сколько раз за эти пол года я слышал от супруги, что как я достал с этой автоматизацией, когда в туалете или в ванной отключался свет, пока все отладил. Ну и самое главное должно быть физическое дублирование выключателями.