Недавно мы представили нашу новую умную колонку — Яндекс Станцию Миди. Она больше, чем Лайт или Мини, поэтому в ней уместились вуфер и два высокочастотных динамика с суммарной мощностью звука 24 Вт. Но при этом она легче и компактнее, чем Станция 2 или Макс. Кроме того, в Миди мы внедрили технологии, которые позволили Алисе научиться новому. В частности, благодаря более современному процессору и бо́льшему объёму оперативной памяти, Алиса в Станции Миди впервые стала понимать и выполнять голосовые команды умного дома локально, без интернета.

Сегодня коротко расскажем, какие задачи пришлось решить команде Алисы и умных устройств, чтобы у пользователей появилась возможность управлять Zigbee-совместимыми устройствами с помощью голоса и не зависеть при этом от удалённого сервера или провайдера.

Что важно: это полезно не только при проблемах со связью. Теперь Zigbee-устройства будут реагировать на команды быстрее даже при наличии хорошего интернета (чуть подробнее — в блоке про замеры скорости в конце поста).

Про локальный умный дом мы впервые заговорили весной этого года. Возможно, вы даже читали на Хабре статью о том, как мы научили наши колонки со встроенным Zigbee-модулем хранить и выполнять сценарии умного дома напрямую, без посредника в виде сервера. Но были ограничения: это работало только для тех сценариев, которые запускались по кнопке или таймеру. Потому что работа с голосовыми командами была доступна только через наше облако. Слишком уж тяжеловесной была это задача для железа. 

Вернёмся к новой Станции Миди. Возможно, когда-нибудь мы расскажем о том, как нам удалось уместить кастомную акустику, LED-подсветку, дисплей и всю остальную электронику в относительно компактный корпус, но сегодня нас интересует другое — новый вычислительный блок, а точнее, SoC A113X2 от Amlogic с выделенным NPU, а также 1 GB оперативной памяти и 8 GB флеш-памяти (для сравнения: в Мини — 256 MB RAM и 256 MB флеш-памяти). Неплохой запас вычислительных ресурсов для такого класса устройств. Без него у нас не получилось бы реализовать задуманное. Но одних лишь ресурсов было мало. Нам нужно было перепридумать то, что создавалось для работы на сервере.

Изначально процесс работы с умным домом был частью процесса Алисы в облаке. Но чтобы добиться локальности, нам нужно было аккуратно вынести три последовательных компонента, отвечающих за умный дом, в отдельный пайплайн на устройстве. И при этом ничего не сломать в облачных сценариях. На схеме ниже вы можете увидеть компоненты, которые должны были заработать локально.

И всё бы хорошо, но был нюанс. Ни одного из этих готовых для применения на устройстве компонентов у нас не существовало в прошлом. А значит, их нужно было создать.

Распознавание речи в текст 

Самое очевидное: нам нужна нейросеть, которая будет распознавать голос в текст прямо на устройстве. С хорошим качеством. И при этом работать не на самом мощном суперкомпьютере в России, а на маленькой SoC, которая делит весьма ограниченную жилплощадь с другими полезными вещами. Ничего сложного, да? 

Для начала расскажем, как работает наш облачный ASR. Если упростить, то это три нейросети. Первая на лету превращает поток в слова, не дожидаясь завершения всей фразы. Это полезно, чтобы пользователи могли сразу видеть в интерфейсе свой запрос по мере того, как они его произносят. Поэтому эта нейросеть быстрая и относительно лёгкая по серверным меркам (всего-то каких-то пару сотен миллионов параметров).

В паре с первой нейросетью работает вторая, единственная задача которой — предсказывать момент завершения фразы.

Когда реплика закончилась, вся фраза целиком отправляется на вход самой большой, третьей нейросети. Она работает медленнее, но и качество распознавания произвольных фраз выше. И именно результат работы третьей нейросети считается финалом.

Но колонка — это не кластер со множеством GPU. Мы не можем себе позволить уместить в неё несколько серверных моделей. Даже одну не можем. Начали думать, где можем сэкономить ресурсы. Описанная выше первая нейросеть из серверного решения, хоть и расшифровывает каждое слово на лету, в действительности работает не в режиме стриминга, а заново расшифровывает всю фразу целиком после появления нового звука (возможно, вы замечали при обращении к Алисе, что текст запроса может измениться задним числом). Это сделано специально. Каждое новое распознанное слово может помочь нейросети уточнить распознавание предыдущих слов за счёт контекста диалога. Например, слово «бить» может распознаться как «пить» из-за шумов в фоне. Но если последующее слово будет распознано как «баклуши», то это даст возможность уточнить, что предыдущее слово всё-таки было «бить».

Однако такой режим работы потребляет очень много ресурсов, ведь каждый новый звук, по сути, перезапускает работу модели. Если перейти в честный стриминг (распознавание на лету с учётом прошлого, но без учёта будущего), то можно сэкономить. Да, модель при этом будет работать на несколько процентов хуже, но это вполне допустимо для нашей задачи (с учётом дефицита ресурсов и фокуса на запросах только из области умного дома).  

Мы провели тесты с учётом перехода работы в режим стриминга. Для нас было важно, чтобы модель не просто работала на колонке, но и распознавала речь в текст так же быстро, как человек произносит её. Посчитали, что оптимально ориентироваться на модель с примерно десятком миллионов параметров. Причём нам нужна была именно единая модель, которая будет и расшифровывать текст, и предсказывать конец фразы.

Несколько слов об архитектуре для тех, кому интересно. Наша быстрая серверная нейросеть основана на подходе CTC. Сам по себе этот подход вполне совместим со стримингом, но на качество результата больше всего влияет энкодер (та часть нейросети, которая на входе преобразует речь в векторное представление). Мы выбрали энкодер с архитектурой трансформера — по нашему опыту, лучший вариант на текущий момент. Но CTC в связке с трансформером в режиме стриминга проседал в качестве. Поэтому мы приняли решение заменить CTC на RNN-T. Этот подход в связке с тем же трансформером в режиме стриминга показал более высокое качество распознавание речи.

С размером модели разобрались. С архитектурой тоже. Теперь коротко про датасет. Обучение модели происходит в облаке, а там таких проблем с вычислительными ресурсами нет. Мы воспользовались датасетом, на котором обучаем облачные модели ASR. Но с рядом изменений. Главное из которых заключается в том, что мы добавили к нему дополнительные примеры из области работы с умным домом. Так мы «показали» нейросети, что именно этот срез запросов нам особенно важен. При этом другие качественные, оригинальные примеры мы не вырезали из датасета, потому что общее разнообразие данных тоже влияет на качество. 

В итоге мы получили нейросеть, которая помещалась на устройстве и могла в реальном времени превращать речь в текст в автономном режиме.

Распознавание команды по тексту

Итак, у нас есть текст речи пользователя. Теперь нужно распознать в нём команду умного дома. С учётом всего многообразия таких команд. С пониманием имён сценариев, которые могут быть произвольными, так как пользователь сам их придумывает. И с хорошей точностью, потому что, помимо команд умного дома, существуют и другие сценарии, для корректной работы которых запрос надо отправить в облако. Можно сказать, классическая NLU-задачка. 

Яндекс уже давно умеет решать подобные задачки в Поиске, Алисе и многих других сервисах. Например, коллеги из поисковой инфраструктуры разработали Бегемота (Begemot) — сервис, который помогает понимать запросы и превращать неструктурированный текст в понятные для дальнейшей обработки структуры. Хорошая новость в том, что этот сервис работает быстро, так как создавался для Поиска. Но есть плохая (для нас): работает эта штука на инфраструктуре компании. Одна инсталляция потребляет не менее 30 GB RAM и ещё около 30 GB флеш-памяти. Запустить такое на Станции Миди шансов просто не было. Нужно было адаптировать. 

Если всё сильно упростить, то Бегемот — это много-много компонентов, которые образуют граф обработки запроса пользователя. Например, это могут быть компоненты, которые помогают находить в тексте географические объекты. Или даты. Или команды Алисы. Поэтому самый очевидный вариант — посадить его на диету: отказаться от всех компонентов, которые не требуются при работе с умным домом. Но рефакторинг кода всё же понадобился, чтобы отказаться от невостребованных нами зависимостей, граф которых тоже надо было детально изучить. В том числе мы отказались от компонентов, которые были предназначены для работы с ML: команды умного дома простые и структурированные, тяжёлый ML нам тут просто не нужен. Ещё был риск, что потребуется что-то специально переписать под ARM, но — к счастью! — этот риск не реализовался.

В итоге мы собрали свою версию, которая уместилась в 90 MB RAM и 73 MB флеш-памяти (иногда ласково называем её Бегемотиком).

Выполнение команды

Теперь у нас есть команда умного дома в машиночитаемой форме. Команды бывают очень разные. А ещё бэкенд умного дома должен корректно отрабатывать переименование устройств, поддержку разных комнат и домов и многое-многое другое. Всю эту логику для Миди можно было бы написать с нуля на C++. Но, во-первых, это долго, а, во-вторых, синхронизировать изменения функциональности между локальным и облачным компонентами сложнее, если они созданы независимо. 

Был и альтернативный путь: собрать более лёгкую версию бэкенда умного дома. В этом случае конфигурацию умного дома пользователя можно было бы хранить на устройстве и синхронизировать с облаком в одном и том же формате. Звучало красиво, вот только бэкенд написан на Go и потребляет больше полгига флеш-памяти и под 200 мегабайт оперативной. Но идея нам понравилась, поэтому начали думать.  

Go — язык компилируемый, под ARM собирается. Ситуация проще, чем могла бы быть с Java или Python. Попробовали собрать бинарник и запустить на платформе. Запустился. Дальше оставалось поработать над его аппетитами. Как и в истории про Бегемота, начали руками отбрасывать всё, что не требуется хранить локально на колонке. Например, отказались от компонента, который отвечает за озвучивание колонкой показаний датчиков, потому что локального синтеза речи у нас всё равно нет. В итоге бинарник стал легче и быстрее (уложился в 90 MB оперативки) и благополучно заработал на Станции.

Что в итоге? 

На Станции Миди нам удалось завести не просто локальный умный дом с поддержкой Zigbee-устройств, но и дать людям возможность управлять им голосом. Это полезно не только при отсутствии интернета. Локальный процесс работает для команд умного дома всегда, а значит, ваша Zigbee-лампочка и любое другое совместимое устройство будут включаться быстрее. 

Ускорение мы замерили так: в одних тестовых колонках включили принудительно облачный процесс работы с умным домом, в других — локальный, а затем прогнали десятки команд и подсчитали тайминги. Скорость ASR во многом зависит от сложности фразы, которую надо распознать. Поэтому разброс результатов большой. Но в среднем локальный ASR отработал быстрее, хоть и не в разы. А вот с остальными этапами процесса всё куда нагляднее: локальные Бегемотик и бэкенд УД справились с задачами в среднем в 6 раз быстрее, чем вариант с облаком (в том числе за счёт отсутствия сетевых задержек). 

Следующий этап — дождаться отзывов первых пользователей Станции Миди, которые будут использовать её для управления Zigbee-устройствами. Хочется верить, что пользователи заметят разницу на глаз и подтвердят востребованность нового решения. А что думаете вы?

Комментарии (61)


  1. ketzal
    16.11.2023 09:21
    +1

    Сразу вопрос, если умные устройства добавлены в умный дом через интеграцию с локальным home assistant то как будет локальность работать? Или не будет? Или это только для устройств подключенных непосредственно к станции?


    1. BarakAdama Автор
      16.11.2023 09:21

      Станция выступает Zigbee-хабом и управляет устройствами, подключенными к ней.


      1. ketzal
        16.11.2023 09:21
        +4

        Спасибо, понятно, значит пока останусь на мини, смысла менять нет


  1. IIopy4uk
    16.11.2023 09:21
    +24

    Хорошая статья.

    А расскажите, пожалуйста, об особенностях и перспективах встраивания голосовой рекламы в ваши умные устройства. Ну, чтобы сразу знать, что не покупать.


    1. ftarasenko
      16.11.2023 09:21

      Да, пожалуйста. Я не против подписки, но за неотключаемую рекламу однозначно придётся выкинуть колонки и страдать с соносом.


  1. eps
    16.11.2023 09:21

    «Без интернета» — это довольно условно, да? Без интернета и Яндекс-учётки её всё так же не включить и не настроить?
    Или с этим тоже есть подвижки?


    1. BarakAdama Автор
      16.11.2023 09:21
      +1

      Конечно, для большинства возможностей интернет нужен. В том числе для того, чтобы всё настроить и начать синхронизировать. Лично для меня главное тут то, что теперь можно голосом включить свет на zigbee-лампочке в комнате, не дожидаясь ответа удалённого сервера. Даже хороший интернет вносил задержки.


    1. Goron_Dekar
      16.11.2023 09:21
      +3

      А даже если и включить/настроить по одноразовой учётке, можно ли потом этим устройством пользоваться как источником команд для Home Assistant хотя бы лет 5, заблокировав ей выход в интернет на роутере?

      Вопрос на для троллинга, если ответ положительный, я бы купил прямо сегодня.


      1. dextor
        16.11.2023 09:21

        Нельзя. Навыки умного дома работают только через интернет. Здесь никаких изменений.

        https://yandex.ru/dev/dialogs/smart-home/doc/concepts/general-concept.html


        1. Melonom
          16.11.2023 09:21
          +3

          То есть вот тут:

          Голосовое управление умным домом — без интернета

          Нас опять обманули?


          1. BarakAdama Автор
            16.11.2023 09:21

            Резонно. Чтобы никого не путать, указал явным образом, что речь про Zigbee-устройства.


          1. Nansch
            16.11.2023 09:21
            +2

            Если обманули, но не совсем, то это не ложь, а маркетинговый ход. Управлять умным домом без интернета можно, но не всем и не всегда. Могли бы сделать умный дом без интернета по подписке. Внёс предоплату за год и дом весь твой на это время и такой же умный как и с интернетом.


      1. alexandrtumaykin
        16.11.2023 09:21
        +2

        еще было бы круче, если бы сделали локальную интеграцию с HA в обе стороны


      1. eps
        16.11.2023 09:21

        Наша надежда — всё так же Home Assistant Assist. Вроде все компоненты уже есть, но неясно, что там с русским.

        Если готовы командовать по-английски, посмотрите ситуацию с Siri. Там часть запросов на некоторых языках работает локально и offline. Можно купить Homepod и выставить нужные ручки в HomeKit / Siri


  1. haword
    16.11.2023 09:21
    +1

    после того как сделают памяти 4 гига и диск на гиг и все это сможет распознавать голос и синтезировать голос, тогда можно брать.


  1. akma
    16.11.2023 09:21
    +1

    А какие zigbee-устройства, только те что Яндекс "видит"?


    1. rufus20145
      16.11.2023 09:21

      Вроде в этой модели сильно расширили поддержку устройств, будем посмотреть.


  1. Affdey
    16.11.2023 09:21

    Вот всё говорят нейросеть, нейросеть.. Вы как звук -то в текст преобразуете? Что именно является входными данными для поиска по базе текста? Понятно, что не сам звук, а его преобразование, например в спектр, в вейвлет, в другую какую-то инвариантную к особенностям произношения форму. Вот это интересно, расскажете?


  1. empenoso
    16.11.2023 09:21
    +2

    Как-то можно вписать колонку в Home Assistant?


  1. Dee3
    16.11.2023 09:21
    +6

    Новая станция также как Макс-мини-лайт спамит сотнями тысяч DNS запросов в домашней сети?

    Серьезно, среди огромного числа устройств в доме, умного дома и 24/7 работающего ПК, это самые активное устройство в доме. А если дома таких три, то это просто швах.


    Частота запросов такая, что на недельной статистике выглядит, что интернетом в семье пользуется только Алиса. Никакие там айфоны, андроиды, планшеты, вебсервера, виртуальные машины, торренты, умные дома, "шпионящие" телевизоры, стиральные машинки, кино,ютуб, тв,игры-ps это все - пфф. Даже рядом не лежало с жадностью Алисы.

    Что там у вас за бизнес-продуктовые-технические задачи, что нужно слать метрики по несколько раз в секунду 24/7 ?

    Адреса
    quasar.yandex.net
    report(1).appmetrika.yandex.net
    report.appmetrica.webvisor.com

    Эти запросы можно блокировать AdGuard home, можно не блокировать. На работоспособность не влияет, и на частоту запросов - тоже. Но колонки будут туда слать данные непрерывно.

    Видел в сети вопросы от пользователей по данной теме, Яндекса только игнор.

    Можно пожалуйста отключить вот это всё?

    Под рукой нет скриншота, но выглядит это очень не-здорово, проверить может любой, у кого установлен дома Adguard Home на роутере. Смотрел на Алисе у друзей тоже самое.

    Понимаю, что часть команд распознаются через облако, но статистика показывает что это независимо от звуков в доме, а название доменов - о том что это какая-то аналитика, которая вот мне лично вообще не нужна в таком количестве, особенно в диапазоне 2.4ГГц


    1. BarakAdama Автор
      16.11.2023 09:21

      Правильно понимаю, что изначально эти запросы были заблокированы на роутере? То есть перезапросы начались после блокировки. Если да, то рекомендую попробовать так: снять блокировку и обязательно подождать некоторое время.


      1. Dee3
        16.11.2023 09:21

        Нет, порядок такой - сначала видим гигантское количество запросов, потом блокируем. Списать на то что это блокировщик виноват - не получится.


        1. BarakAdama Автор
          16.11.2023 09:21

          Напишите нам в поддержку, пожалуйста, через приложение Умный дом. В обычной ситуации такого быть не должно.


    1. StjarnornasFred
      16.11.2023 09:21

      А вы с помощью какого ПО это определяте? У вас прошивка роутера это позволяет или через комп?


      1. Dee3
        16.11.2023 09:21
        +2

        https://github.com/AdguardTeam/AdGuardHome

        Прошивка роутера позволяет устанавливать ПО, например свой DNS сервер, со статистикой


  1. rustavelli
    16.11.2023 09:21
    +4

    Сделайте микрофон для home assistant. Приложение Дом Яндекса, это не просто вендорлок, а убогое убожество.

    И интеграцию с нормальной акустикой, а не эти пищалки в пластике.


    1. jehy
      16.11.2023 09:21

      Вроде ж https://github.com/AlexxIT/YandexStation умеет голос на Алису слать.


      1. rustavelli
        16.11.2023 09:21

        да, этот плагин стоит конечно. Я про микрофон. Сейчас кто хочет использовать опенсорсных асистентов колхозят что-то такое
        https://www.seeedstudio.com/ReSpeaker-Mic-Array-Far-field-w-7-PDM-Microphone-p-2719.html

        Яндекс мог бы сделать микрофон в красивом корпусе. Говоришь в микрофон, он потом шлёт распознанный текст по mqtt, а там уже HA разберётся что с этим делать.

        Сейчас это работает через реверс-инжиниринг Станции и отвалится в любой момент или будет просить подписку 360, потому что это похоже на на бизнес-использование.


    1. ftarasenko
      16.11.2023 09:21

      А что не убогое убожество? HA я не смог настроить чтобы красиво было.


      1. rustavelli
        16.11.2023 09:21
        -1

        Я не про внешний вид, а про фичи. Всё примитивное. Автоматизации на уровне "включилось это, включи ещё и то". Поддержка устройств как у эпл. Будет работать только из списка производителя.

        Для HA можно найти много чего стороннего, например
        https://community.home-assistant.io/t/homeplay-a-wall-tablet-dashboard-update-version-2-2-0-aug-2023/551973

        У яндекса смог найти только настройку - большие или маленькие карточки.

        Открыл УДЯ, выскочила видео-реклама новой кононки на весь экран. С этими людьми с нетрадиционной ориентацией никаких дел иметь не хочется.

        О, ещё посреди моих выключателей воткнули баннер "ТВ станция с алисой"


    1. TimurRyabinin
      16.11.2023 09:21

      Здравствуйте! Я из Яндекса. Ваше замечание записал и передал команде, ребята подумают над реализацией микрофона и интеграцией с внешней акустикой.


  1. titan_pc
    16.11.2023 09:21
    +1

    Лично для меня уход на homeassistant вызван не столько тем, что там всё без интернета работает и вайфай и зигби и что угодно и как угодно. А тем, что там здраво продумана система ценариев. И они все локально работают. Главная Килер фича - это отслеживать в рилтайме состояния устройств и на этом строить сценарии, так ещё и с опцией запомнить как было до того, как сценарий начал работать.

    А то что без интернета сможет Алиса ну это второстепенно. Особенно для людей которые на удалёнке работают, у них интернет есть всегда. А когда его нет, эти 10 минут ненастья спокойно проходят за чашкой чая. Первостепенно на мой взгляд - любые сценарии в локальной памяти хранить, а в облако дублировать. Особенно те, где голос не нужен вообще. И возможность хранить атрибуты - это просто пушка была бы.

    А из супер фишек - надо Гугл корел забрать и управлять жестами через камеру. Всё руки не дойдут сделать. Вот в Алису встройте камеру и пусть жестами можно будет локально что угодно делать.


  1. Komrus
    16.11.2023 09:21
    +2

    Я правильно понимаю, что наконец-тотЯндекс.Станцию можно достать из коробки, поставить в избушке в тайге, где инета нет и немпрелвидиться и она сможет работать как переводчик голоса в Zigbee команды?

    Или как обычно - вынь и положь инет, яндекс учётку,скан паспорта, номер мобильного?


    1. BarakAdama Автор
      16.11.2023 09:21

      Настройка нужна, конечно. Среди прочего нужно ведь ещё и конфиг умного дома подтянуть. Но, в целом, я не рекомендую брать устройство в глухую тайгу: большинство возможностей всё равно не будет доступно.


      1. Weron2
        16.11.2023 09:21
        +2

        Именно, даже с инетом но без подписки работает только 3 телеканала. Починить проблемы с громкостью уведомлений не могут больше 3 лет... В принципе можно не рекомендосювать брать устройс во потому что даже заявленные функции работают плохо


  1. Wowan4ikuz
    16.11.2023 09:21
    +1

    Подскажите, всё же касательно поддержки устройств Zigbee, можно будет управлять только устройствами от Яндекс? Что будет с теми Zigbee устройствами что подключены, к примеру, через API-интерфейс того же Xiaomi, правильно понимаю, они за бортом?


    1. BarakAdama Автор
      16.11.2023 09:21

      Нужен Zigbee, но не обязательно от Яндекса. Можно вот тут посмотреть https://yandex.ru/alice/support/station/zigbee.html#supported

      Если устройство подключено не по Zigbee напрямую, а через облако производителя, то такому устройству нужен интернет, да.


      1. Wowan4ikuz
        16.11.2023 09:21

        Теперь получается, те устройства что ранее работали на облачных сервисах производителя, можно перепривязать к колонке (реч о тех что в указанном списке) для локальной работы.

        Это конечно плюс, для тех кому лень, либо не хватает навыков поднять home assistant ????

        Было еще тогда супер, иметь на борту колонки BLE, для полноценного мониторинга дома, от протечек, влажности и т.д.


        1. TimurRyabinin
          16.11.2023 09:21

          Здравствуйте! Я из Яндекса. Верно, со списком поддерживаемых устройств можно ознакомиться на странице Справки: https://clck.ru/34XEgy

          Устройства таких же типов (умные лампочки, датчики, выключатели, розетки) будут работать со Станцией 2 и Станцией Макс с ZigBee, если они поддерживают подключение через протокол Zigbee. Однако некоторые производители могут ограничить работу своих устройств для спецификации своих навыков. В будущем список поддерживаемых устройств будет постоянно обновляться и расширяться.

          Что касается голосового управления устройствами Zigbee, без подключения к интернету колонка не сможет обработать и передать команду умному устройству через хаб.
          При этом для работы умных девайсов достаточно сети Zigbee. Если раздать интернет только на Станцию с Zigbee или Хаб, то все остальные устройства будут управляться и работать. Таким образом, больше не понадобится заново подключать к сети каждое устройство умного дома при трудностях с сетью Wi-Fi.
          В то же время сейчас доступны сценарии без интернета, которые активируются по Датчику. В локальных сценариях сработают только устройства, напрямую подключённые к Хабу Яндекса для устройств или Станциям с Zigbee.

          Правильно ли я понимаю, что вы бы хотели видеть в умном доме Яндекса колонки с Bluetooth Low Energy?


  1. alferiusgmailcom
    16.11.2023 09:21
    +1

    Почему не пишете, что без интернета будут управляться устройства, только напрямую подключенные к колонке? Т.е если в сети две колонки с зигби, а устройства подключены например на Макс, то без интернета управлять не будет, хоть Оби колонки заведены в один дом. И сразу вопрос, зачем это ограничение?


    1. BarakAdama Автор
      16.11.2023 09:21

      Почему же. Должно работать.


      1. alferiusgmailcom
        16.11.2023 09:21

        В журнале Тинькофф вышла статья, где они утверждают, что только подключенные к колонке устройства будут работать без интернета.


        1. BarakAdama Автор
          16.11.2023 09:21

          Да, к колонке с хабом устройство подключено должно быть. Но речь же шла про условно две разные колонки с хабом, если я правильно понял.


          1. Fedora1964
            16.11.2023 09:21

            Можно спрошу так, у меня есть Яндекс хаб с подключенным к нему зигби устройствами, и я покупаю станцию миди. При отключении интернета смогу ли голосовыми командами, отданными станции миди управлять устройствами которые подключены к Яндекс хабу?


            1. BarakAdama Автор
              16.11.2023 09:21

              Да, должно получиться.


  1. pistoletov
    16.11.2023 09:21
    +2

    Цены бы ей не было если бы могла http или mqtt запросы отправлять на локальный сервер умного дома. И Алисе внутри хранить сценарии в стиле nodered на такую-то команду такой запрос отправлять.. А там уже сервер уд произведет нужные операции


  1. gigimon
    16.11.2023 09:21
    +1

    Почему вы не добавили никакого нормального выхода на нормальный аудио девайс? Только в мини и в самой дорогой есть AUX


  1. papilaz
    16.11.2023 09:21

    Ничего тут волшебного не случилось. Иногда сервер нужен для наработки и локального распознавания скорее выбора из наклмленого. И про рекламу тоже понятно. Прилетит со временем.


  1. Neoprog
    16.11.2023 09:21
    +1

    Лучше бы добавили возможность указывать в условиях сценария несколько устройств. Например, "если температура > X и открылась дверь, то...". Подобная возможность должна быть изначально и всё приличные системы умного дома её имеют. В итоге я могу создавать примитивные сценарии вида "нажал кнопку - включилась лампочка". Скорее всего придется перейти на другие системы.

    К сожалению, я не знал о такой особенности при выборе :(


    1. rustavelli
      16.11.2023 09:21
      +1

      Вендорлок он всегда такой, с неизбежным разочарованием рано или поздно.


  1. SoloMen88
    16.11.2023 09:21
    +1

    Интересное устройство получилось, жалко что нет AUX выхода, так бы взял на замену Мини 2. А может подскажете по Мини 2, у нее есть AUX выход, и у меня сценарий использования такой: для управления УД и фоновой музыки использую встроенный динамик, когда хочется послушать нормально, громко музыку подключаю в разъем кабель от усилителя (тоже включается по команде от WiFi розетки) с колонками по 120Вт и слушаю на нем. Так вот, сильно раздражает дергать туда-сюда кабель, нельзя ли добавить Алисе команду "переключи звук на усилитель", чтобы при этом отключался динамик и активировался AUX выход?


    1. rustavelli
      16.11.2023 09:21

      я для этого использую HA и 2 плагина

      https://github.com/AlexxIT/YandexStation#стриминг-музыки
      https://github.com/nagyrobi/home-assistant-custom-components-linkplay

      Первый заставляет алису стримить музыку в linkplay,

      Linkplay подключен к Denon, заведён в HA. Глючно, но работает. Есть автоматизациия, которая перезапускает воспроизведение на каждом треке и всё становится хорошо.

      Тоже бесило, как работает AUX. Сейчас и такого нет.


  1. nioliz
    16.11.2023 09:21
    +2

    Очень-очень круто! Но еще поддержку WiFi-устройств в оффлайн сделайте пожалуйста? А то вот есть у меня ZigBee лампочка и ZigBee датчик влажности, а также WiFi-умная розетка, через которую включается вытяжка. Я очень рад, что могу лампочку включить без Интернета, это на самом деле прямо здорово, но грустно, что вытяжка без того же Интернета не включится если в ванной влажность выросла.


  1. Nyptus
    16.11.2023 09:21

    Локальное управление без интернета - это то, что нужно.
    Непонятно только, почему не добавили IR-датчиков для управления телевизором, кондиционером и пр.
    ИК-светодиод - это не такая уж дорогая деталь, нет?


  1. VladMgn
    16.11.2023 09:21

    Только макс взял, а в ней в оффлайне что работает кроме блутус ? никакого Room Correction в максе нет, зря переплатил? может надо было миди брать) Насколько железо отличается?


    1. BarakAdama Автор
      16.11.2023 09:21

      На Максе с Zigbee вот это работает https://habr.com/ru/companies/yandex/articles/729554/ (локальность, но без голоса).


      1. VladMgn
        16.11.2023 09:21

        спасибо за ответ, в обновлениях прошивки не ожидается голос? или это ограничения железа?


  1. ftarasenko
    16.11.2023 09:21

    Подскажите, в паре колонки когда-нибудь смогут стабильно играть или пока не выходит? Я раз в год собираю стереопару из двух максов, которая мне через час работы начинает рассказывать про прюотерю соединения с другой колонкой.


  1. SafronovVS
    16.11.2023 09:21

    Данные изменения касаются только Станции Миди или на Станцию 2 тоже обновление прилетит? или на второй нет таких ресурсов?


  1. sd4
    16.11.2023 09:21

    Тимур (и его команда)!

    Перечень поддерживаемых девайсов ограничен набором от Aqara? Или есть поддержка экосистемы Tuya?

    Сколько всего устройств поддерживает ваш условный сс2652p от Texas Instruments? Или какой-то другой контроллер используете?


  1. BEEugene
    16.11.2023 09:21

    Функция распознавания голоса разных пользователей тоже работает в оффлайне?

    Если, например, две колонки - одна лайт (или любая другая) и вторая - миди в одной сети, то в офлайне лайт тоже будет распознавать голос через миди или только миди будет работать?