В процессе разработки проекта «голосовой помощник» одним из требований была возможность распознавания управляющих команд в оффлайн режиме. Это было нужно, так как в противном случае пришлось бы постоянно слушать и посылать поток с аудиоданными на распознавание, получать ответ и анализировать его.

Это весьма накладное решение, которое сложно реализовать из-за постоянной нагрузки на сервер,  большого объема трафика и увеличенного время отклика всей системы.  Для распознавания управляющих команд в режиме оффлайн мы выбрали Pocketsphinx.

Работу с голосовым помощником часто сравнивают с воспитанием ребёнка. Он постоянно чему-то обучается, повторяя за «старшими». Постепенно овладевает языком и способностью выстраивать общение. Иногда он понимает всё слишком буквально или просто выдаёт что-то несуразное. Всё потому, что обработка языка — сложный и длительный процесс, требующий внимания не одного специалиста. Мы попросили наших коллег лингвиста-разработчика Ивана и ведущего инженера Бассела поделиться интересными случаями из опыта работы с Sky Voice Assistant. Мы задали двум специалистам одинаковые вопросы, чтобы узнать, почему одна математика не может победить при обработке языка, как голосовые помощники учатся шутить и зачем это нужно.

За что ты отвечаешь? Что входит в зону твоей ответственности?

Лингвист

Я отвечаю за всё, что связано с лингвистическим аспектом работы голосового ассистента. Это и анализ вопросов пользователя, и планирование логики ответа, и поиск или создание текста для него. Кроме того, я разрабатывал некоторые сервисы, сильно завязанные на тексте (в том числе погоды, напоминаний, новостей, тостов, словесных игр), и собирал контент для обучения. К нему относится, например, запись различных голосов для активации колонки.

Разработчик

Я отвечаю за мозг нашего чат-бота. Пишу его логику: то, как он принимает вопросы, как отвечает, откуда берет данные, какие сервисы внутри него будут работать. Это сервис для общения и база знаний, чтобы он мог ответить на какие-то вопросы. Он может к ней обратиться и сказать, какая погода, каков курс доллара, заказать тебе такси, установить будильник и т.д.

Мы разрабатываем интерфейсы для удаленного управления умной техникой уже давно. Это очень ответственно: умный дом – это то, с чем человек сталкивается ежедневно, поэтому мы всегда думаем о том, как сделать жизнь пользователей еще проще.

Мы очень внимательны к своему продукту: тестируя возможности техники и интерфейс, печем реальную пиццу в реальном устройстве. Доказано, что пользоваться приложением удобнее, чем интерфейсом шкафа, который имеет технические ограничения по железу и банально физическим пространством.

Об одном из кейсов в управлении духовкой мы вам и расскажем. Духовой шкаф SkyOven RO-5707S – универсальная мини-печь с технологией дистанционного управления через приложение Ready for Sky. У нее есть 20 программ готовки от выпечки, кексов, запеченных блюд из мяса и рыбы до томленых супов и омлета. А еще есть функция автоподогрева в течение 12 часов.

Умный духовой шкаф RO-5707.

Что мы имеем на данный период времени в мире ГА? Известный факт: каждая из крупных IT-компаний имеет свой инструмент для работы с умными домами. И каждый вендор предоставляет свой API для заинтересованных в интеграции. А на начальном этапе даже доплачивает разработчикам за новые навыки (actions, skills и т. д. — в соответствии с терминологией вендора).

Самый удобный и практичный на сегодняшний день сервис, по оценкам наших специалистов, это Amazon Alexa. У неё больше возможностей для детального формирования навыка, нежели у Google Assistant, Yandex «Алиса», Mail.Ru «Маруся», Тинькоф «Олег» и других. Для Alexa прибор – это параметрическая виртуальная сущность, вследствие чего навыки могут настраиваться под каждый прибор индивидуально. Например, помимо температуры воды, можно задать расходники, которые ассистент будет предлагать купить на Амазоне. Но, к большому сожалению, в настоящее время Alexa не поддерживает русский язык и не работает на территории РФ, поэтому для российского пользователя этот ГА бесполезен. У Google и «Яндекса» ассистент более «естественный» – получает и отвечает на команды «человеческим» языком, может вести диалог с пользователем, что делает этот ГА более приятным для использования. Единственным серьёзным минусом Google было то, что его Actions не поддерживали русский язык. Однако с 24.07.2019 Google Actions работают в «телефонах» на русском языке, так что этот недостаток коллегами устранен.

Это всё ладно. А если мы захотим интегрировать один прибор с несколькими ГА?

Поиск, собеседование, тестовое задание, отбор, приём на работу, адаптация — путь тяжёлый и понятный каждому из нас — и работодателю и сотруднику.

Новичок не обладает необходимыми специализированными компетенциями. Даже опытному специалисту приходится перестраиваться. На руководителя давят вопросы, какие задачи поставить новому сотруднику на старте и какое время на них отвести? Обеспечив при этом заинтересованность, вовлечённость, драйв и интеграцию. Но не рисковать критичными бизнес-задачами.

Какое-то время мы потратили на изучение умных колонок различных производителей. Мы искали возможность разместить в них свой модуль для удаленного управления приборами. Чем это закончилось — тема отдельного разговора. Поскольку материалов в сети о разборке умных колонок исчезающе мало, то мы решили совместить полезное с приятным и сделать подарок внутреннему ребенку, живущему в каждом технаре. Разрешите представить — материал о разборке умной колонки Baidu Raven H.



Здесь и далее — большая часть изображений кликабельна

Введение

При разработке прибора для отработки его электрической схемы обычно используется отладочная плата. Наши разработчики здесь не исключение, благо положительные стороны такого подхода очевидны: затраты меньше, чем на изготовление прототипа или тестовой партии. А если в процессе всплывают ошибки или для каких-то задач появляются новые варианты решения, их гораздо проще применить.

Однако, довольно часто мы сталкивались с тем, что предложенные на рынке отладки требовали значительной доработки и/или дополнительных модулей. При этом появлялись и дополнительные ограничения, зависевшие от конкретного прибора. Если плату управления и модуль беспроводной связи мы разрабатываем с нуля, то на макетной плате относительный порядок.

Проблемы начинаются, когда разыгрывается второй и более частый сценарий, и мы имеем дело с модернизацией уже разработанной техники. Из-за основного ограничивающего фактора — конечной цены продукта — изменение электрической схемы должно быть минимальным. На этапе макета приходится создавать многими нежно любимый «колхоз».


Источник

Что делать?

Расквартированная клубника и другие особенности машинного перевода: чтобы сделать еще один шаг в сторону автоматизированных кухонь, нужно научить технику понимать рецепты, написанные человеческим языком и в человеческой логике. Для этого их нужно трансформировать. Под катом текст-размышление над проблемой, который родился за чашкой с кофе в ходе обсуждения смежной темы.

Всем привет! Наша компания превращает «классическую» бытовую технику в «умную» и управляемую с телефона (по Bluetooth или WiFi). То есть в неё встраивается электронный модуль с радиоканалом. Если производитель техники хочет провести модернизацию существующей модели техники, то мы можем внедрить свою управляющую плату, которая связывается со специальным мобильным приложением. А ещё можно разработать её с нуля или внести дополнительные изменения в плату, приложение или корпус.

Как-то к нам пришёл заказчик и попросил разработать способ (датчик) для измерения объёма воды в чайнике, чтобы потом пользователь мог видеть эти данные в мобильном приложении. Конструктивное исполнение датчика должно быть простым и подходить для любой модели чайника. Формального ТЗ у нас не было: заказчик хотел, чтобы чайник мог определять, сколько воды в него налито.