Робот с голосовым управлением своими руками

Обновлено: 12.07.2024

Уже больше года Яндекс развивает систему управления умным домом через Алису. Благодаря ей вы сможете включать свет, переключать каналы телевизора, заваривать кофе, изменять цвет подсветки, будить умные пылесосы и контролировать температуру в помещении.

Чтобы создать такую продвинутую экосистему умных устройств, совсем не обязательно штурмовать магазины электроники. Яндекс предоставляет API для интеграции ваших собственных решений через платформу навыков.

В этой статье расскажем, как с помощью микроконтроллера и обычного реле сделать умную лампочку и управлять ей с помощью Алисы.

Как работает такой умный дом?

Чтобы создать умный дом своими руками, потребуется навык Домовёнок Кузя. Через него можно не только контролировать умный дом, но и интегрировать виртуальные устройства напрямую в Яндекс.Алису. Это значит, что вам не придётся постоянно открывать навык, чтобы просто выключить лампочку. С микроконтроллером навык будет связываться через веб-хуки.

Для веб-хуков отлично подходит платформа Blynk — панель управления устройствами на Arduino и Raspberry Pi. Там вы сможете без труда создать графический интерфейс, через который можно будет управлять устройством по Wi-Fi (а ещё по Ethernet, USB, GSM и Bluetooth).

Какие устройства можно интегрировать в умный дом?

Через навык можно взаимодействовать с обширным количеством устройств: лампочки, розетки, шторы, замки, роботы-пылесосы, термостаты, очистители воздуха, кондиционеры и чайники. Кроме этого, можно переключать каналы на телевизоре (через универсальный пульт) и менять цвета RGB-ламп.

Все устройства имеют базовую пару функций: включение и выключение (открытие и закрытие для штор и замков). Некоторые из устройств могут работать с диапазоном значений (яркость лампы, температура поддержки тепла для чайника).

Аппаратная и программная часть

Для того, чтобы собрать умный дом своими руками, мы будет использовать Wi-Fi модуль ESP8266. Процесс разработки на нём почти не отличается от традиционной разработки на Arduino.

Для начала нужно скачать приложение Blynk из GooglePlay или AppStore и зарегистрироваться в нём. После этого нужно создать новый проект и выбрать соответствующий микроконтроллер. Перед вами появится пустая панель, на которой можно размещать элементы управления. Это могут быть кнопки, иконки, слайдеры, индикаторы, выпадающие списки и многое другое.

После создания проекта на вашу почту придёт токен доступа. Его нужно будет указать в скетче и веб-хуках.

К элементам управления можно подвязать физический пин микроконтроллера или же виртуальный порт. При взаимодействии с каким-либо элементом, его новое значение будет сразу отправляться на микроконтроллер.

Примечание Виртуальные порты в Blynk можно представить как переменные, которые синхронизируются между устройством и сервером.

На этом сайте можно найти много примеров кода для Blynk под разные платформы микроконтроллеров. Ниже приведён скетч, который будет управлять пином. Тот, в свою очередь, будет управлять реле, к которому будет подключена лампа:

Теперь к указанному порту можно подключать реле. Если всё правильно, то при нажатии на кнопку в панели управления реле будет открываться и закрываться.

Голосовое управление светом не мешает управлению им аппаратно. К микроконтроллеру можно подключить физическую кнопку или выключатель, которые тоже будут включать и выключать свет. Если это необходимо, то изменять состояние виртуального порта можно методом Blynk.virtualWrite(port, value) . Тогда изменения будут отображаться и на панели управления.

Примечание При работе с механическими кнопками и выключателями не забывайте про дребезг контактов.

Всё работает? Тогда можете переходить к следующему этапу.

Получение веб-хуков

От Blynk вам потребуется не панель управления, а контроль виртуальных портов через GET-запросы. Вот так выглядит веб-хук на изменение состояния порта:

Чтобы включить виртуальный порт, нужно указать как 1, чтобы выключить — как 0.

Помимо этого, значение с порта можно получить таким запросом:

Пример настройки правила на включение света

В Правило на включение/выключение из списка выбираете соответствующие запросы. В лампе имеется возможность управления яркостью. Для этого нужно создать ещё одно правило, но значение параметра value установить как . Тогда в запрос будет подставляться число от 0 до 100, которое будет обозначать требуемую яркость. Вам лишь остаётся обработать это значение в скетче.

Пример настройки виртуального устройства

Примечание Если вы планируете изменять яркость, то параметр value в веб-хуке на включение нужно изменить с 1 на 100.

Настройка Алисы

На этом этом этапе вы уже создали умный дом своими руками. Теперь система полностью готова к голосовому контролю. К ней имеет доступ лишь ваш аккаунт. В настройках виртуальных устройств можно расширить доступ на другие аккаунты.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Топорин Андрей Александрович

Статья посвящена созданию подсистемы голосового управления интеллектуальной системы управления движением автономного мобильного робота . В работе рассматриваются известные решения в области построения подобных подсистем. Предлагается структура подсистемы голосового управления на базе системы распознавания речи CMU Sphinx . В заключении представлено исследование подсистемы голосового управления , заключающееся в определении точности распознавания команд.

VOICE CONTROL SUBSYSTEM OF INTELLIGENT MOBILE ROBOT CONTROL SYSTEM

The article is devoted to the creation of a voice control subsystem for an intelligent motion control system of an autonomous mobile robot. The article discusses well-known solutions in the field of building such subsystems. The structure of the voice control subsystem based on the CMU Sphinx speech recognition system is proposed. In conclusion, a study of the voice control subsystem is presented, which consists in determining the accuracy of command recognition.

Аннотация: статья посвящена созданию подсистемы голосового управления интеллектуальной системы управления движением автономного мобильного робота. В работе рассматриваются известные решения в области построения подобных подсистем. Предлагается структура подсистемы голосового управления на базе системы распознавания речи CMU Sphinx. В заключении представлено исследование подсистемы голосового управления, заключающееся в определении точности распознавания команд.

Ключевые слова: мобильные роботы, распознавание речи, CMU Sphinx, голосовое управление.

VOICE CONTROL SUBSYSTEM OF INTELLIGENT MOBILE ROBOT CONTROL SYSTEM Toporin A.A.

Toporin Andrei Aleksandrovich - Master, DEPARTMENT OF ROBOTICS AND MECHATRONICS, MOSCOW STATE TECHNOLOGICAL UNIVERSITY "STANKIN", MOSCOW

Abstract: the article is devoted to the creation of a voice control subsystem for an intelligent motion control system of an autonomous mobile robot. The article discusses well-known solutions in the field of building such subsystems. The structure of the voice control subsystem based on the CMU Sphinx speech recognition system is proposed. In conclusion, a study of the voice control subsystem is presented, which consists in determining the accuracy of command recognition.

Keywords: mobile robots, speech recognition, CMU Sphinx, voice control.

Введение. В настоящее время существует проблема, связанная с упрощением обмена информацией между роботом и человеком-оператором. Одним из решений данной проблемы можно считать создание системы речевого управления. Это позволит людям, не имеющим возможность использовать традиционные средства интерфейса взаимодействовать с роботом, а также снизит утомляемость при работе и сделает ее более увлекательной.

Существуют различные способы создания систем речевого управления. Основные различия заключаются в параметрах их функционирования, таких как: работа без или с доступом к сети Интернет, дикторозависимость, автономность, количество распознаваемых слов и т.д. Также важным фактором является стоимость системы распознавания.

Рассмотрим основные системы распознавания речи, которые доступны на рынке: 1) Voice Recognition Module (VRM) v3.1 является функционально законченным (автономным) устройством, выполняющим функции распознавания и обработки

речи. Это компактная и простая в использовании плата для распознавания речи (рисунок 1), использующая метод динамического программирования. Для начала работы с данным устройством, требуется сначала обучить его, то есть записать набор команд. Плата позволяет хранить до 80 голосовых команд, длительностью 1500 миллисекунд [1]. Недостатком данного модуля является его ограниченность в размере словаря. В каждый момент времени возможно использование только семи команд из восьмидесяти.

Рис. 1. Плата распознавания VRM v3.1

2) Другим решением для создания системы голосового управления является использование программных систем распознавания речи. Их главное отличие от автономных состоит в том, что данные системы являются программным обеспечением, а не отдельным, законченным устройством. В качестве примера можно привести технологию распознавания речи Yandex Speech Kit - это комплекс речевых технологий Яндекса, который включает распознавание и синтез речи, голосовую активацию и выделение смысловых объектов в произносимом тексте [2].

Работа данной системы аналогична работе автономных систем распознавания, однако, она имеет несколько недостатков. Во-первых, использование подобного программного обеспечения требует постоянного или частичного подключения к сети Интернет, и в случае перебоя или отключения сети, весь комплекс может перестать функционировать. Во-вторых, за использование данной технологии, разработчик требует внесения абонентской платы. Это в свою очередь повышает расходы на обслуживание робота. В-третьих, разработчик устанавливает ограничения на количество запросов в сутки.

3) Еще одним программным продуктом является CMUSphinx - открытый бесплатный инструментарий для создания систем распознавания речи [3]. CMU Sphinx сейчас является крупнейшим проектом по распознаванию человеческой речи. К основным преимуществам данного проекта можно отнести его работу без доступа к сети Интернет, дикторонезависимость, возможность создания своего собственного словаря, а также грамматики (последовательность слов, образующих необходимые команды). Недостатком является сложность установки и русификация акустической модели. Также важным фактором, влияющим на качество распознавания, является правильность написания транскрипции слов.

Разработка подсистемы голосового управления начинается с создания словаря распознавания. Чтобы понять, какие слова необходимо добавлять в словарь, нужно проанализировать работу мобильного робота. Робот способен работать в двух режимах: ручной и автоматический. Автоматический режим подразумевает движение

робота в неизвестной среде с препятствиями к различным целевым точкам. Ручной режим позволяет оператору вручную управлять движением мобильного робота.

Разработка словаря начинается с создания файла с расширением *txt с перечислением всех возможных слов, которые могут встречаться в подаваемых командах. Наш словарь состоит из 44 слов. Пример слов, составляющих словарь:

Так как движок PocketSphinx является зарубежной разработкой, то процесс распознавания происходит через латинскую транскрипцию. Для работы с русским словарем необходимо обработать созданный файл и каждому слову поставить в соответствие слово, записанное латиницей. Это можно сделать вручную по определенным правилам перевода или использовать готовые скрипты, которые преобразуют созданный нами словарь в словарь, подходящий для работы с движком распознавания. Пример словаря после обработки представлен ниже:

- Стоять s t o ja tt;

- Автоматический a v t o m a tt ii ch je s k i j;

- Режим rr e zh ii m;

- Включить v k ll u ch ii tt.

В переведенном слове двойная гласная буква обозначает ударный звук, двойная согласная - мягкую согласную. Остальные буквы образуются по правилам перевода русских букв в латиницу.

Для того чтобы сделать процесс распознавания структурированным, опишем как должны строиться команды (каков должен быть порядок слов в ней). Это необходимо для того, чтобы увеличить процент удачно распознанных фраз. Таким образом, распознавание будет происходить в строгой определенной заранее последовательности, а все, что будет произноситься не по заданному порядку, будет откинуто.

Это можно сделать путем создания файла грамматики JSpeech Grammar [4], в котором описываются все возможные команды, которые могут быть сказаны оператором. Пример файла для данной работы представлен на рисунке 2.

sJSGF Vl.O; grammar PI;

= стоп | остановись | стоять | стой;

= [включить | включи] автоматический режим | двигайся сам;

= [включить | включи] ручной режим | беру управление;

= (отключить | выключить | выключи | отключи) автоматический режим;

= (отключить | выключить | выключи | отключи) ручной режим;

= (отключить | выключи | включи);

= [двигайся | поезжай] вперед;

= [двигайся | поезжай] налево;

= (поезжай | двигайся) (к точке | по пути) (а | 6 | ц) | точка (а | б | ц) | цель (а |б|ц);

= (завершить | заверши) (работу | скрипт);

Рис. 2. Пример файла грамматики

Круглые скобки говорят о том, что слово обязательно в произносимой фразе, квадратные - что, слово не обязательно для произношения, а знак вертикальной черты - возможность выбора между элементами в скобках. Основной строкой в данном файле является , которая собирает все возможные варианты фраз в одном потоке. Набор ключевых слов, которые оператор должен произносить перед каждой командой с целью улучшения точности распознавания, записан в блоке . В результате было получено 64 команды.

Исследование разработанной подсистемы заключалось в определении точности распознавания. Для этого, последовательно проговаривалась каждая команда из полного списка и в случае успешного распознавания команда помечалась как правильно распознанная. Далее вычислялось отношение числа точно распознанных команд к общему числу команд в системе и умножалось на 100%. Всего было произведено 5 циклов.

Команды в систему распознавания поступали через микрофон, подключенный к одноплатному компьютеру Raspberry Pi через интерфейс USB. При этом оператор находился в непосредственной близости от микрофона.

Результат исследования приведен в таблице 1.

Таблица 1. Результат исследования подсистемы голосового управления

Результат, % 85,94 89,06 84,38 85,94 82,81

Основные результаты и выводы. В результате работы была разработана подсистема голосового управления на базе системы распознавания CMUSphinx. Был описан процесс создания словаря, его преобразование в форму, необходимую для работы алгоритмов распознавания, а также рассмотрен процесс создания файла грамматики, позволяющей оператору произносить только заранее записанные команды.

Исследование разработанной подсистемы показало, что CMUSphinx может быть использован как средство для создания точных систем голосового управления. Средняя точность распознавания по 5 экспериментам составила 85,63%, что можно считать хорошим результатом. Можно попробовать улучшить показатель, изменив настройки алгоритмов распознавания CMUSphinx, скорректировав транскрипцию русских слов в словаре, а также используя микрофоны с шумоподавлением.

В современном Hi-Tech мире, полном электронных умных гаджетов, и игрушки не такие, как были раньше. Встречайте: робот с управлением голосом – оригинальная игрушка новейшего поколения, у него нет кнопок и ему даже не нужен дистанционный пульт управления, все команды отдаются голосом. Роботы обладая минимальными функциями, развивают у детей логику, мышление, воображение, фантазию. В комплекте идёт сам робот, зарядное устройство и десяток метательных поролоновых дисков.

Для включения устройства, передвиньте на спине робота рычажок ON-OFF в нужное положение, а затем нажмите на его груди кнопку активации. При этом замигают светодиоды и голова повернётся вправо-влево, он как бы осмотрится.

Возможности игрушечного робота:

• Ходит вперед-назад и поворачивает.
• Двигаются руки, ноги, голова.
• Танцует под музыку.
• Разговаривает по-русски.
• Стреляет дисками.
• Светятся элементы на корпусе робота, глаза.
• Управляется голосовыми командами.

Роботу можно задать 18 вопросов, при этом получить 34 ответа. Например: – Привет! – Привет, я робот! – Как тебя зовут? – Меня зовут Электрон! – Командир, врагов слишком много, прошу дать отбой на задания! – С какой ты планеты? – Я с планеты Титан. – Тебе нужен ремонт? – Меня разбирать опасно. – Сколько тебе лет? – Мне 7 лет. И т.д.

Играть с роботом желательно в тихой обстановке, где нет мощных источников шума – телевизор, магнитофон… Команды произносите четко, не спеша. Робот принимает команды с расстояния до 3-х метров.

Список голосовых команд для робота

Размеры устройства внушительные, ребёнку 5-7 лет он будет по грудь.

О батарейках можете не заботиться – робот работает от встроенного никель-кадмиевого аккумулятора, который входит в комплект. Его ресурса хватит на час активной игры, а заряжается он примерно 8 часов. Напряжение АКБ – 4,8 вольт при ёмкости 400 мА.

Чтоб зарядить аккумулятор, надо открутить небольшой крестовой отвёрткой несколько винтов на спине робота и снять крышку. Под ней блок аккумуляторов, который отключается от схемы и к разъёму подсоединяем зарядное.

ЗУ на 4,8 В 250 мА. Если вы его сломали или потеряли, можно использовать любое стандартное от мобильного телефона или заряжать от переходника USB. Нужно только припаять нужное гнездо. Схема достаточно серьёзная. Внутри стоит залитая компаундом микросхема и сервоприводы для движений рук, ног, головы.

Чтоб наглядно увидеть работа с голосовым управлением в бою – посмотрите этот видеоролик.

Как выглядит в действии робот с ГУ – видео

В общем можно смело рекомендовать эту игрушку для детей возрастом от 3-х лет. Однако присматривайте за ними в процессе игры, так как у них будет велик соблазн открутить роботу разные части тела:)

Приветствую вас, дорогие друзья. Наконец-то я добрался до записи урока по работе с голосовым модулем. Вижу вам понравилась моя самоделка с голосовым управлением и многие уже начали интересоваться, когда же выйдет практический урок по работе с модулем голосового управления.

О плюсах данного модуля распознавания:

- Модуль автономный и может работать без внешнего управляющего контроллера, что очень важно для радиолюбителей не знакомых с программированием.

- На ряду с другими моделями данный модуль выгодно отличается функциональностью, ценой и относительной простотой в управлении и подключении.

- Имеет высокую распознавающую способность.

- Никакого смартфона не требуется.

Начнем же мы все равно с теоретических знаний, дабы понимать, как же все-таки работает это чудо инженерной мысли. Перво-наперво вам нужно знать некоторые характеристики данного модуля распознавания голоса:

То есть, вы можете записать в базу все 80 команд, но для распознавания выбрать только семь, любых семь из восьмидесяти. Это как с компьютером: на жестки диск можно записать 80 команд, а в оперативной памяти работать только с 7-ю командами. Если вам трудно это сейчас понять, то чуть позже на практике, я думаю, вам станет ясно о чём идет речь. Длинна голосовой команды – 1,5 секунды (1500мс) максимальное значение. Управлять платой модуля можно по интерфейсу UART, а вот снимать информацию можно как UART, так с портов GPIO, расположенных на плате. Собственно говоря, чем мы и займемся: будем снимать сигнал с выхода порта.

Переходим к практической части.

Что же нам понадобиться для работы?

- Сам модуль распознавания голоса версии V3 (V3.1) Версия не так важна – принцип работы у всех одинаков. Модуль идет с микрофоном.

- Руководство по модулю, то есть дата шит.

- Преобразователь интерфейсам USB-UART.

Все ссылки на покупку и скачивание софта под видео, в конце статьи.

Скачиваем руководство и терминал. Терминал устанавливаем. Подключаем модуль к преобразователю интерфейса.

Будьте очень внимательны при подключении. Не страшно, если вы перепутаете TXD и RXD, ничего страшного не произойдёт. А вот если вы перепутаете плюс питания с общим проводом – это будет катастрофа! Как случилось у меня – сразу сгорел модуль и порт компьютера! Будьте очень внимательны и не повторяйте моих ошибок. Не суетитесь, не спешите, проверьте цепь несколько раз перед включением, и только после этого подключайте к USB.

Далее, после успешной установки оборудования идем в диспетчер устройств и смотрим порты. Нас интересует присвоенный номер нашего преобразователя. Когда узнали номер порта запускаем терминал. Идем в настройки и устанавливаем значения как у меня на рисунке.

Я не буду останавливаться на том что означает данный ответ модуля, это вы сами сможете посмотреть в инструкции. А команда — это запрос установленных настроек.

Теперь необходимо подключить нагрузку к модулю. В роле нагрузки я буду использовать светодиоды с резисторами. Ну в дальнейшем, при эксплуатации эти светодиоды будут заменены на реле управления нагрузкой с транзисторными ключами, думаю это понятно.

На плате модуля расположены порты, с которых мы будем снимать сигнал, прежде чем это делать, необходимо настроить эти порты. Настроить порты можно это командой

Вот и всё: проверили связь с модулем, сконфигурировали порты, записали команды, настроили автозагрузки голосовых команд.

Об остальных командах читайте в даташит. Я лишь объяснил примерный вид работы с модулем.

Как работает управление голосом?

Управление голосом с помощью смартфона

Понятно, что в первом случае наличие подключенного микрофона к самой плате контроллера не нужно. Достаточно будет или прямого присоединения интерфейсных проводов от компьютера, или использования дополнительного Bluetooth – модуля для обеспечения связи в случае смартфона. Последний вариант и будет рассмотрен.

Представленная схема голосового управления на базе Ардуино будет демонстративной, максимально быстрого изготовления. Но на ее основе уже можно создавать реальные системы обработки голосовых команд.

Что такое Arduino и для чего оно нужно?

Основное предназначение Arduino — создание достаточно сложного высокоинтеллектуального оборудования силами непрофессионалов. Микроконтроллер в таких системах выполняет функцию обработки поступающих сигналов от сенсоров, разбор управляющих последовательностей, приходящих через интерфейсы и контролирующим узлом для подключаемых устройств. Arduino UNO лицом

Скорость работы процессора в такой системе относительно невелика, и редко в топовых модификациях превышает 16Мгц. Основное преимущество компоновки – на едином кристалле расположены все части полнофункционального компьютера: постоянная, перезаписываемая (flash) и оперативная память, контроллер ввода–вывода и сам процессор.

Инструкция по настройке голосового управления с помощью Arduino

Выбранная для демонстрации возможностей управления голосом при помощи Ардуино схема для изготовления своими руками будет зажигать, в зависимости от команды, светодиод определенного цвета. Полностью схема в сборе

Инструменты и материалы

сама плата микроконтроллера Arduino UNO;
мини – схема HC-05, на которой разведен модуль связи bluetooth для ардуино;
три резистора на 300-350 Ом;
светодиоды разных цветов – 3 шт.;
смартфон.

Порядок подключения комплектующих

Вначале необходимо подключить модульную плату, обеспечивающую связь по bluetooth, к ардуино. Контакт RXD от HC-05 присоединяем к клемме TXD контроллера, аналогичную модуля, с RXD Arduino. То есть, производим перекрестное подключение разъемов. Питание +3.3В и GND на сборке bluetooth подводится к аналогичным на плате контроллера. Схема подключения HC-05 к Arduino UNO

Настройка параметров

Следующий скетч, основу контролирующей системы, необходимо загрузить в сам микроконтроллер:

SOFTWARESERIAL BLU ( 0, 1 );

DIGITALWRITE ( RLED, HIGH );

DIGITALWRITE ( YLED, HIGH );

DIGITALWRITE ( GLED, HIGH );

DIGITALWRITE ( RLED, LOW );

DIGITALWRITE ( YLED, LOW );

DIGITALWRITE ( GLED, LOW );

PINMODE ( RLED, OUTPUT );

PINMODE ( YLED, OUTPUT );

PINMODE ( GLED, OUTPUT );

WHILE ( SERIAL.AVAILABLE ( ) ) //Цикл чтения сигналов с bluetooth

DELAY ( 10 ); //Период ожидания чтения

CHAR A = SERIAL.READ ( ); //Читать из порта символ

IF ( VOICELONG.LENGTH ( ) > 0 )