Роботизированный ассистивный комплекс с применением нейротехнологий для людей с ограниченными физическими возможностями. Комплекс в автоматическом режиме выполняет функции захвата, удержания и перемещения объектов в окружении пользователя с ограниченными возможностями.

Для изготовления компонентов использовалась собственная материально техническая база – оптытно-экспериментальное производство лаборатории волновых процессов и систем управления.

Состав опытного образца  ассистивного комплекса:

1. Манипулятор
2. Приводной модуль
3. Захватное устройство (патент № 219088)
4. Интеллектуальная система управления на базе технического зрения
5. Аппаратно-программный комплекс определения направления взгляда (патент № 219079)

Реализованные функции комплекса:

• Фиксация внимания на объекте манипуляции
• Определение направления взгляда
• Фиксация окружающей обстановки
• Расчет точки фиксации взгляда пользователя на полученном изображении, распознавание объекта
• Выбор действия с распознанным объектом, перемещение в пространстве, нажать на клавишу или выключатель и т.д.
• Распознавание на основе ЭЭГ или фиксации взгляда на одной из иконок на дисплее дополненной реальности
• Определение расстояния от головы до объекта и расстояния от роботизированной руки до объекта

Манипулятор

Разработана технология синтеза алгоритма оптимального выполнения захватов и перемещения объектов в зависимости от их типа, размеров, содержания и цели манипуляции

Алгоритм системы управления реализуется с помощью трекинг устройства регистрации движения глаз с возможностью подачи команд через:

• Джойстик
• Планшетный компьютер
• Нейрогарнитуру (BCI)

Протестировать работу манипулятора

Приводной модуль и захватное устройство

Использование трехпальцевого концевого захвата является существенным отличием от других манипуляторов и позволяет взаимодействовать с различными типами предметов

Увеличенное число степеней подвижности с имитацией манипулятивных возможностей руки человека

Малый вес и питание от автономной электроколяски (или кровати) в отличие от индустриальных манипуляторов, не предназначенных для мобильного использования

Система технического зрения

Система технического зрения реализована с использованием технологий искусственного интеллекта, таких как: построение классификаторов, сверточные нейронные сети, эвристические подходы с технологиями линейной алгебры, стереометрия, обработка сигналов

Решаемые задачи:

• Определение типа, размера, координат объектов для захвата и перемещения их с помощью манипулятора
• Сегментация сцены с выделением предметов, с которыми можно оперировать манипулятором
• Классификация объектов интереса в том числе в условиях сложной фоно-целевой обстановки
• Сопоставление информации о сцене, получаемой от нескольких камер
• Реконструкция сцены в трехмерное представление с вычислением с приемлемой точностью координат объектов с которыми работает манипулятор
• Выбор оптимальных режимов выполнения захватов и перемещения объектов в зависимости от их типа и размеров
• Построение карт глубины как с помощью вариационных алгоритмов, так и с помощью нейронных сетей

Читать статью Real-time algorithms for head mounted gaze tracker

Новости Подмосковные ученые создали робота, который может передвигать предметы силой мысли

Демонстрация работы Манипулятора «Робоком»