Размер шрифта:
+
Цвет сайта:
Изображения:

Аудиоассистент для немых людей разрабатывают в ТУСУРе

11 мая 2017
Аудиоассистент для немых людей разрабатывают в ТУСУРе

Группа студентов Томского госуниверситета систем управления и радиоэлектроники разрабатывает устройство, которое «переведёт» язык жестов в слова и озвучит их.

«Людям, которые не могут говорить, сложно общаться с теми, кто не понимает языка жестов. Мы хотим попробовать упростить им общение», – рассказал один из разработчиков проекта студент второго курса факультета электронной техники Никита Дерябин.

Для решения этой задачи молодые учёные планируют создать аудиоассистент, состоящий из двух основных компонентов: специальных перчаток и программного обеспечения, которое будет установлено на мобильном устройстве.

Значительная часть работы над проектом уйдёт на создание самих перчаток. Планируется, что они будут оборудованы датчиками сгиба, Bluetooth-модулями, контроллерами и динамиком. Когда человек начнёт говорить на языке жестов, датчики сгиба и акселерометры зафиксируют положение его пальцев и рук, эту информацию считает сначала контроллер на одной руке и передаст с помощью Bluetooth-модуля на более мощный контроллер на второй руке, где произойдёт синхронизация информации с датчиков обеих рук. Далее полная информация о движении рук и пальцев человека через другой Bluetooth-модуль поступит, например, на смартфон, где специальная программа «прочитает» жесты и переведёт в слова. Последним этапом станет озвучка полученных данных посредством динамиков, установленных на перчатках.

При этом студентам необходимо не просто создать рабочее устройство, но и сделать так, чтобы аудиоассистент был действительно удобен для немых людей. Поэтому, помимо основных вопросов, таких как создание программы, способной обработать и распознать жесты, синхронизация всех датчиков и так далее, нужно найти решения и для дополнительных. Например, как разместить всё оборудование на двух руках и при этом не сделать перчатки слишком громоздкими.

«Для перчаток будем искать определённый материал, чтобы статики не было, чтобы и летом можно было ходить, и зимой тепло было. Мы хотим сделать так, чтобы устройство работало без перебоев и потерь и при температуре минус 40 градусов, и в жару», – пояснил Никита Дерябин.

В настоящий момент разработчики находятся на начальном этапе работы над проектом. Недавно в распоряжение студентов поступили первые части необходимого оборудования – Bluetooth-модули. Следующая партия – датчики сгиба. Это сложное оборудование размером от 5 до 10 сантиметров, которое используется в авиастроении, с его помощью определяется степень деформации крыльев самолётов.

«Сейчас ещё идёт сбор информации и первые попытки что-то сделать самим. Пока речи не идёт о том, чтобы первый пробный экземпляр был красивым, он должен быть рабочим. Это в материальном плане сложно без инвесторов. Но тем не менее первый образец может появиться уже через год», – добавил научный руководитель проекта кандидат технических наук Денис Пахмурин.

Помимо технической части работы над аудиоассистентом, разработчики планируют провести подробный опрос среди целевой аудитории проекта, чтобы понять, насколько люди заинтересованы в таком устройстве, и как сделать его максимально полезным и удобным в использовании.

 

Материалы по теме

25 апреля 2017

Студент Томского госуниверситета систем управления и радиоэлектроники разработал прототип электронного устройства для применения в сферах образования, игр, развлечения и даже для сценических шоу.

01 августа 2017

Резиденты студенческого бизнес-инкубатора (СБИ) ТУСУРа «Дружба» совместно с томской IT-компанией Space-O Technologies, специализирующейся на мобильной и веб-разработке, реализуют проект автоматизированной системы проезда на платные парковки. Система автоматизации призвана сделать более удобной и мобильной работу платных автомобильных парковок.

27 июня 2017

Разработкой комплекса специалисты Томского госуниверситета систем управления и радиоэлектроники занимаются совместно с учёными НИИ онкологии Томского научно-исследовательского медицинского центра (ТНИМЦ) в рамках проекта по созданию методики восстановления речевой функции у больных после хирургического лечения рака полости рта и ротоглотки.

03 апреля 2017

Молодые учёные ТУСУРа получили грант по программе «УМНИК» на разработку системы для адаптации существующих экзоскелетов для людей с диагнозом ДЦП (детский церебральный паралич).