Двусторонний онлайн-переводчик жестового языка создали в Новосибирске

 

15 августа 2022

Ученые Новосибирского государственного технического университета (НГТУ НЭТИ) обучили нейросеть распознавать русский жестовый язык и создали двусторонний онлайн-переводчик для общения глухих и слышащих в режиме реального времени. Запуск приложения для смартфонов, чат-бота, а также переводчика лекций для студентов планируется осенью этого года, рассказал ТАСС в понедельник профессор кафедры автоматизированных систем управления НГТУ НЭТИ, разработчик Михаил Гриф.

"Для глухих сделали переводчик в две стороны. И от слышащего к глухому и от глухого к слышащему. Для массового потребителя, чтобы могли глухие использовать смартфоны. В середине сентября планируем запустить чат-бот и перевод лекций для студентов", - сказал Гриф.

Он добавил, что разработка ведется совместно со стратегическим партнером компанией "Адаптис". По словам Грифа, чтобы обучить нейронную сеть распознаванию жестов специалисты постоянно собирают большой объем исходных данных. Работа над качеством перевода будет продолжаться, русский жестовый язык имеет свою грамматику, поэтому важно выделять не отдельные слова, а грамматические конструкции, "вылавливать" многозначные слова, омонимы и другие языковые сложности.

Он рассказал, что при помощи мобильного приложения глухой и слышащий смогут общаться в режиме реального времени. "Слышащий говорит, идет распознавание речи, перевод посылается на устройство глухого, на котором аватар осуществляет перевод на жестовый язык. Жестовая речь глухого считывается видеокамерой, на сервере идет распознавание жестового языка и перевод в текст, либо в звучащую речь", - рассказал Гриф, уточнив, что компьютерный персонаж - аватар - сопровождает жесты артикуляцией и эмоциями. Задержка перевода не превышает одну секунду.

Кроме того, Гриф рассказал, что студенты НГТУ, где обучается более 150 глухих студентов, уже в сентябре начнут тестировать переводчик лекций в режиме онлайн и офлайн. "Вариант онлайн - преподаватель говорит, голос распознается и передается на смартфон глухого. Есть вариант офлайн - лекции записываются и переводятся заранее, туда вставляется аватар, который параллельно с преподавателем осуществляет перевод на жестовый язык. К концу сентября мы планируем добавить возможность разъяснения терминов или непонятных слов для студентов разных факультетов. Обучающийся может остановить трансляцию, посмотреть, что значит тот или иной термин на русском жестовом языке, потом идти дальше", - пояснил разработчик.

Он добавил, что участие в разработке принимает глухой выпускник аспирантуры НГТУ Алексей Приходько, он пишет кандидатскую диссертацию на кафедре автоматизированных систем управления НГТУ НЭТИ и выступает разработчиком и экспертом в проекте создания сурдопереводчика.

Источник: ТАСС