Жесты – в текстах. Разработчики в помощь людям с нарушениями слуха – Поиск сообщает Editor – poisknews.ru

В России,Медицина,Новости,Статьи:
Специалисты Санкт-Петербургского федерального исследовательского центра РАН создали программное обеспечение, способное распознавать язык жестов людей с нарушениями слуха на основе интеллектуального анализа видео. Приложение планируется использовать в медицинских учреждениях для повышения эффективности оказания медицинской помощи глухонемым пациентам. По данным Всемирной организации здравоохранения, по состоянию на 2021 год в мире насчитывалось около 466 миллионов человек (около 5% всего населения земного шара), страдающих полной глухотой или проблемами со слухом. Такие люди могут испытывать серьезные трудности при посещении учреждений, торговых центров или больниц. Чтобы подробно объяснить свое заболевание, такой больной вынужден брать с собой переводчика, а их часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», — рассказывает старший научный сотрудник Лаборатории речи и мультимодальных интерфейсов Санкт-Петербургского государственного университета Дмитрий Рюмин. Для обучения нейронной сети ученые разработали уникальную базу данных жесты, которые используются глухими людьми для описания явлений, связанных с медициной и здоровьем.Состоит из 85 жестовых высказываний, записанных 12 дикторами в пяти вариантах.При этом видеозаписи всех жестов многоракурсные, что увеличивает их информативность.Программа работает следующим образом: видеокамера фиксирует жесты пациента.Учеными установлено, что одни и те же элементы жестов могут существенно различаться в зависимости от возраста и пола пациента, поэтому система учитывает этот фактор для повышения точности интерпретации. Программа автоматически преобразует «увиденное» в текст в режиме реального времени. Точность работы системы составляет более 90%. «Мы надеемся, что в будущем наше приложение упростит оказание медицинских услуг врачам и инвалидам. Сейчас мы работаем над созданием удобного интерфейса программы», — добавляет Дмитрий Рюмин. Результаты исследования, поддержанного грантом РНФ, опубликованы в «Научно-техническом журнале информационных технологий, механики и Оптика Павел Процюк Фото Санкт-Петербургского федерального исследовательского центра Российской академии наук

Ссылка на источник новости