Специалисты кафедры ЭВС БГУИР создают приложение, помогающее лучше слышать. По мнению специалистов РНПЦ оториноларингологии, консультировавших разработчиков, сервис может успешно применяться людьми с 1-2, а в некоторых случаях и 3 степенью тугоухости.
Сотрудники БГУИР рассказали dev.by о работе над Petralex и объяснили, почему телефоны Apple сегодня лучше подходят для помощи людям с проблемами слуха, чем Android-смартфоны.
Скачиваешь программу, проходишь тест — и можешь слышать лучше
Основная идея проекта Petralex — дать людям со слабым слухом возможность слышать окружающий мир, рассказывают разработчики.
— Самое главное, человек получает помощь сразу, как только понял, что у него есть проблемы со слухом, — рассказывает доцент кафедры, кандидат технических наук Максим Вашкевич.
Как отмечает специалист, их пользователю не нужно обходить несколько врачебных кабинетов и проводить ряд исследований, прежде чем ему выполнят слухопротезирование. Он скачивает программу, устанавливает её на смартфон, проходит тест — и может слышать лучше.
Смартфон с установленным на него приложением выступает одновременно как микрофон, и как средство для обработки звука, который затем выдаётся в наушники.
Идея приложения пришла в голову предыдущему руководителю кафедры, доктору технических наук Александру Петровскому. Сложив первые буквы именно его имени и фамилии, получаем название приложения — Petralex. Учёный в течение многих лет всерьёз интересовался этой темой, также проблемами слуха занимались и его аспиранты.
— В 2012 году мы начали исследования. Дело в том, что слуховой аппарат — это специализированное устройство: он сделан с одной лишь целью — обрабатывать звук в режиме реального времени. У смартфона другое назначение: это более универсальная платформа. Поэтому нам необходимо было выяснить, будет ли телефон успевать обрабатывать данные в нужном нам темпе.
Почему iOS, а не Android
В ходе работы над Petralex возникало немало трудностей, признаётся Максим Вашкевич: на решение всех вопросов ушло около 2 лет. Релиз Pertalex состоялся в 2014 году.
— Протестировав смартфоны разных производителей, мы убедились, что разработку следует вести под iOS, поскольку устройства Apple давали минимальную задержку звука.
Разработчик поясняет: звуковой сигнал приходит к пользователю с некоторым опозданием. Однако, чтобы слушателю было комфортно, отставание звука от движения губ говорящего не должно превышать 60 мс. У смартфонов, которые работали под Android, в 2014 году задержка составляла 400 мс и больше — в зависимости от модели и марки устройства.
— Аппараты Apple на голову опережают даже последние версии смартфонов, работающих под Android. Причина кроется в том, что в компании всё делает одна команда инженеров — от схемотехнических решений и разработки ОС до разработки приложений, — дополняет коллегу доцент кафедры, кандидат технических наук Николай Петровский.
Работа над Android-аппаратами, наоборот, фрагментирована: Google разрабатывает операционную систему API, производитель микросхем делает процессор, а производитель смартфона собирает устройство, дописывает часть прошивки, необходимой для работы аппарата.
Разработчики рассказывают, что они пытались преодолеть порог в 60 мс, и кое в чём преуспели. Но проблема, по их мнению, сугубо архитектурная: «Мы не можем переписать драйверы, изменить прошивку телефона», — разводят руками специалисты кафедры.
— С появлением более совершенных аппаратов под Android Petralex появился и в Play Market. Однако некоторые пользователи всё же высказывают недовольство нашим приложением: и мы ничем не можем им помочь — разве что порекомендовать сменить модель телефона.
По словам разработчиков, лучший результат, на который способны телефоны на Android — задержка в 45 мс при использовании проводной гарнитуры. Задержка на iPhone и iPad, между тем, составляет от 18 до 20 мс.
Разработчикам слуховых аппаратов проще
Максим Вашкевич рассказывает, что многое зависит и от того, пользуется ли человек проводной гарнитурой.
— По проводам звук идёт быстро, однако, когда пользователь применяет беспроводную гарнитуру, появляется задержка, обусловленная особенностями передачи сигнала по Bluetooth-каналу. Если человек не подкован технически, он может не понимать этого и винить разработчиков приложения.
Рассказывая о трудностях, с которыми пришлось столкнуться во время работы над приложением, сотрудники кафедры также упоминают и проблему акустической обратной связи.
— Производители слуховых аппаратов знают о ней, но мы столкнулись с этим явлением, лишь когда стали работать над реализацией своего приложения.
По словам разработчиков, когда приёмник звука (микрофон) и его выдача (динамик) находятся на близком расстоянии друг от друга, образуется акустическая петля — и человек слышит писк в наушниках.
— Это «ахиллесова пята» любого слухового аппарата: ведь с одной стороны вам нужно выдавать громкие звуки, а с другой — их слышит не только ваше ухо, но и микрофон.
Специалисты кафедры разработали алгоритмы подавления акустической обратной связи, в прошлом году Николай Петровский выступал с презентацией на эту тему в рамках конференции ICASSP в Новом Орлеане. Однако, отмечают разработчики, производители слуховых аппаратов находятся в лучших условиях.
— Они знают о своём железе всё, мы же — почти ничего: все параметры плавающие. Микрофон может болтаться на проводе, телефон сейчас на столе на расстоянии 50 см от человека, а через минуту — в руке на расстоянии 70 см. Кроме того, у каждого телефона своя задержка звука. Поэтому мы не могли напрямую приложить к Petralex решения, применимые к слуховым аппаратам, и вынуждены были разрабатывать свои математические модели и внедрять в наш софт.
В шумной обстановке работает на 3-4% лучше, чем слуховой аппарат
Специалисты кафедры отмечают, что к разработке приложения привлекались врачи из РНПЦ оториноларингологии.
— Мы консультировались со слухопротезистами, наших разработчиков водили по всем кабинетам — показывали, как работают аудиологи. В дальнейшем Petralex тестировался на пациентах РНПЦ оториноларингологии.
Также сотрудники БГУИР работали с учениками минской школы № 14 для детей с нарушениями слуха.
— Мы проводили экспресс-тесты: преподаватель произносил слова, а ребята за ним повторяли. Все эти исследования помогли нам понять, что приложение эффективно при 2, максимум 3 степени тухоухости.
Год назад сотрудники кафедры запустили анкетирование — встроили в приложение анкету и попросили пользователей ответить на вопросы. Саму анкету составляла специалист-оториноларинголог.
— Согласно ответам респондентов, Petralex используют 2 категории людей: те, что никогда не носили слуховых аппаратов, и те, у которых имелся подобный опыт. Последних было не менее 720 человек. И они очень высоко оценили Petralex, согласно их отзывам, в шумной обстановке он работает даже лучше чем слуховой аппарат — на 3-4%.
Как отмечают разработчики, Petralex относится к self-fitting приложениям — человек может настраивать его под себя.
— Пользователю предлагается пройти тест с той гарнитурой, которую он будет использовать в дальнейшем: это очень важный этап — вы не можете запустить приложение до тех пор, пока программа не оценит ваш слух. Затем, основываясь на результатах теста, Petralex сформирует коэффициенты усиления звука в различных частотных полосах и предложит несколько режимов, которые можно менять в зависимости от ситуации.
Инновационная процедура тестирования: на Сухой ещё так не делают
Сегодня на базе Petralex разрабатывается ещё одно приложение — Dectone. Его функционал будет существенно расширен: появится функция шумоподавления, а также возможность перемотать и прослушать последние 15 минут разговора — запись в приложении ведётся по принципу видеорегистратора.
— Некоторые проблемы со слухом экспресс-тест Petralex не выявляет: чтобы их определить, необходимо делать надпороговую аудиометрию.
Существует феномен усиленного нарастания громкости, когда у человека очень маленький динамический коридор, в рамках которого он слышит хорошо. В Dectone мы предложили инновационную процедуру тестирования: наш тест пытается выявить этот интервал и ужать весь звук в данный коридор. Мы знаем, что даже на Сухой не делаются такие тесты.
Кстати, тест — это то, что отличает Petralex и Dectone от конкурентов.
— Мы видели много неплохих приложений подобного плана, но их разработчики пошли по пути усложнения: их пользователь вынужден вносить параметры выполненной аудиограммы, а также массу другой информации — возраст, пол и так далее. Это напрягает потребителя: ему просто хочется установить программу и пользоваться, а не заполнять кучу списков.
Ещё одно преимущество Petralex перед конкурентами в том, что приложение сотрудников БГУИР бесплатное и без всплывающей рекламы.
По словам создателей приложения, статистика скачиваний Petralex из App Store сегодня составляет приблизительно 190 тысяч пользователей. Ещё около 350 тысяч человек скачали приложение из Play Market. География скачиваний довольно обширна: в основном это США, Китай, Россия, Япония.
— Мы проводили исследование пользовательской аудитории Petralex — говорит Николай Петровский, — и выяснили, что это в основном мужчины и женщины старше 35 лет. Нередко они стесняются использовать слуховые аппараты, и наше приложение — это выход для них: они чувствуют себя здоровыми и ведут полноценную жизнь.
По словам разработчиков, Petralex тестировали и люди с нормальным слухом.
— Пользователи писали в отзывах, что, сидя в кафе, они могли слышать, что говорят посетители за соседним столиком. Один человек прислал нам благодарность: «С помощью вашего приложения я смог найти неполадку в автомобиле — прослушал, где стучит».
Фото: Андрей Давыдчик
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.