Исследователи Массачусетского технологического института разработали глубокую нейросеть, которая способна изолировать почти неразличимые дефекты на фотографиях, снятых в условиях плохого освещения, и восстанавливать затемнённые объекты, сообщает VentureBeat.
Для восстановления предметов исследователи взяли 10 тысяч интегральных микросхем, к каждой из которых применили фазовый пространственный модулятор света в виде уникальных горизонтальных и вертикальных линий на предметном стекле. Снятые в темноте фотографии задействовали для тренировки воссоздания нечётких объектов.
Кроме того, фотографии намеренно делали без фокусировки, чтобы создать рябь — это сигнализировало нейросети о присутствии того или иного объекта. Полученную размытость исследователи исправляли, внедрив в алгоритмы описание законов физики, которые отвечают за поведение света в расфокусированной камере.
«Есть разные способы обнаружить плохоразличимые предметы, но обычно для этого требуется хорошее освещение. Мы же визуализируем объекты, находящиеся в темноте, что вдвойне усложняет задачу. Однако нам удалось достичь таких же успехов», — отмечают исследователи.
Обученную модель команда испытала на изображениях, которые не присутствовали в тренировочном датасете. Алгоритм — с использованием законов физики и без — смог с точностью восстановить исходные объекты. Более того, после обучения на новом датасете из 10 тысяч изображений людей, животных, мест и прочих объектов алгоритм воссоздал размытые картинки с ещё большей чёткостью, чем у оригиналов.
По словам учёных, такую нейросеть можно применять в медицине — например, для уменьшения облучения пациентов радиацией при проведении рентгеновских исследований, а также в биологии и астрономии.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.