Информационная система помощи в навигации для людей с ограниченными возможностями по зрению
Автор проекта
Дьяченко Михаил
11 класс
Научный руководитель
Сидоренко Антон Игоревич, преподаватель БФ ЦДНИТТ «Наследники Ползунова», г. Бийск (Алтайский край)
Цель проекта
Разработка информационной системы, позволяющей минимизировать вероятность опасных ситуаций при перемещении в городских условиях людей с ограниченными возможностями зрения.
Краткое описание проекта
Информационная система (ИС) предназначена для помощи в локальной пешеходной навигации незрячим и слабовидящим людям. ИС представляет собой модель распознавания потенциально опасных объектов на основе методов компьютерного зрения и машинного обучения. Полученная модель может использоваться на различных платформах: приложение для смартфона или носимого устройства на базе микрокомпьютера (без графического интерфейса). Благодаря такому устройству незрячий может получать информацию о том, какие вокруг него находятся объекты. Локальная навигация обеспечивается модулем с видеокамерой, который следит за возникновением на траектории движения динамических и статических объектов: столбов, автомобилей, людей, рекламных щитов, дорожных знаков, ступеней, ям, люков и т.д. Обработанная информация передается пользователю по аудиоканалу. Основной задачей ИС является поиск и идентификация объектов в видеопотоке, входные данные принимаются от камеры покадрово и обрабатываются нейронной сетью. ИС позволит минимизировать вероятность чрезвычайных и опасных ситуаций при перемещении в городских условиях людей с ограниченными возможностями зрения. В процессе реализации проекта создано приложение для Android, подготовлены датасеты для обучения, создана и обучена модель нейронной сети, которая используется приложением для распознавания объектов. Типовым и самым эффективным решением проблемы обнаружения, идентификации и классификации объектов является модель свёрточной нейронной сети (далее СНС или CNN). Существует несколько реализаций концепции CNN: RCNN, Faster-RCNN, Mask-RCNN, SSD, YOLO и многие другие, которые появляются и активно разрабатываются. Для ускорения разработки в проекте использовалась предобученная НС класса MobileNet, которая была переобучена на собственном датасете. С использованием сервиса GoogleColab и фреймворка TensorFlow для языка Python была создана модель НС с использованием метода переноса обучения (TransferLearning), которая нуждалась в обучении на собственном датасете. На основе собранного и обработанного датасета модель была обучена. Далее посредством фреймворка TensorFlowLite данная модель используется для получения предсказаний о нахождении определенного объекта в кадре и его принадлежности к какому-либо классу, что может быть использовано для обозначения этого объекта и предупреждения о нем. Обработка изображений моделью НС реализована в отдельном потоке. Доступ к камере осуществлен посредством Camera API, так как он обеспечивает наибольшую совместимость с устройствами, использующими более ранние версии Android.
Результаты проекта
В среде разработки Android Studio разработано приложение, использующее модель нейронной сети (НС) для обнаружения и классификации объектов по видеопотоку.
Дальнейшее развитие проекта
Планируется внедрение разработанной ИС в инженерный проект: создание устройства на базе микрокомпьютера с модулем камеры и наушниками. Для расширения функционала устройства планируется дополнительное использование систем спутниковой навигации (GPS, ГЛОНАСС), а также ультразвуковых датчиков расстояния в качестве вспомогательных устройств для повышения точности локальной навигации.