Разработка мобильных интеллектуальных сервисов для посетителей музея на основе машинного обучения с применением технологии дополненной реальности

Быстрое развитие современных информационных технологий требует появления новых способов взаимодействия пользователей с устройствами, т.е. разработки новых интерфейсов общения человека и компьютера. Новые подходы человеко-компьютерного взаимодействия не используют обычные графические меню, формы или панели инструментов. Они основаны на методах взаимодействия, присущих только человеческому общению, то есть вместо традиционных элементов управления используются обучающие примеры, жесты, человеческая речь. Разрабатываемые в данном проекте специализированные сервисы для мобильного телефона на основе машинного обучения и технологии дополненной реальности, а также Виртуальный музей нацелены на сохранение и популяризацию культурного наследия Республики Казахстан, особенно в молодежной среде, чему, несомненно, будет способствовать виртуализация музейных экспонатов и их демонстрация с привлечением технологии дополненной реальности.

Задачи проекта

• Исследование и анализ мирового опыта в области разработки мобильных музейных приложений в рамках сохранения исторического наследия регионов (виртуальные музеи, виртуальные исторические ландшафты, виртуальные памятники архитектуры, виртуальные интерьеры и т.п.).
• Разработка алгоритма точного позиционирования визуальных виртуальных объектов относительно объектов реального мира на основе технологии дополненной реальности с использованием упрощенных 3D-моделей объектов, а также данных сканирования объектов.
• Разработка алгоритма определения параметров идентифицированных объектов с использованием упрощенных 3D-моделей объектов и базы данных описаний музейных экспонатов.
• Разработка мобильного приложения «Виртуальный музей» с использованием модуля на основе искусственного интеллекта, позволяющего проводить классификацию и идентификацию музейных экспонатов с помощью камеры мобильного устройства, в том числе разработка алгоритма дообучения сети на основе собираемых приложением данных об объектах.
• Тестирование разработанного мобильного приложения «Виртуальный музей». Написание документации по использованию разработанного приложения «Виртуальный музей».

Новизна

Научная новизна заключается в разработке моделей на основе машинного обучения для мобильных устройств с уменьшенной величиной аппаратных и временных затрат, работающих в режиме реального времени, снижении требований к количеству данных, необходимых для обучения и внедрении технологии дополненной реальности для реализации цифрового музея.

Был проведен литературный обзор существующих мобильных приложений для организаций культуры, а именно музеев, с целью понимания и анализа текущего положения в данной сфере и формирования требований к разрабатываемому решению. Исследование и анализ предлагаемых аналогов были проведены в различных разрезах, таких как существующие решения для разработки классификаторов музейных экспонатов, архитектура и реализация разрабатываемых программных решений, предлагаемый ими функционал, организации культуры, являющиеся площадкой для их внедрения.

В результате анализа были разработаны общие требования к приложению «Виртуальный музей». Были описаны бизнес-требования к разрабатываемой системе со стороны конечного пользователя, определены возможные типы сценариев поведения посетителей музея, а также желаемый результат (отклик) со стороны разрабатываемого приложения. Разработана концептуальная модель будущего приложения.

Была предложена концепция пользовательского интерфейса приложения «Виртуальный музей». Были определены возможные сценарии поведения сотрудников и посетителей музея.

Также интерфейс рассматривался с точки зрения внедрения технологии дополненной реальности в приложение, то есть концепция дополнялась с учетом встраивания в интерфейс моделей распознанных и классифицированных экспонатов и дополнительной информации о них.