№АР19676803

Руководитель проекта Ипалакова Мадина Тулегеновна, к.т.н., ассоциированный профессор

Цель проекта. Разработка специализированных сервисов для мобильного телефона на основе машинного обучения и технологии дополненной реальности, а также цифрового музея искусств им. А. Кастеева для повышения интереса к культуре, истории Республики Казахстан и сохранения ее исторического наследия.

Актуальность. Быстрое развитие современных информационных технологий требует появления новых способов взаимодействия пользователей с устройствами, т.е. разработки новых интерфейсов общения человека и компьютера. Новые подходы человеко-компьютерного взаимодействия не используют обычные графические меню, формы или панели инструментов. Они основаны на методах взаимодействия, присущих только человеческому общению, то есть вместо традиционных элементов управления используются обучающие примеры, жесты, человеческая речь.

Разрабатываемые в данном проекте специализированные сервисы для мобильного телефона на основе машинного обучения и технологии дополненной реальности, а также Виртуальный музей нацелены на сохранение и популяризацию культурного наследия Республики Казахстан, особенно в молодежной среде, чему, несомненно, будет способствовать виртуализация музейных экспонатов и их демонстрация с привлечением технологии дополненной реальности.

Ожидаемые результаты:

• Будет проведен обзор мобильных музейных приложений, разработаны общие требования к приложению «Виртуальный музей» и пользовательский интерфейс
• Будет разработан алгоритм определения параметров идентифицированных объектов с использованием упрощенных 3D-моделей объектов и базы данных описаний музейных экспонатов; будет разработан алгоритм точного позиционирования визуальных виртуальных объектов относительно реальных объектов на основе дополненной реальности
• Будет разработано мобильное приложение «Виртуальный музей» с модулем, позволяющим проводить классификацию и идентификацию музейных экспонатов; проведено тестирование; написана документация
• За все время проекта будет опубликовано не менее 3 статей и (или) обзоров в рецензируемых научных изданиях, индексируемых в Science Citation Index Expanded базы WoS и (или) имеющих процентиль по CiteScore в базе Scopus не менее 35, а также не менее 1 статьи или обзора в рецензируемом зарубежном или отечественном издании, рекомендованном КОКСНВО

Достигнутые результаты:

Проведённое исследование было направлено на разработку и внедрение специализированных сервисов для мобильных устройств, использующих возможности машинного обучения и технологии дополненной реальности в музейной практике. Основное внимание уделялось созданию цифрового музея искусств имени А. Кастеева, который призван не только повысить интерес к культуре и истории Республики Казахстан, но и способствовать сохранению историко-культурного наследия страны посредством современных информационных технологий.

В ходе работы рассмотрен мировой опыт применения иммерсивных технологий для сохранения культурного наследия и их интеграции в музейную деятельность. Проведён сравнительный анализ современных мобильных приложений, ориентированных на музейные практики, что позволило выявить их ключевые характеристики, сильные и слабые стороны. Отдельный акцент сделан на изучении архитектур глубоких нейронных сетей и их применимости к задачам цифровизации музейных экспозиций.

Важным практическим результатом исследования стало формирование уникального набора данных, включающего видеоматериалы экспонатов Государственного музея искусств им. А. Кастеева. На основе собранного набора данных разработаны и обучены алгоритмы машинного обучения, способные распознавать музейные экспонаты в реальном времени при использовании камеры мобильного устройства. Этот результат представляет значительный научный и практический интерес, так как демонстрирует возможность внедрения технологий компьютерного зрения и мобильных нейросетевых моделей в сферу культуры и образования при ограниченных вычислительных ресурсах.

Завершающим этапом стало создание музейного мобильного приложения, в которое интегрированы модули распознавания экспонатов и отображения их трёхмерных моделей в дополненной реальности. Разработанное решение прошло этап тестирования, что подтвердило его работоспособность и потенциал для дальнейшего практического использования. Дополнительно была подготовлена сопроводительная документация, обеспечивающая возможность масштабирования и адаптации приложения для других музеев и культурных учреждений. Первая версия приложения была загружена на платформы Google Play и App Store под названием ARuART. В данный момент приложение находится на рассмотрении.

Таким образом, результаты проведённого исследования демонстрируют, что применение технологий машинного обучения и дополненной реальности способно существенно изменить способы представления культурного наследия. Предложенный подход позволяет создать интерактивные формы взаимодействия с музейными экспозициями, что особенно актуально для привлечения молодого поколения и расширения аудитории музеев. Научная новизна работы заключается в разработке алгоритмов для мобильных устройств, работающих в условиях ограниченных ресурсов, что открывает перспективы для их широкого использования в культурной и образовательной сферах.

Работа по данному исследованию будет продолжена в направлении расширения набора данных, улучшения точности распознавания экспонатов, а также интеграции дополнительных сервисов в мобильное приложение, например, интеллектуальных экскурсоводов и систем персонализированного взаимодействия с пользователями.

Список публикаций (2023-2025):

• Ипалакова М.Т., Дайнеко Е.А., Цой Д.Д., Болатов Ж.Ж., Каплун Д.И. (2023). Цифровизация музейных экспонатов // Кастеевские чтения 2023 «Миссия музея на новом этапе»: Материалы научно-практической конференции. – Алматы, 2023. – С. 160-164.
• Ипалакова М.Т., Дайнеко Е.А., Цой Д.Д., Болатов Ж.Ж. (2024). Использование иммерсивных технологий для реализации виртуальных музеев // Наука и бизнес: Инновации в производство: Материалы Международной научно-практической конференции, посвящённой 125-летию академика К.И. Сатпаева. – Кокшетау, 2024. – 344 с.
• Ipalakova M., Daineko Y., Tsoy D., Bolatov Zh. (2024). Implementation of a Virtual Museum: Mobile Application Development Concept // CEUR Workshop Proceedings. – 2024. – Vol. 3680.
• Kaplun D., Romanov S., Ipalakova M., Daineko Y., Bolatov Zh., Tsoy D. (2024). Application of Immersive Technology in a Museum // Procedia Computer Science. – 2024. – Vol. 231. – P. 385-390. – DOI: 10.1016/j.procs.2023.12.222.
• Bolatov Zh., Tsoy D., Daineko Y., Ipalakova M. (2024). Cybersecurity of Digital Museum Application // Procedia Computer Science. – 2024. – Vol. 241. – P. 482-487. – DOI: 10.1016/j.procs.2024.08.068.
• Otkilbayev S., Ipalakova M., Tsoy D., Daineko Y. (2024). Development of an Object Management System in Virtual Reality // Lecture Notes in Computer Science (LNCS). – 2024. – Vol. 15027. – P. 267-275. – DOI: 10.1007/978-3-031-71707-9_21.
• Ипалакова М.Т., Дайнеко Е.А., Болатов Ж.Ж., Цой Д.Д., Абдугаппарова К.Ф., Ходжаев Д.А. (2024). Использование информационных технологий в сохранении культурного наследия Казахстана // Вестник КБТУ. – 2024. – № 4 (71). – С. 22-31. – DOI: 10.55452/1998-6688-2024-21-4-22-31.
• Ipalakova M., Bolatov Zh., Daineko Y., Tsoy D., Seitnur A. (2025). Data Augmentation for Robust Object Detection in Digital Museum Collections // Procedia Computer Science. – 2025. – Vol. 265. – P. 625-629. – DOI: 10.1016/j.procs.2025.07.230.
• Ipalakova M., Daineko Y., Bolatov Zh., Tsoy D., Reznikova Y., Bazarbekov I., Gabdullin D. (2025). Immersive Technologies for Cultural Heritage: Bridging History and Technology in Museums // In: De Paolis L.T., Arpaia P., Sacco M. (eds.) Extended Reality. XR Salento 2025. – Lecture Notes in Computer Science (LNCS). – Vol. 15737. – Springer, Cham, 2025. – DOI: 10.1007/978-3-031-97763-3_7.
• Ipalakova M., Bolatov Z., Daineko Y., Sharshova R., Abdugapparova K., Tsoy D. (2025). Comparative evaluation of machine learning models for museum exhibit recognition from video-derived datasets // PeerJ Computer Science. – 2025. – Vol. 11:e3207. – DOI: 10.7717/peerj-cs.3207. (Процентиль по базе Scopus 80 за 2024 год (категория Computer Science)).
• Ipalakova M., Bolatov Z., Daineko Y., Sharshova R., Abdugapparova K., Tsoy D. 2025. Comparative evaluation of machine learning models for museum exhibit recognition from video-derived datasets. PeerJ Computer Science, 11:e3207. DOI https://doi.org/10.7717/peerj-cs.3207 (Процентиль по Scopus 80, категория General Computer Science)).

Состав исследовательской группы: