№AP13068032

Руководитель проекта Рахметулаева Сабина Батырхановна, PhD, ассоциированный профессор (ssrakhmetulayeva @ gmail.com)

Наименование приоритетного направления: 4 Информационные, коммуникационные и космические технологии. 4.1 Искусственный интеллект и информационные технологии: 4.1.1 Интеллектуальные системы управления и принятия решений (в том числе в режиме реального времени)

Цель проекта. Разработка методов автоматической аннотации и расшифровки ЭхоКГ и ЭКГ на основе собранных размеченных данных для определения максимально возможного набора аномалий снимков и физического состояния сердца с использованием CNN алгоритма. Разработка качественной оценки ЭхоКГ снимка и ЭКГ данных с возможностью автокоррекции артефактов изображения с помощью CNN алгоритма.

Актуальность. Эхокардиография в паре с электрокардиографией играет решающую роль в диагностике и ведении пациентов с сердечно-сосудистыми заболеваниями и является единственным методом визуализации, позволяющий получать изображения сердца в режиме реального времени, позволяя немедленно обнаруживать различные нарушения. Точная количественная оценка структуры и функции сердца имеет важное значение для клинической диагностики и помогает определить наиболее подходящее лечение. Особенно жесткие требования предъявляются к объему и точности информации о состоянии больных, перенесших операцию на сердце. По мере накопления клинического опыта и с появлением новых технологий наметилась тенденция к приоритетному использованию неинвазивных методов обследования. Большим преимуществом методов ЭхоКГ и ЭКГ является не только высокая информативность, но и возможность повторного применения как до и после оперативного вмешательства, так и на этапах с открытым сердцем.

Для достоверной диагностики состояния сердца результаты ЭхоКГ и ЭКГ должны быть расшифрованы и проанализированы. К сожалению, точная расшифровка ЭхоКГ и ЭКГ снимка не всегда возможна по следующим причинам:

1. Неправильное выведение позиции на экране;
2. Неверно проведенные расчеты и измерения;
3. Артефакты и помехи на изображении.

Эхографическое изображение часто сопровождается множеством артефактов, создающих визуальную картину, не совпадающую с реальностью отображаемого объекта. Некоторые артефакты нарушают качество эхографической картины и тем самым осложняют интерпретацию (рисунок 1). Тоже самое происходит и с данными ЭКГ.

Рисунок 1 Артефакты реверберации лучше отражаются в полутоновом изображении (А) и могут быть пропущены при цветной доплерографии (B). Они становятся снова очевидными на дисплее в цветной кодировке SR как параллельные желтые и синие линии высокой интенсивности (C). Если принять во внимание только реконструированную кривую времени такой области (D), то могут появляться ошибочные артефакты патологических кривых, имитирующих “систолическое удлинение” или “пост систолическое укорочение” (красные стрелки)

1. Нестандартное строение организма, патологии такие как транспозиция магистральных артерии, коарктация аорты/перерыв дуги аорты, аортальный стеноз, атрезия, синдром гипоплазии левых отделов сердца СГЛОС (HLHS) и т.д.;
2. Недостаточная квалификация специалиста для расшифровки;
3. Субъективные ошибки.

При возникновении любого из перечисленных барьеров, процедура исследования сердца должна быть проведена повторно, с возможной консультацией узкого специалиста, что замедляет своевременную диагностику. Ошибка в протоколе УЗИ ведет за собой ошибку кардиолога, выставляющего на основании этого протокола диагноз и определяющего тактику лечения пациента. Далее, ошибка кардиолога может стать ошибкой кардиохирурга и привести к серьезным последствиям.

Одним из путей решения вышеперечисленных барьеров к точной эхокардиографии и электрокардиографии является использование методов ML и глубоких сверточных нейронных сетей. Нейронные сети являются лидирующими методами для проблем классификации, регистрации и автокоррекции изображений. Используя нейронные сети как основной метод оценки и аннотации изображений в комбинации с классическими методами ML, мы предлагаем разработать систему минимизирующую врачебные и аппаратные ошибки при расшифровке данных.

Ожидаемые результаты:

1. Бинарная классификация полученного изображения на артефактное и не артефактное ЭхоКГ и ЭКГ с использованием методов ML;
2. Автоматическая сегментация ЭхоKГ данных (изображения и видео) и ЭКГ на структурные и неструктурные части;
3. Сформированный масштабный объем обучающих и тестовых данных ЭхоКГ и ЭКГ при нормальных и при большинстве патологических состояний, а также структура базы данных ЭхоКГ и ЭКГ;
4. Разработанные алгоритмы создания обучающих образов и тестовых баз данных ЭхоКГ и ЭКГ с максимально возможным набором патологий сердца;
5. Планируется разработка программного обеспечения для полной диагностики сердечно-сосудистых заболеваний для всех возрастных категорий с высокой сложностью определения проблем сердца которая не под силу человеческому глазу;
6. Планируется разработка мобильного приложения, работающее в паре с аппаратной платформой, для предоставления пользователям рекомендации, касающиеся проведения диагностики, сохраняет и обрабатывает записи, отображает результаты измерений;
7. Планируется опубликование 1 монографии;
8. Получение свидетельства на программный продукт по объекту интеллектуальной собственности планируется;
9. Планируется опубликовать не менее 2-х статей или обзор в рецензируемых научных изданиях, индексируемых в Science Citation Index Expanded базы Web of Science с ненулевым импакт-фактором или имеющих процентиль по CiteScore в базе Scopus не менее 35 (тридцати пяти), а также в журналах, рекомендуемых ККСОН РК.

Достигнутые результаты:

• Проведено тестирование и оценка различных переменных, таких как различные обучающие наборы данных и планировщики скорости обучения, для их влияния на производительность модели. Результаты показали успешное улучшение изображений с заметными визуальными улучшениями в ясности и четкости, а также снижением расстояния Фреше между распределениями (Fréchet Inception Distance, FID) по сравнению с исходной моделью.
• Улучшенные изображения были интегрированы в алгоритм автоматической сегментации, что продемонстрировало практическую применимость улучшений. Этот эксперимент дал положительные результаты, повысив точность и эффективность определения границ сердечных структур. В целом, это исследование вносит значительный вклад в область анализа изображений эхокардиографии, предлагая надежную систему для улучшения изображений и её применения в автоматической сегментации. Разработанная модель CycleGAN имеет потенциал для улучшения точности и эффективности оценки состояния сердца, что приносит пользу как пациентам, так и медицинским работникам при диагностике сердечно-сосудистых заболеваний.

Несмотря на то что данное исследование представляет собой важный шаг вперед в решении проблем качества изображений эхокардиографии и автоматической сегментации, остаются возможности для дальнейших исследований и улучшений. Будущие исследования могли бы изучить дополнительные факторы, такие как альтернативные архитектуры нейронных сетей или более сложные функции потерь, чтобы еще больше повысить производительность модели CycleGAN. Использование более разнообразных наборов данных для обучения модели также могло бы оказаться важным, что позволило бы модели расширить свою адаптивность и справляться с более широким диапазоном информации, улучшая её возможности обобщения. Это способствовало бы более глубокому пониманию основных закономерностей в данных. Кроме того, углубленное изучение и настройка планировщика скорости обучения могут привести к еще лучшим результатам за счет улучшения сходимости модели и оптимизации её производительности. Итеративный процесс экспериментов и совершенствования будет иметь решающее значение для максимального повышения эффективности модели и достижения еще лучших результатов в будущих приложениях.

Список публикаций (2022–2024):

1. Mukasheva, A., Rakhmetulayeva, S., Astaubayeva, G., & Gnatyuk, S. (2022). Developing a system for diagnosing diabetes mellitus using big data. Eastern-European Journal of Enterprise Technologies, 5(2), 75–85. https://doi.org/10.15587/1729-4061.2022.266185
2. Rakhmetulayeva, S., & Syrymbet, Z. (2022). Implementation of convolutional neural network for predicting glaucoma from fundus images. Eastern-European Journal of Enterprise Technologies, 6(2), 70–77. https://doi.org/10.15587/1729-4061.2022.269229
3. Rakhmetulayeva, S. B., Kulbayeva, A. K., & Mukasheva, A. K. (2022). Development of electronic medical records system with data security algorithm in healthcare environment of Kazakhstan. Вестник Алматинского Университета Энергетики и Связи. ISSN 2790-0886.
4. Мукашева, А. (2022). Деректерді өңдеу және талдау. Вестник Алматинского Университета Энергетики И Связи (Монография), Алматы, Казахстан.
5. Rakhmetulayeva, S. B., Ukibassov, B. M., Zhanabekov, Zh. O., & Mukasheva, A. K. (2023). Research on machine learning methods for recognition and classification of cardiovascular pathologies. Вестник Алматинского Университета Энергетики и Связи, DOI: 10.51775/2790-0886_2023_61_2_106
6. Rakhmetulayeva, S., Ukibassov, B., Zhanabekov, Z., & Mukasheva, A. (2023). Machine learning methods and algorithms for predicting congenital heart pathologies. In Proceedings of the 17th IEEE International Conference Application of Information and Communication Technologies (AICT). IEEE. https://doi.org/10.1109/AICT59525.2023.10313184
7. Ukibassov, B. M., Rakhmetulayeva, S. B., Zhanabekov, Zh. O., Bolshibayeva, A. K., & Yasar, A.-U.-H. (2024). Implementation of anatomy constrained contrastive learning for heart chamber segmentation. Procedia Computer Science, 238, 536–543. https://doi.org/10.1016/j.procs.2024.06.057
8. Ukibassov, B. M., Rakhmetulayeva, S. B., & Bolshibayeva, A. K. (2024). Semantic segmentation deep learning models in echocardiography: Custom dataset-based fine-tuning. Абай атындағы ҚазҰПУ-нің ХАБАРШЫСЫ, «Физика-математика ғылымдары» сериясы, 1(85), 149–155. https://doi.org/10.51889/2959-5894.2024.85.1.014
9. Rakhmetulayeva, S., Ukibassov, B., Zhanabekov, Z., & Bolshibayeva, A. (2024). Development of data-efficient training techniques for detection and segmentation models in atrial septum defect analysis. Eastern-European Journal of Enterprise Technologies, 5(131). In press.
10. Bolshibayeva, A., Rakhmetulayeva, S., Ukibassov, B., & Zhanabekov, Z. (2024). Advancing real-time ultrasound heart imaging with a novel hybrid deep learning architecture for enhanced pattern recognition. Eastern-European Journal of Enterprise Technologies, 6(132).
11. Rakhmetulayeva, S. B. (2024). Development of methods and algorithms for machine learning for predicting pathologies of the cardiovascular system based on echocardiography and electrocardiography. BALAUSA print. (Монография) ISBN 978-601-08-4538-1.
12. Sabina Rakhmetulayeva, Zhandos Zhanabekov, Aigerim Bolshibayeva, Evaluation of Modern Generative Networks for EchoCG Image Generation, Computers, Materials and Continua, Volume 81, Issue 3, 2024, Pages 4503-4523, ISSN 1546-2218, https://doi.org/10.32604/cmc.2024.057974
    
    

Охранные документы:

1. Патент на полезную модель № 9825 «Способ диагностики дефекта межпредсердной перегородки»
2. Патент на полезную модель « Система выявления патологий сердечно-сосудистой системы»
3. Авторское право «Мобильное приложение по выявлению врожденных пороков сердца на основе эхокардиографии»

Состав исследовательской группы: