Разработка методов и алгоритмов машинного обучения для прогнозирования патологий сердечно-сосудистой системы на основе эхокардиографии и электрокардиографии
ssrakhmetulayeva@gmail.com
ЦЕЛЬ
Цель проекта
Разработка методов автоматической аннотации и расшифровки ЭхоКГ и ЭКГ на основе собранных размеченных данных для определения максимально возможного набора аномалий снимков и физического состояния сердца с использованием CNN алгоритма. Разработка качественной оценки ЭхоКГ снимка и ЭКГ данных с возможностью автокоррекции артефактов изображения с помощью CNN алгоритма.
О ПРОЕКТЕ
Аннотация
Сердечно-сосудистым патологиям подвержена самая перспективная и работоспособная часть населения. Наибольшее количество больных и умерших по этой причине приходится на население в возрасте от 35 до 65 лет. Ежегодный ущерб от сердечно-сосудистых заболеваний (ССЗ) в Казахстане составляет в среднем около 89 миллиардов тенге, отмечают специалисты Министерства здравоохранения Республики Казахстан (МЗ РК). Наиболее эффективный и распространенный способ диагностики аномалий сердца является эхокардиография (ЭхоКГ, узи сердца) и электрокардиография (ЭКГ). Широкое внедрение методов ЭхоКГ и ЭКГ в практику обусловлено высоким уровнем современной аппаратуры, отсутствием вредного влияния на пациента и врача, относительной дешевизной метода по сравнению с МСКТ (Мультиспиральная компьютерная томография) и КТ (Компьютерная томография). Наличие большого количества вариантов исследования в ЭхоКГ и ЭКГ позволяет получить точную анатомическую и гемодинамическую информацию о больном и избежать инвазивных вмешательств. Недостатком эхокардиографии и электрокардиографии является выраженная зависимость от квалификации исследователя. Специалист, занимающийся ультразвуковой диагностикой сердца, должен быть кардиологом, в совершенстве знать топографическую анатомию грудной клетки, гемодинамику сердца, иметь пространственное мышление. При отсутствии одного из данных качеств у исследователя резко возрастает процент ошибок диагностики. Одним из путей решения вышеперечисленных барьеров к точной ЭхоКГ и ЭКГ является использование методов машинного обучения (ML) и глубоких сверточных нейронных сетей. Нейронные сети являются лидирующими методами для проблем классификации, регистрации и автокоррекции изображений. Используя нейронные сети как основной метод оценки и аннотации изображений в комбинации с классическими методами ML, мы предлагаем разработать систему, минимизирующую врачебные и аппаратные ошибки при расшифровке эхокардиографии и электрокардиографии.
Задачи проекта
- Провести экспериментальное сравнение существующих методов и алгоритмов машинного обучения для дополнения и визуализации ЭхоКГ снимков и данных ЭКГ и исследовать применимость для диагностики сердечно-сосудистых заболеваний с привлечением кардиологических специалистов.
- Собрать, сформировать и разметить сбалансированный набор обучающих и тестовых данных: эхокардиографии и электрокардиографии нормальных и патологических состояний (включающих снимки и без артефактов) с аннотациями и выводами специалистов.
- Разработать методы автоматической аннотации и расшифровки эхокардиограмм и электрокардиограмм на основе собранных размеченных данных, позволяющие определить максимально возможный набор аномалий снимка и/или физического состояния сердца.
- Разработать методы качественной оценки ЭхоКГ снимка и данных ЭКГ с возможностью автокоррекции артефактов изображения.
- Разработать и апробировать методы “объяснимого ИИ” (explainable AI). При обнаружении аномалии в снимках алгоритмы должны дать всеобъемлющее объяснение, почему обнаруженное состояние является аномалией, и какие признаки изображения/снимка являются показателем этого состояния.
- Разработать специализированные алгоритмы автоматизации проведения экспериментальных исследований модели ML с целью обоснованного выбора варианта структуры ML модели в качестве основы блоков искусственной нейронной сети, а также определить для выбранных структур модели оптимальное число нейронов скрытых слоев модели с учетом специфики медицинских данных.
- Провести экспериментальные исследования разра- НАУЧНО-ИССЛЕДОВАТЕЛЬСКОГО ПРОЕК ботанных ML моделей и комплекса системы обработки и оценить эффективность функционирования в задачеFigur диагностики работы сердца путем сравнения с диагностикой от медиков.
- Разработать мобильное приложение, работающее в паре с аппаратной платформой, для предоставления пользователям рекомендаций, касающихся проведения диагностики, сохраняющее и обрабатывающее записи, отображающее результаты измерений.
РЕЗУЛЬТАТЫ
Текущие результаты
- Исследованы существующие методы и алгоритмы для визуализации и диагностики сердечно-сосудистых заболеваний в области искусственного интеллекта для кардиологических специалистов.
- Проведен анализ применимости концепции искусственного интеллекта для визуализации и диагностики сердечно-сосудистых заболеваний.
- Проведен аналитический обзор и группирование методов унификации и классификации для визуализации и диагностики сердечно-сосудистых заболеваний.
- Разработана система ключевых показателей для визуализации и диагностики сердечно-сосудистых заболеваний с использованием технологий искусственного интеллекта.
- Применены вычислительные и статистические алгоритмы для модели машинного обучения при диагностике сердечно-сосудистых заболеваний.
- Собраны и обработаны данные на основе эхокардиограмм и электрокардиограмм.
- Разработаны и визуализированы математические модели принятия решений. Стандартная двумерная (2D) трансторакальная эхокардиография позволяет получить несколько видеороликов с разных точек зрения с использованием двухмерных изображений поперечного сечения. Видеоклипы не всегда могут включать в себя помеченные виды, поэтому идентификация просмотра является важнейшим процессом в приложениях искусственного интеллекта. Этот шаг необходим перед обучением глубокой нейронной сети и проведением автоматизированных измерений и интерпретации изображений. Правильный выбор перспективы необходим для точной оценки эхокардиографии. Более того, учитывая, что для обучения алгоритмов глубокого обучения необходимо значительное количество аннотированных данных, наличие алгоритма идентификации представления, способного справиться с этой трудоемкой задачей. Ожидается, что этап предварительной обработки ускорит развитие приложений искусственного интеллекта в эхокардиографии.
re 1. Data pre-processing and labeling (a - echocardiographic video files; b - .png files; c - data labeling обработка и маркировка d - labeling process)
данных (a — видеофайлы эхокардиографии; b — файлы .png; c — инструмент маркировки данных; d — процесс маркировки)
Предварительная обработка данных состоит из следующих шагов: 1. Видеофайлы эхокардиографии (в формате .avi). 2. Фрагментация эхо-видеофайла на отдельные файлы .png (используется для маркировки и дальнейшего процесса обучения модели).
готовых для процесса маркировки.
Разметка данных для задачи сегментации состоит из следующих шагов: 1. https://segments.ai/ — инструмент разметки данных. Загрузка изображений с предыдущего шага в инструмент сегментов.ai для дальнейшего процесса маркировки данных. 2. К концу процесса маркировки нам необходимо выпустить уже помеченные данные, чтобы использовать их для процесса обучения модели. Segments.ai предоставляет простой в использовании интерфейс для выпуска новых наборов данных. При эхокардиографии с нормальной анатомией каждая стандартная проекция имеет четкое строение камер сердца. Следовательно, аннотации следует выполнять для всех стандартных видов, включая их уникальные камеры. Стандартный вид 4-х камерной проекции сердца включает следующие разметки: аорту (Ao), левое предсердие (LA), левый желудочек (LV), правое предсердие (RA) и правый желудочек (RV), дефект межпредсердной перегородки (ДМПП), дефект межжелудочковой перегородки (ДМЖП), трехстворчатый клапан (ТК), митраль- НАУЧНО-ИССЛЕДОВАТЕЛЬСКОГО ПРО ный клапан (МК) и стеноз аорты (АС).
Аннотированные изображения дают визуальное представление о расположении дефекта в предсердии, желудочке или в обоих. В конечном итоге весь набор из 401 фотографий с тегами определяется как база данных с размеченными областями и затем сохраняется вместе со следующей статистической информацией. Таким образом, врачи выполнили разметку 401 изображения.
Для участия в процедуре маркировки изображений были выбраны профессионалы-эксперты: врач высшей категории частного медицинского центра «Медитерра» с опытом работы в области кардиохирургии и врач-кардиолог высшей категории из Научно-исследовательского института кардиохирургии, что гарантирует высочайший уровень профессионализма и точности аннотаций медицинских изображений и имеет решающее значение для достижения оптимальных результатов процедуры. Также в рамках проекта было получено разрешение с Этического комитета для проведения исследований связанных с людьми (Выписка из протокола №3 от 30 октября 2023 года заседания Локальной Этической комиссии РГП “ИГФ”)
ВНЕДРЕНИЕ
Коммерциализация и практическое применение
Данный проект подлежит дальнейшей коммерциализации.
ПУБЛИКАЦИИ
Список публикаций
- Mukasheva, A., Rakhmetulayeva, S., Astaubayeva, G., & Gnatyuk, S. (2022). Developing a system for diagnosing diabetes mellitus using big data. Eastern-European Journal of Enterprise Technologies, 5(2), 75–85. https://doi.org/10.15587/1729-4061.2022.266185
- Rakhmetulayeva, S., & Syrymbet, Z. (2022). Implementation of convolutional neural network for predicting glaucoma from fundus images. Eastern-European Journal of Enterprise Technologies, 6(2), 70–77. https://doi.org/10.15587/1729-4061.2022.269229
- Rakhmetulayeva, S. B., Kulbayeva, A. K., & Mukasheva, A. K. (2022). Development of electronic medical records system with data security algorithm in healthcare environment of Kazakhstan. Вестник Алматинского Университета Энергетики и Связи. ISSN 2790-0886.
- Мукашева, А. (2022). Деректерді өңдеу және талдау. Вестник Алматинского Университета Энергетики И Связи (Монография), Алматы, Казахстан.
- Rakhmetulayeva, S. B., Ukibassov, B. M., Zhanabekov, Zh. O., & Mukasheva, A. K. (2023). Research on machine learning methods for recognition and classification of cardiovascular pathologies. Вестник Алматинского Университета Энергетики и Связи, DOI: 10.51775/2790-0886_2023_61_2_106
- Rakhmetulayeva, S., Ukibassov, B., Zhanabekov, Z., & Mukasheva, A. (2023). Machine learning methods and algorithms for predicting congenital heart pathologies. In Proceedings of the 17th IEEE International Conference Application of Information and Communication Technologies (AICT). IEEE. https://doi.org/10.1109/AICT59525.2023.10313184
- Ukibassov, B. M., Rakhmetulayeva, S. B., Zhanabekov, Zh. O., Bolshibayeva, A. K., & Yasar, A.-U.-H. (2024). Implementation of anatomy constrained contrastive learning for heart chamber segmentation. Procedia Computer Science, 238, 536–543. https://doi.org/10.1016/j.procs.2024.06.057
- Ukibassov, B. M., Rakhmetulayeva, S. B., & Bolshibayeva, A. K. (2024). Semantic segmentation deep learning models in echocardiography: Custom dataset-based fine-tuning. Абай атындағы ҚазҰПУ-нің ХАБАРШЫСЫ, «Физика-математика ғылымдары» сериясы, 1(85), 149–155. https://doi.org/10.51889/2959-5894.2024.85.1.014
- Rakhmetulayeva, S., Ukibassov, B., Zhanabekov, Z., & Bolshibayeva, A. (2024). Development of data-efficient training techniques for detection and segmentation models in atrial septum defect analysis. Eastern-European Journal of Enterprise Technologies, 5(131). In press.
- Bolshibayeva, A., Rakhmetulayeva, S., Ukibassov, B., & Zhanabekov, Z. (2024). Advancing real-time ultrasound heart imaging with a novel hybrid deep learning architecture for enhanced pattern recognition. Eastern-European Journal of Enterprise Technologies, 6(132).
- Rakhmetulayeva, S. B. (2024). Development of methods and algorithms for machine learning for predicting pathologies of the cardiovascular system based on echocardiography and electrocardiography. BALAUSA print. (Монография) ISBN 978-601-08-4538-1.
- Sabina Rakhmetulayeva, Zhandos Zhanabekov, Aigerim Bolshibayeva, Evaluation of Modern Generative Networks for EchoCG Image Generation, Computers, Materials and Continua, Volume 81, Issue 3, 2024, Pages 4503-4523, ISSN 1546-2218, https://doi.org/10.32604/cmc.2024.057974
ИНТЕЛЛЕКТУАЛЬНАЯ СОБСТВЕННОСТЬ
Охранные документы
- Патент на полезную модель № 9825 «Способ диагностики дефекта межпредсердной перегородки»
- Патент на полезную модель « Система выявления патологий сердечно-сосудистой системы»
- Авторское право «Мобильное приложение по выявлению врожденных пороков сердца на основе эхокардиографии»
КОМАНДА
Состав исследовательской группы
Рахметулаева Сабина Батырхановна, PhD
АО МУИТ, ассоциированный профессор
Scopus ID: 56181453800
Google Scholar
ORCID: 0000-0003-4678-7964
Идельбаев Ерлан Самадулы, PhD
UC Merced, США
Scopus ID: 57196280341
Google Scholar
ORCID: 0000-0002-0179-467X
Болшибаева Айгерим Какимжановна, PhD
АО МУИТ, ассистент-профессор
Scopus ID: 57209662829
Google Scholar
ORCID: 0000-0003-1191-4249
Жанабеков Жандос Омарович, магистр
АО МУИТ, сениор-лектор, докторант
Scopus ID: 57422410600
ORCID: 0000-0001-5984-7132
Кожамжарова Динара Ханатовна, магистр
АО МУИТ, сениор-лектор, докторант
Scopus ID: 56021869000
Google Scholar
ORCID: 0000-0002-4320-9774
Үкібасов Баубек Мұратұлы, магистр
АО МУИТ, сениор-лектор, докторант
Scopus ID: 58759292400
ORCID: 0000-0002-0439-0187
Байжигитов Нурлан Болатович
Многопрофильный диагностический и лечебный центр MEDITERRA, кардиохирург
Мукашева Асель Коптлеувна, PhD
НАО АУЭС им. Г. Даукеева, ассоциированный профессор
Scopus ID: 57198816714
Google Scholar
ORCID: 0000-0001-9890-4910
Рахметулаева Эльвира Батырхановна
ГКП на ПХВ Городской кардиологический центр, врач кардиолог
Бегзатқызы Ырысгул
АО МУИТ, бухгалтер