Разработка «усовершенствованных» инструментов, способствующих в качественном и эффективном анализе неструктурированных данных

Проектирование и разработка эффективных моделей, техник и технологий (далее – инструментарий), ассистирующих в сборе, подготовке, стандартизации, анализе, обучении и распознавании структуры в (не-) структурированных данных.

1. В рамках выполнения научно-исследовательского проекта был произведен обзор крупнейших онлайн магазинов таких как ikea, Alibaba, Аmazon, Mediamarket, Kaspi.kz, Teсhnodom и др. Анализ показал, что каталог продуктов заключает в себе скрытую информацию о взаимосвязях между сущностями, типов и значений свойств сущностей, абстрактные модели и свойства характерные каждому формату, которые в совокупности могут быть использованы для создания предсказательной модели обнаружения структуры по заведомо неизвестному каталогу. Таким образом, становится возможным автоматизировать процесс трансформации данных из одного формата в другой, что позволит Интернет магазину значительно увеличить свою базу поставщиков и каталог продукций:

– проведен системный анализ особенностей существующих методов, технологий и инструментов при работе с углубленным анализом «больших» данных; – разработана постановка задачи и формализованы соответствующие требования по единому формату преобразования данных из различных источников, по хранилищу гетерогенных данных, характеризуемых различными сценариями; – разработана техническая спецификация спроектированных интерфейсов; – сформирована основная идея, т.е. классифицировать новый неизвестный раннее продукт в известном раннем формате на основе статической информации текстовой и цифровой (stastical data inference) и сравнить его с моделями в системе; – формализована постановка задачи. На основу для формализации постановки задачи взят Наивный Байесовский метод. 2. Разработан алгоритм кластеризации, который включает в себя последовательное применение алгоритмов лемматизации, токенизации, стоп-листинг, tf-idf, сингулярного разложения. Для нахождение кластерных групп разработан алгоритм на основе метода DBSCAN и использование Евклидового расстояния для определения расстоянии между объектами. При исследовании было доказано, что точность кластеризации зависит от отношения количества кластеров к количеству объектов в одном кластере. Количество кластеров определяется радиусом каждого документа, а количество объектов в одном кластере определяется средним количеством общих объектов, в данном случае слов или терминов. Алгоритм кластеризации, описанный нами можно использовать не только для классификации групп, а и для других целей, таких как нахождение ассоциативных правил, нахождение групп документов, которые схожи по смысловому тексту и т.д. Произведен экспериментальный анализ эффективности разработанных технологий машинного обучения на различных бизнес кейсах. Для каждого из кейсов выбрана наиболее эффективная модель машинного обучения на основе рассчитанных оценок качества. 3. Разработан прототип информационной системы как инструмента, способствующего в качественном анализе данных для реализации решения поставленной задачи, для этого был использован микросервисная архитектура на базе Spring Cloud, согласованная с поставленными требованиями. Цель нашего инструмента заключается в получении разноформатных данных со всех предлагаемых источников и провести категоризацию в основной формат, с последующим внедрением в БД в едином виде. Для решения данной задачи проведены тестирующие этапы: тестирование и оценка результатов в рамках отобранных ключевых показателей. Проведен сбор данных, процесс категоризации данных, форматирование данных, сбор результатов, вкладывание данных в шаблон. 4. Проведен экспериментальный анализ и проверка разработанных моделей, методов, алгоритмов и программного комплекса на сформированной бизнес задаче, с учётом корреляции различных метрик. В результате тестирования разработанных моделей, алгоритмов и программного комплекса получен анализ корреляции данных. На сегодняшний день результат показал свыше 70%. А также произведена экспериментальная проверка разработанных моделей, методов, алгоритмов с использованием встроенного функционала ELK для импорта данных. Используя встроенный функционал ELK для импорта данных, мы вложим данные для обработки. В процессе были использованы технологии такие как: Python, Java, Elastic Search, Kibana Elasticsearch (E – elastic, L – logstash, K – kibana) – тиражируемая свободная программная поисковая система, разрабатывается компанией Elastic вместе со связанными проектами механизмом сбора данных и анализа журналов Logstash и платформой аналитики и визуализации Kibana; эти три продукта предназначены для использования в качестве интегрированного решения, называемого «Elastic Stack». 5. В результате выполнения научного исследования были опубликованы статьи в научных изданиях, рекомендованных КОКСОН МОН РК и в рецензируемых зарубежных научных изданиях, индексируемых в базе данных Scopus и Web of Science.

Результаты проекта могут быть коммерциализированы.