Құрылымдалмаған деректерді сапалы және тиімді талдауға ықпал ететін «жетілдірілген» құралдарды әзірлеу

(құрылымдалмаған) деректерді жинау, дайындау, стандарттау, талдау, оқыту және құрылымын тану жұмыстарына жәрдемдесетін тиімді модельдерді, техникалар мен технологияларды (бұдан әрі – құрал-саймандар) жобалау және әзірлеу.

1. Ғылыми-зерттеу жобасын орындау аясында ikea, Alibaba, Amazon, Mediamarket, Kaspi.kz, Technodom және т.б. сияқты ірі онлайн дүкендерге шолу жасалды. Талдау көрсеткендей, өнімдер каталогы мәндері мен түрлерінің мәнін, нысандар арасындағы өзара байланыстар туралы жасырын ақпаратты, әрбір форматқа тән абстрактілі модельдер мен қасиеттерді қамтиды, оларды жиынтықта бұрыннан белгісіз каталог бойынша құрылымды анықтаудың болжамды моделін жасау үшін пайдалануға болады. Осылайша, интернет-дүкен өз жеткізушілерінің базасын және өнім каталогын едәуір ұлғайтуға мүмкіндік бере отырып, деректерді бір форматтан екінші форматқа түрлендіру процесін автоматтандыруға қол жеткізеді:

– «үлкен» деректерді терең талдаумен жұмыс істеу кезінде қолданыстағы әдістердің, технологиялар мен құралдардың ерекшеліктеріне жүйелі талдау жүргізілді; – әртүрлі көздерден деректерді түрлендірудің бірыңғай форматы бойынша, әр түрлі сценарийлермен сипатталатын гетерогенді деректер қоймасы бойынша тапсырманың қойылымы әзірленді және тиісті талаптар формализацияланды; – жобаланған интерфейстердің техникалық спецификациясы әзірленді; – негізгі идея қалыптастырылды, яғни мәтіндік және цифрлық статикалық ақпарат негізінде (statistical data inference) бұрыннан белгілі форматтағы жаңа бұрын белгісіз өнімді жіктеу және оны жүйедегі модельдермен салыстыру; – міндеттің қойылымы формализацияланды. Міндеттің қойылымын формализациялау үшін негізге Нативтік Байес әдісі алынды. 2. Лемматизация, токенизация, стоп-листинг, tf-idf, сингулярлық жіктеу алгоритмдерін дәйекті қолдануды қамтитын кластерлеу алгоритмі әзірленді. Кластерлік топтарды табу үшін DBSCAN әдісі негізіндегі алгоритм және объектілер арасындағы қашықтықты анықтау үшін Евклид қашықтығы қолданылды. Зерттеу барысында кластерлеу дәлдігі кластерлер санының бір кластағы объектілер санына қатынасына тәуелді екендігі дәлелденді. Кластерлер саны әрбір құжаттың радиусымен анықталады, ал бір кластағы объектілер саны ортақ объектілердің, бұл жағдайда сөздер немесе терминдердің орташа санымен анықталады. Біз сипаттаған кластерлеу алгоритмін тек топтарды жіктеу үшін ғана емес, сонымен қатар ассоциативті ережелерді табу, мағыналық мәтіні бойынша ұқсас құжаттар топтарын табу және т. б. басқа мақсаттар үшін де пайдалануға болады. Әр түрлі бизнес-кейс бойынша әзірленген машиналық оқыту технологияларының тиімділігіне эксперименталды талдау жасалды. Әрбір кейс үшін есептелген сапа бағалаулары негізінде ең тиімді машиналық оқыту моделі таңдалды. 3. Қойылған міндетті шешу үшін деректерді сапалы талдауға ықпал ететін құрал ретінде ақпараттық жүйенің прототипі әзірленді, бұл үшін қойылған талаптарға сәйкестендірілген Spring Cloud базасындағы микросервистік сәулет пайдаланылды. Біздің құралымыздың мақсаты ұсынылған барлық көздерден әр түрлі форматтағы деректерді алу және негізгі форматқа санаттауды жүргізу, содан кейін дерекқорға бірыңғай түрде енгізу болып табылады. Осы міндетті шешу үшін сынақ кезеңдері жүргізілді: іріктелген негізгі көрсеткіштер шеңберінде нәтижелерді тестілеу және бағалау. Деректерді жинау, деректерді санаттау процесі, деректерді пішімдеу, нәтижелерді жинау, деректерді үлгіге салу жұмыстары жүргізілді. 4. Әр түрлі метрикалардың корреляциясын ескере отырып, қалыптасқан бизнес-тапсырма бойынша әзірленген модельдерге, әдістерге, алгоритмдерге және бағдарламалық кешенге эксперименталды талдау және тексеру жүргізілді. Әзірленген модельдерді, алгоритмдерді және бағдарламалық кешенді тестілеу нәтижесінде деректердің корреляциялық талдауы алынды. Бүгінгі таңда нәтиже 70%-дан астам көрсеткішті көрсетті. Сондай-ақ деректерді импорттау үшін ELK кіріктірілген функционалын пайдалана отырып, әзірленген модельдердің, әдістердің, алгоритмдердің эксперименталды тексеруі жасалды. Деректерді импорттау үшін ELK кіріктірілген функционалын пайдалана отырып, біз өңдеу үшін деректерді саламыз. Бұл процесте Python, Java, Elastic Search, Kibana Elasticsearch (E – elastic, L – logstash, K – kibana) сияқты технологиялар пайдаланылды – Elastic компаниясымен Logstash деректерді жинау және журналдарды талдау механизмдерімен және Kibana аналитика және визуализация платформасымен бірге әзірленетін тираждалатын еркін бағдарламалық іздеу жүйесі; бұл үш өнім «Elastic Stack» деп аталатын біріктірілген шешім ретінде пайдалануға арналған. 5. Ғылыми зерттеуді орындау нәтижесінде ҚР БҒМ ҒЖБССҚК ұсынған ғылыми басылымдарда және Scopus пен Web of Science деректер базасында индекстелетін рецензияланатын шетелдік ғылыми басылымдарда мақалалар жарияланды.

Жоба нәтижелерін коммерцияландыруға болады.