ҚҰРЫЛЫМДАНБАҒАН АҚПАРАТТЫ ӨҢДЕУ ҮЛГІЛЕРІ НЕГІЗІНДЕ ӘЛЕУМЕТТІК МЕДИАНЫҢ МУЛЬТИМОДАЛДЫ ДЕРЕКТЕРІН АВТОМАТТАНДЫРЫЛҒАН ТАЛДАУ

Әлеуметтік медиада күн сайын құрылымдалмаған деректердің орасан зор көлемі жасалады. Бұл деректер құнды ақпаратты қамтиды, алайда олардың әртектілігі мен күрделілігі стандартты әдістерді қолданғанда талдауды қиындатады.
Зерттеудің мақсаты - құрылымдалмаған ақпаратты өңдеудің заманауи үлгілері арқылы әлеуметтік медиа мультимодальды деректерін автоматты түрде талдауға арналған тәсілді әзірлеу және оны сынақтан өткізу. Жұмыста терең оқыту технологиялары, соның ішінде трансформерлер және әртүрлі дерек түрлерін (мәтін және сурет) біріктіретін модельдер қолданылды.
Мәтіндік және визуалды белгілерді нейрондық желі архитектураларының көмегімен біріктіретін прототип әзірленді. Эксперименттер суреттері мен мәтіндік сипаттамалары бар қолданушылардың жарияланымдарын қамтитын ашық деректер жиынтықтарында жүргізілді; зерттеуге сурет контент енгізілген жоқ. Алынған нәтижелер мультимодальды модельдерді қолдану тональдылықты талдаудың дәлдігін арттыратынын және деректерді түсіндіруді жақсартатынын көрсетті.
Ұсынылған тәсіл SMM-талдау, маркетинг, пайдаланушылардың мінез-құлқын болжау және қоғамдық пікірді зерттеу салаларында қолданылуы мүмкін. Ол күрделі деректерді өңдеуді автоматтандыруға және кешенді ақпарат негізінде шешімдер қабылдауға көмектеседі.
Қорытындылар құрылымдалмаған ақпаратты талдаудың заманауи әдістерін біріктіру үлкен көлемді және көздері әртүрлі мультимодальды деректермен жұмыс істеуде тиімді екенін растайды.

1. Baltrusaitis T., Ahuja C., Morency L. Multimodal Machine Learning: A Survey and Taxonomy // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2019. - DOI: https://doi.org/10.1109/TPAMI.2018.2798607

2. Bishop C. M. Pattern Recognition and Machine Learning [Электронный ресурс]. - New York: Springer, 2006. - URL: https://link.springer.com/book/10.1007/978-0-387-45528-0 - Дата обращения: 12.03.2026.

3. Radford A., Kim J. W., Hallacy C. и др. Learning Transferable Visual Models from Natural Language Supervision [Электронный ресурс] // arXiv preprint. - 2021. - arXiv: 2103.00020. - URL: https://doi.org/10.48550/arXiv.2103.00020 - Дата обращения: 12.03.2026.

4. Russell S., Norvig P. Artificial Intelligence: A Modern Approach [Электронный ресурс]. - 4th ed. - Pearson, 2020. - URL: https://aima.cs.berkeley.edu/ - Дата обращения: 12.03.2026.

5. Ngiam J., Khosla A., Kim M., Nam J., Lee H., Ng A. Y. Multimodal Deep Learning // Proceedings of the 28th International Conference on Machine Learning (ICML-11). - 2011. - P. 689-696. - URL: https://robotics.stanford.edu/~ang/papers/icml11-MultimodalDeepLearning.pdf - Дата обращения: 12.03.2026.

6. Li H., Zhang Y., Chen X. Multi-Modal Sentiment Analysis Based on Image and Text Using CrossAttention Mechanism // Electronics. - 2024. - Vol. 13, № 11. - Art. 2069. - DOI: https://doi.org/10.3390/electronics13112069 - Дата обращения: 12.03.2026.

7. Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [Электронный ресурс] // arXiv preprint. - 2018. - URL: https://doi.org/10.48550/arXiv.1810.04805 - Дата обращения: 12.03.2026.

8. Aggarwal C. C. Neural Networks and Deep Learning [Электронный ресурс]. - Cham: Springer, 2018. - URL: https://link.springer.com/book/10.1007/978-3-319-94463-0 - Дата обращения: 12.03.2026.

9. Ясницкий Л. Н. Интеллектуальные системы: учебник / Л. Н. Ясницкий. - Москва: Лаборатория знаний, 2020. - 224 с. - ISBN 978-5-00101-897-1.

10. Абдрахманов Б. С., Омаров Б. Б. Интеллектуальный анализ данных: учебное пособие. - Алматы: Қазақ университеті, 2021. - 240 с.

11. Jurafsky D., Martin J. H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition [Электронный ресурс] - 3rd ed. - Stanford University, 2026. - URL: https://web.stanford.edu/~iurafskv/slp3/ - Дата обращения: 12.03.2026.

12. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 770-778. - DOI: https://doi.org/10.1109/CVPR.2016.90

13. Урмашев Б. А. Information-communication technology: учебное пособие / Б. А. Урмашев. - Алматы: Қазақ университету 2017. - 336 с.

14. Gandhi A., Adhvaryu K., Poria S., Cambria E., Hussain A. Multimodal Sentiment Analysis: A Systematic Review of History, Datasets, Multimodal Fusion Methods, Applications, Challenges and Future Directions // Information Fusion. - 2023. - Vol. 91. - P. 424-444. - DOI: https://doi.org/10.1016/i.inffus.2022.09.025 - Дата обращения: 12.03.2026.

15. Хорошевский В. Ф. Искусственный интеллект: учебник / В. Ф. Хорошевский. - Москва: Питер, 2018. - 496 с.

16. Нуртазин К. К., Сагындыков Ж. С. Анализ данных и интеллектуальные системы: учебное пособие / К. К. Нуртазин, Ж. С. Сагындыков. - Алматы: КазНУ им. аль-Фараби, 2020. - 296 с.

17. Флах П. Машинное обучение: наука и искусство построения алгоритмов, которые извлекают знания из данных / П. Флах; пер. с англ. - Москва: ДМК Пресс, 2015. - 400 с.

18. Гаврилов А. В. Машинное обучение: методы и алгоритмы: учебное пособие / А. В. Гаврилов. - Москва: МГТУ им. Н. Э. Баумана, 2019. - 312 с.

19. Омаров А. Т., Нурпеисов Д. М. Машинное обучение и анализ данных: учебное пособие / А. Т. Омаров, Д. М. Нурпеисов. - Астана: ЕНУ им. Л. Н. Гумилёва, 2021. - 284 с.

20. Кожахметов Е. Б. Обработка больших данных: учебное пособие / Е. Б. Кожахметов. - Алматы: КазНИТУ им. К. И. Сатпаева, 2022. - 300 с.