koz"Вестник Северо-Казахстанского университета имени Манаша Козыбаева"Bulletin of Manash Kozybayev North Kazakhstan University2958-003X2958-0048М. Қозыбаев атындағы СҚУ10.54596/2958-0048-2026-1-309-320koz-2265Research ArticleИНФОРМАЦИОННО-КОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИINFORMATION AND COMMUNICATION TECHNOLOGIESАВТОМАТИЗИРОВАННЫЙ АНАЛИЗ МУЛЬТИМОДАЛЬНЫХ ДАННЫХ СОЦИАЛЬНЫХ МЕДИА НА ОСНОВЕ МОДЕЛЕЙ ОБРАБОТКИ НЕСТРУКТУРИРОВАННОЙ ИНФОРМАЦИИAUTOMATED ANALYSIS OF MULTIMODAL SOCIAL MEDIA DATA BASED ON MODELS FOR UNSTRUCTURED INFORMATION PROCESSINGhttps://orcid.org/0000-0002-6009-3216СериковМ. К.SerikovM. K.

Алматы

Senior Lecturer, School of Engineering and Information Technologies, Master of Technical Sciences

Almaty

7014547793@mail.ruMETA UniversityКазахстанMETA UniversityKazakhstan20260804202601 (69)309320Copyright © Сериков М.К., 20262026Сериков М.К.Serikov M.K.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.ku.edu.kz/jour/article/view/2265

Социальные медиа ежедневно создают огромные объёмы неструктурированных данные. Эти данные содержат ценную информацию, но их разнородность и сложность делают анализ затруднительным при использовании стандартных методов.Цель исследования - разработать и протестировать подход к автоматическому анализу мультимодальных данных социальных медиа с помощью современных моделей обработки неструктурированной информации. В работе применяются технологии глубокого обучения, в том числе трансформеры и модели объединения различных типов данных (текст и изображение).Разработан прототип, который объединяет текстовые и визуальные признаки с использованием нейросетевых архитектур. Эксперименты проведены на открытых датасетах, включающих посты пользователей с изображениями и текстовыми подписями; видеоконтент в исследование не включался.Полученные результаты показывают, что использование мультимодальных моделей повышает точность анализа тональности и улучшает интерпретацию данных.Предложенный подход может применяться в SMM-аналитике, маркетинге, прогнозировании поведения пользователей и анализе общественного мнения. Он помогает автоматизировать обработку сложных данных и принимать решения на основе комплексной информации.Выводы подтверждают, что объединение современных методов анализа неструктурированной информации эффективно для работы с мультимодальными данными в условиях больших объёмов и разнообразия источников.

Social media generates massive volumes of unstructured data every day. These data contain valuable information, but their heterogeneity and complexity make analysis difficult when using standard methods.The aim of the study is to develop and test an approach for automatic analysis of multimodal social media data using modern models for processing unstructured information. The work employs deep learning technologies, including transformers and models that combine different types of data (text and image).A prototype was developed that integrates textual and visual features using neural network architectures. Experiments were conducted on open datasets containing user posts with images and textual captions; video content was not included in the study. The results show that the use of multimodal models improves the accuracy of sentiment analysis and enhances data interpretation.The proposed approach can be applied in SMM analytics, marketing, user behavior prediction, and public opinion analysis. It helps automate the processing of complex data and supports decision-making based on comprehensive information.The conclusions confirm that combining modern methods of unstructured information analysis is effective for working with multimodal data in conditions of large scale and diverse sources.

социальные медиамультимодальные данныеанализ данныхнеструктурированная информациятрансформерыавтоматизацияBig Dataтональностьsocial mediamultimodal datadata analysisunstructured informationtransformersautomationBig DatasentimenReferencesBaltrusaitis T., Ahuja C., Morency L. Multimodal Machine Learning: A Survey and Taxonomy // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2019. - DOI: https://doi.org/10.1109/TPAMI.2018.2798607Baltrusaitis T., Ahuja C., Morency L. Multimodal Machine Learning: A Survey and Taxonomy // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2019. - DOI: https://doi.org/10.1109/TPAMI.2018.2798607Bishop C. M. Pattern Recognition and Machine Learning [Электронный ресурс]. - New York: Springer, 2006. - URL: https://link.springer.com/book/10.1007/978-0-387-45528-0 - Дата обращения: 12.03.2026.Bishop C. M. Pattern Recognition and Machine Learning [Elektronnyj resurs]. - New York: Springer, 2006. - URL: https://link.springer.com/book/10.1007/978-0-387-45528-0 - Data obrashcheniya: 12.03.2026.Radford A., Kim J. W., Hallacy C. и др. Learning Transferable Visual Models from Natural Language Supervision [Электронный ресурс] // arXiv preprint. - 2021. - arXiv: 2103.00020. - URL: https://doi.org/10.48550/arXiv.2103.00020 - Дата обращения: 12.03.2026.Radford A., Kim J. W., Hallacy C. i dr. Learning Transferable Visual Models from Natural Language Supervision [Elektronnyj resurs] // arXiv preprint. - 2021. - arXiv: 2103.00020. - URL: https://doi.org/10.48550/arXiv.2103.00020 - Data obrashcheniya: 12.03.2026.Russell S., Norvig P. Artificial Intelligence: A Modern Approach [Электронный ресурс]. - 4th ed. - Pearson, 2020. - URL: https://aima.cs.berkeley.edu/ - Дата обращения: 12.03.2026.Russell S., Norvig P. Artificial Intelligence: A Modern Approach [Elektronnyj resurs]. - 4th ed. - Pearson, 2020. - URL: https://aima.cs.berkeley.edu/ - Data obrashcheniya: 12.03.2026.Ngiam J., Khosla A., Kim M., Nam J., Lee H., Ng A. Y. Multimodal Deep Learning // Proceedings of the 28th International Conference on Machine Learning (ICML-11). - 2011. - P. 689-696. - URL: https://robotics.stanford.edu/~ang/papers/icml11-MultimodalDeepLearning.pdf - Дата обращения: 12.03.2026.Ngiam J., Khosla A., Kim M., Nam J., Lee H., Ng A. Y. Multimodal Deep Learning // Proceedings of the 28th International Conference on Machine Learning (ICML-11). - 2011. - P. 689-696. - URL: https://robotics.stanford.edu/~ang/papers/icml11-MultimodalDeepLearning.pdf - Data obrashcheniya: 12.03.2026.Li H., Zhang Y., Chen X. Multi-Modal Sentiment Analysis Based on Image and Text Using CrossAttention Mechanism // Electronics. - 2024. - Vol. 13, № 11. - Art. 2069. - DOI: https://doi.org/10.3390/electronics13112069 - Дата обращения: 12.03.2026.Li H., Zhang Y., Chen X. Multi-Modal Sentiment Analysis Based on Image and Text Using CrossAttention Mechanism // Electronics. - 2024. - Vol. 13, № 11. - Art. 2069. - DOI: https://doi.org/10.3390/electronics13112069 - Data obrashcheniya: 12.03.2026.Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [Электронный ресурс] // arXiv preprint. - 2018. - URL: https://doi.org/10.48550/arXiv.1810.04805 - Дата обращения: 12.03.2026.Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [Elektronnyj resurs] // arXiv preprint. - 2018. - URL: https://doi.org/10.48550/arXiv.1810.04805 - Data obrashcheniya: 12.03.2026.Aggarwal C. C. Neural Networks and Deep Learning [Электронный ресурс]. - Cham: Springer, 2018. - URL: https://link.springer.com/book/10.1007/978-3-319-94463-0 - Дата обращения: 12.03.2026.Aggarwal C. C. Neural Networks and Deep Learning [Elektronnyj resurs]. - Cham: Springer, 2018. - URL: https://link.springer.com/book/10.1007/978-3-319-94463-0 - Data obrashcheniya: 12.03.2026.Ясницкий Л. Н. Интеллектуальные системы: учебник / Л. Н. Ясницкий. - Москва: Лаборатория знаний, 2020. - 224 с. - ISBN 978-5-00101-897-1.YAsnickij L. N. Intellektual'nye sistemy: uchebnik / L. N. YAsnickij. - Moskva: Laboratoriya znanij, 2020. - 224 s. - ISBN 978-5-00101-897-1.Абдрахманов Б. С., Омаров Б. Б. Интеллектуальный анализ данных: учебное пособие. - Алматы: Қазақ университеті, 2021. - 240 с.Abdrahmanov B. S., Omarov B. B. Intellektual'nyj analiz dannyh: uchebnoe posobie. - Almaty: Қazaқ universiteti, 2021. - 240 s.Jurafsky D., Martin J. H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition [Электронный ресурс] - 3rd ed. - Stanford University, 2026. - URL: https://web.stanford.edu/~iurafskv/slp3/ - Дата обращения: 12.03.2026.Jurafsky D., Martin J. H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition [Elektronnyj resurs] - 3rd ed. - Stanford University, 2026. - URL: https://web.stanford.edu/~iurafskv/slp3/ - Data obrashcheniya: 12.03.2026.He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 770-778. - DOI: https://doi.org/10.1109/CVPR.2016.90He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 770-778. - DOI: https://doi.org/10.1109/CVPR.2016.90Урмашев Б. А. Information-communication technology: учебное пособие / Б. А. Урмашев. - Алматы: Қазақ университету 2017. - 336 с.Urmashev B. A. Information-communication technology: uchebnoe posobie / B. A. Urmashev. - Almaty: Қazaқ universiteti, 2017. - 336 s.Gandhi A., Adhvaryu K., Poria S., Cambria E., Hussain A. Multimodal Sentiment Analysis: A Systematic Review of History, Datasets, Multimodal Fusion Methods, Applications, Challenges and Future Directions // Information Fusion. - 2023. - Vol. 91. - P. 424-444. - DOI: https://doi.org/10.1016/i.inffus.2022.09.025 - Дата обращения: 12.03.2026.Gandhi A., Adhvaryu K., Poria S., Cambria E., Hussain A. Multimodal Sentiment Analysis: A Systematic Review of History, Datasets, Multimodal Fusion Methods, Applications, Challenges and Future Directions // Information Fusion. - 2023. - Vol. 91. - P. 424-444. - DOI: https://doi.org/10.1016/i.inffus.2022.09.025 - Data obrashcheniya: 12.03.2026.Хорошевский В. Ф. Искусственный интеллект: учебник / В. Ф. Хорошевский. - Москва: Питер, 2018. - 496 с.Horoshevskij V. F. Iskusstvennyj intellekt: uchebnik / V. F. Horoshevskij. - Moskva: Piter, 2018. - 496 s.Нуртазин К. К., Сагындыков Ж. С. Анализ данных и интеллектуальные системы: учебное пособие / К. К. Нуртазин, Ж. С. Сагындыков. - Алматы: КазНУ им. аль-Фараби, 2020. - 296 с.Nurtazin K. K., Sagyndykov ZH. S. Analiz dannyh i intellektual'nye sistemy: uchebnoe posobie / K. K. Nurtazin, ZH. S. Sagyndykov. - Almaty: KazNU im. al'-Farabi, 2020. - 296 s.Флах П. Машинное обучение: наука и искусство построения алгоритмов, которые извлекают знания из данных / П. Флах; пер. с англ. - Москва: ДМК Пресс, 2015. - 400 с.Flah P. Mashinnoe obuchenie: nauka i iskusstvo postroeniya algoritmov, kotorye izvlekayut znaniya iz dannyh / P. Flah; per. s angl. - Moskva: DMK Press, 2015. - 400 s.Гаврилов А. В. Машинное обучение: методы и алгоритмы: учебное пособие / А. В. Гаврилов. - Москва: МГТУ им. Н. Э. Баумана, 2019. - 312 с.Gavrilov A. V. Mashinnoe obuchenie: metody i algoritmy: uchebnoe posobie / A. V. Gavrilov. - Moskva: MGTU im. N. E. Baumana, 2019. - 312 s.Омаров А. Т., Нурпеисов Д. М. Машинное обучение и анализ данных: учебное пособие / А. Т. Омаров, Д. М. Нурпеисов. - Астана: ЕНУ им. Л. Н. Гумилёва, 2021. - 284 с.Omarov A. T., Nurpeisov D. M. Mashinnoe obuchenie i analiz dannyh: uchebnoe posobie / A. T. Omarov, D. M. Nurpeisov. - Astana: ENU im. L. N. Gumilyova, 2021. - 284 s.Кожахметов Е. Б. Обработка больших данных: учебное пособие / Е. Б. Кожахметов. - Алматы: КазНИТУ им. К. И. Сатпаева, 2022. - 300 с.Kozhahmetov E. B. Obrabotka bol'shih dannyh: uchebnoe posobie / E. B. Kozhahmetov. - Almaty: KazNITU im. K. I. Satpaeva, 2022. - 300 s.

The authors declare that there are no conflicts of interest present.