АВТОМАТИЗИРОВАННЫЙ АНАЛИЗ МУЛЬТИМОДАЛЬНЫХ ДАННЫХ СОЦИАЛЬНЫХ МЕДИА НА ОСНОВЕ МОДЕЛЕЙ ОБРАБОТКИ НЕСТРУКТУРИРОВАННОЙ ИНФОРМАЦИИ

Социальные медиа ежедневно создают огромные объёмы неструктурированных данные. Эти данные содержат ценную информацию, но их разнородность и сложность делают анализ затруднительным при использовании стандартных методов.
Цель исследования - разработать и протестировать подход к автоматическому анализу мультимодальных данных социальных медиа с помощью современных моделей обработки неструктурированной информации. В работе применяются технологии глубокого обучения, в том числе трансформеры и модели объединения различных типов данных (текст и изображение).
Разработан прототип, который объединяет текстовые и визуальные признаки с использованием нейросетевых архитектур. Эксперименты проведены на открытых датасетах, включающих посты пользователей с изображениями и текстовыми подписями; видеоконтент в исследование не включался.
Полученные результаты показывают, что использование мультимодальных моделей повышает точность анализа тональности и улучшает интерпретацию данных.
Предложенный подход может применяться в SMM-аналитике, маркетинге, прогнозировании поведения пользователей и анализе общественного мнения. Он помогает автоматизировать обработку сложных данных и принимать решения на основе комплексной информации.
Выводы подтверждают, что объединение современных методов анализа неструктурированной информации эффективно для работы с мультимодальными данными в условиях больших объёмов и разнообразия источников.

1. Baltrusaitis T., Ahuja C., Morency L. Multimodal Machine Learning: A Survey and Taxonomy // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2019. - DOI: https://doi.org/10.1109/TPAMI.2018.2798607

2. Bishop C. M. Pattern Recognition and Machine Learning [Электронный ресурс]. - New York: Springer, 2006. - URL: https://link.springer.com/book/10.1007/978-0-387-45528-0 - Дата обращения: 12.03.2026.

3. Radford A., Kim J. W., Hallacy C. и др. Learning Transferable Visual Models from Natural Language Supervision [Электронный ресурс] // arXiv preprint. - 2021. - arXiv: 2103.00020. - URL: https://doi.org/10.48550/arXiv.2103.00020 - Дата обращения: 12.03.2026.

4. Russell S., Norvig P. Artificial Intelligence: A Modern Approach [Электронный ресурс]. - 4th ed. - Pearson, 2020. - URL: https://aima.cs.berkeley.edu/ - Дата обращения: 12.03.2026.

5. Ngiam J., Khosla A., Kim M., Nam J., Lee H., Ng A. Y. Multimodal Deep Learning // Proceedings of the 28th International Conference on Machine Learning (ICML-11). - 2011. - P. 689-696. - URL: https://robotics.stanford.edu/~ang/papers/icml11-MultimodalDeepLearning.pdf - Дата обращения: 12.03.2026.

6. Li H., Zhang Y., Chen X. Multi-Modal Sentiment Analysis Based on Image and Text Using CrossAttention Mechanism // Electronics. - 2024. - Vol. 13, № 11. - Art. 2069. - DOI: https://doi.org/10.3390/electronics13112069 - Дата обращения: 12.03.2026.

7. Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [Электронный ресурс] // arXiv preprint. - 2018. - URL: https://doi.org/10.48550/arXiv.1810.04805 - Дата обращения: 12.03.2026.

8. Aggarwal C. C. Neural Networks and Deep Learning [Электронный ресурс]. - Cham: Springer, 2018. - URL: https://link.springer.com/book/10.1007/978-3-319-94463-0 - Дата обращения: 12.03.2026.

9. Ясницкий Л. Н. Интеллектуальные системы: учебник / Л. Н. Ясницкий. - Москва: Лаборатория знаний, 2020. - 224 с. - ISBN 978-5-00101-897-1.

10. Абдрахманов Б. С., Омаров Б. Б. Интеллектуальный анализ данных: учебное пособие. - Алматы: Қазақ университеті, 2021. - 240 с.

11. Jurafsky D., Martin J. H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition [Электронный ресурс] - 3rd ed. - Stanford University, 2026. - URL: https://web.stanford.edu/~iurafskv/slp3/ - Дата обращения: 12.03.2026.

12. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 770-778. - DOI: https://doi.org/10.1109/CVPR.2016.90

13. Урмашев Б. А. Information-communication technology: учебное пособие / Б. А. Урмашев. - Алматы: Қазақ университету 2017. - 336 с.

14. Gandhi A., Adhvaryu K., Poria S., Cambria E., Hussain A. Multimodal Sentiment Analysis: A Systematic Review of History, Datasets, Multimodal Fusion Methods, Applications, Challenges and Future Directions // Information Fusion. - 2023. - Vol. 91. - P. 424-444. - DOI: https://doi.org/10.1016/i.inffus.2022.09.025 - Дата обращения: 12.03.2026.

15. Хорошевский В. Ф. Искусственный интеллект: учебник / В. Ф. Хорошевский. - Москва: Питер, 2018. - 496 с.

16. Нуртазин К. К., Сагындыков Ж. С. Анализ данных и интеллектуальные системы: учебное пособие / К. К. Нуртазин, Ж. С. Сагындыков. - Алматы: КазНУ им. аль-Фараби, 2020. - 296 с.

17. Флах П. Машинное обучение: наука и искусство построения алгоритмов, которые извлекают знания из данных / П. Флах; пер. с англ. - Москва: ДМК Пресс, 2015. - 400 с.

18. Гаврилов А. В. Машинное обучение: методы и алгоритмы: учебное пособие / А. В. Гаврилов. - Москва: МГТУ им. Н. Э. Баумана, 2019. - 312 с.

19. Омаров А. Т., Нурпеисов Д. М. Машинное обучение и анализ данных: учебное пособие / А. Т. Омаров, Д. М. Нурпеисов. - Астана: ЕНУ им. Л. Н. Гумилёва, 2021. - 284 с.

20. Кожахметов Е. Б. Обработка больших данных: учебное пособие / Е. Б. Кожахметов. - Алматы: КазНИТУ им. К. И. Сатпаева, 2022. - 300 с.