ГРАФИКАЛЫҚ НЕЙРОНДЫҚ ЖЕЛІЛЕР БҰЛТТЫ ЖҮЙЕЛЕРДЕГІ АУЫТҚУЛАРДЫ БАҚЫЛАУ ЖӘНЕ АНЫҚТАУ ҚҰРАЛЫ РЕТІНДЕ

Бұлттық инфрақұрылымдағы ауытқулар айтарлықтай тоқтап қалуларға және қаржылық шығындарға әкеледі. Дәстүрлі ауытқуларды анықтау әдістері микросервистік архитектуралардағы күрделі тәуелділіктерді қамти алмайды. Бұл мақалада бұлттағы ауытқуларды анықтау үшін топологиялық қатынастар мен уақыттық динамиканы модельдеу үшін Графтық нейрондық желілерді (GNN) пайдаланатын жаңа уақытша-атрибутивті графтық автоэнкодер (TAGAE) құрылымы ұсынылған. Біздің әдісіміз көп көзді телеметрияны бірыңғай графтық құрылымға біріктіреді, сезімталдықты арттыру үшін ауытқуларды күшейту қабаттарын пайдаланады және деректердің теңгерімсіздігін азайту үшін фокальды шығынды қолданады. Azure-DIAD және GCP деректер жинақтарындағы бағалау TAGAE-дің GraphSAGE-пен салыстырғанда анықтау кідірісін 63%-ға төмендете отырып, 94,2% F1 көрсеткішіне және 96,5% AUC-PR-ге қол жеткізетінін көрсетеді. Біз сондай-ақ 40% шу/жетіспейтін деректер жағдайындағы тұрақтылықты талдаймыз және құпиялылықты сақтай отырып орналастыру үшін федеративті GNN ұсынамыз.

1. Garg, S., Kaur, K., Kumar, N., & Rodrigues, J. J. (2020). Ensembled Machine Learning-Based Anomaly Detection in Cloud Environment. ACM Transactions on Internet Technology. https://doi.org/10.1145/3377754

2. Ma, X., Wu, J., Xue, S., Yang, J., Zhou, C., Sheng, Q. Z., ... & Reynolds, L. (2021). A Comprehensive Survey on Graph Anomaly Detection with Deep Learning. IEEE Transactions on Knowledge and Data Engineering. https://doi.org/10.1109/TKDE.2021.3118815

3. Wu, Z., Pan, S., Chen, F., Long, G., Zhang, C., & Yu, P. S. (2020). A Comprehensive Survey on Graph Neural Networks. IEEE Transactions on Neural Networks and Learning Systems. https://doi.org/10.1109/TNNLS.2020.2978386

4. He, H., Li, X., Chen, P., Chen, J., Liu, M., & Wu, L. (2024). Efficiently localizing system anomalies for cloud infrastructures: A novel dynamic graph transformer based parallel framework. Journal of Cloud Computing, 13(115). https://doi.org/10.1186/s13677-024-00677-x.

5. Zhang, Y., Li, Z., Zheng, Z., Chen, P., & Ma, D. (2022). CloudRCA: A Root Cause Analysis Framework for Cloud Computing Platforms. Proceedings of the 31st ACM International Conference on Information & Knowledge Management. https://doi.org/10.1145/3511808.3557121

6. Wang, C., Peng, X., Yu, M., Li, P., Bao, T., & Zhao, J. (2021). MicroHECL: High-Efficient Root Cause Localization in Large-Scale Microservice Systems. IEEE/ACM 43rd International Conference on Software Engineering (ICSE). https://doi.org/10.1109/ICSE43902.2021.00040

7. Zhou, X., Peng, X., Xie, T., Sun, J., Ji, C., Li, W., & Ding, D. (2021). Fault Anomaly Detection for Microservice Architecture Based on Graph Neural Network. IEEE Access. https://doi.org/10.1109/ACCESS.2021.3090623

8. Bogatinovski, J., Nedelkoski, S., Acker, A., & Kao, O. (2021). Self-Supervised Anomaly Detection from Distributed Traces. IEEE/ACM 21st International Symposium on Cluster, Cloud and Internet Computing (CCGrid). https://doi.org/10.1109/CCGrid51090.2021.00045

9. Chen, H., Chen, P., Wang, B., Yu, X., Chen, X., Ma, D., & Zheng, Z. (2024). Graph neural network based robust anomaly detection at service level in SDN driven microservice system. Computer Networks, 239, 110135. https://doi.org/10.1016/j.comnet.2023.110135

10. Zhao, H., Wang, Y., Duan, J., Huang, C., Cao, D., Tong, Y., & Zhang, Q. (2020). Multivariate Time-series Anomaly Detection via Graph Attention Network. 2020 IEEE International Conference on Data Mining (ICDM). https://doi.org/10.1109/ICDM50108.2020.00093

11. Tang, J., Li, J., Gao, Z., & Li, J. (2020). Anomaly Detection in Dynamic Graphs via Transformer. IEEE Transactions on Knowledge and Data Engineering. https://doi.org/10.1109/TKDE.2022.3149801

12. Deng, A., & Hooi, B. (2021). Graph Neural Network-Based Anomaly Detection in Multivariate Time Series. Proceedings of the AAAI Conference on Artificial Intelligence. https://doi.org/10.1609/aaai.v35i5.16523

13. Le, H.-D., & Park, M. (2024). Enhancing multi-class attack detection in graph neural network through feature rearrangement. Electronics, 13(12), 2404. https://doi.org/10.3390/electronics13122404

14. Boutin, E., et al. (2021). Multi-source Telemetry Fusion for Cloud Incident Detection. IEEE International Conference on Cloud Computing. https://doi.org/10.1109/CLOUD53861.2021.00028

15. Wu, Y., Dai, H.-N., & Tang, H. (2022). Graph Neural Networks for Anomaly Detection in Industrial Internet of Things. IEEE Internet of Things Journal, 9(12), 9214–9231. https://doi.org/10.1109/JIOT.2021.3094295

16. Scheinert, D., & Acker, A. (2020). TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services. In Service-Oriented Computing – ICSOC 2020 Workshops, Lecture Notes in Computer Science, vol. 12632, pp. 214–227. Springer. https://doi.org/10.1007/978-3-030-76352-7_23

17. Mitropoulou, K., Kokkinos, P. C., Soumplis, P., & Varvarigos, E. A. (2024). Anomaly Detection in Cloud Computing using Knowledge Graph Embedding and Machine Learning Mechanisms. Journal of Grid Computing, 22, Article 6. https://doi.org/10.1007/s10723-023-09727-1

18. Marbel, R., Cohen, Y., Dubin, R., Dvir, A., & Hajaj, C. (2024). Cloudy with a Chance of Anomalies: Dynamic Graph Neural Network for Early Detection of Cloud Services’ User Anomalies. arXiv preprint. https://doi.org/10.48550/arXiv.2409.12726

19. Li, M., et al. (2022). Real-time Anomaly Detection in Cloud Services via Graph Neural Networks. IEEE Internet of Things Journal. https://doi.org/10.1109/JIOT.2022.3168752

20. Sonani, R., & Govindarajan, V. (2022). A hybrid cloud-integrated autoencoder-GNN architecture for adaptive, high-dimensional anomaly detection in US financial services compliance monitoring. Spectrum of Research.

21. Li, M., Shu, M., & Lu, T. (2024). Anomaly pattern detection in high-frequency trading using graph neural networks. Journal of Industrial Engineering & Applied Science, 2(6), 77–85. https://doi.org/10.70393/6a69656173.323430

22. Chaudhary, A., Mittal, H., & Arora, A. (2019). Anomaly Detection using Graph Neural Networks. In 2019 International Conference on Machine Learning, Big Data, Cloud and Parallel Computing (COMITCon), 346–350. IEEE. https://doi.org/10.1109/COMITCon.2019.8862186

23. Jayaweera, M.P.G.K., Kithulwatta, W.M.C.J.T., & Rathnayaka, R.M.K.T. (2023). Detect anomalies in cloud platforms by using network data: A review. Cluster Computing, 26, 3279–3289. https://doi.org/10.1007/s10586-023-04055-1

24. Protogerou, A., Papadopoulos, S., Drosou, A., Tzovaras, D., & Refanidis, I. (2021). A graph neural network method for distributed anomaly detection in IoT. Evolving Systems, 12, 19–36. https://doi.org/10.1007/s12530-020-09347-0

25. Jin, M., Koh, H.Y., Wen, Q., Zambon, D., Alippi, C., Webb, G.I., King, I., & Pan, S. (2024). A survey on graph neural networks for time series: Forecasting, classification, imputation, and anomaly detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(12). https://doi.org/10.1109/TPAMI.2024.3443141