Масштабируемые конвейеры для мгновенного обнаружения объектов: развертывание моделей YOLO с Apache Kafka для высокопроизводительного инференса

Мгновенное обнаружение объектов является критически важной возможностью в современных приложениях, где необходимо оперативное принятие решений, например, в неотложной медицине, автономных системах и интеллектуальном видеонаблюдении. Эффективная обработка потоков изображений с высокой пропускной способностью и минимальной задержкой представляет собой значительную задачу, особенно в условиях высокой нагрузки. В данном исследовании представлена масштабируемая конвейерная архитектура для обнаружения объектов, интегрирующая модели YOLO с Apache Kafka – распределённой потоковой платформой, поддерживающей инференс в режиме just-in-time. Предлагаемая архитектура использует механизмы партиционирования и групп потребителей Kafka для обеспечения параллельной обработки, что позволяет достичь высокой производительности без необходимости в сложной логике балансировки нагрузки. Система развернута на виртуальном частном сервере (VPS) для демонстрации практической реализации. Представлены две конфигурации для иллюстрации масштабируемости Kafka: одна с одним разделом и одним потребителем, и другая с пятью разделами и пятью потребителями. Эти настройки наглядно демонстрируют, как Kafka эффективно распределяет рабочую нагрузку между несколькими потребителями. Хотя конкретные показатели задержки или пропускной способности не приведены, архитектура эффективно демонстрирует, как дизайн Kafka обеспечивает оперативную реакцию на вход с высоким объемом. Этот конвейер хорошо подходит для задач обнаружения объектов, чувствительных ко времени, и может быть расширен для широкого круга приложений моментальной аналитики, где критически важна быстрая обратная связь.

1. Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You Only Look Once: Unified, Real-Time Object Detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 779-788.

2. Han, S., Lee, H., & Park, Y. (2018). A Real-Time Object Detection System Based on Cloud and Edge Computing. In International Conference on Cloud Computing and Big Data (CloudCom), pp. 153-160.

3. Shi, Y., Ding, G., & Wu, Q. (2019). Edge Computing: Vision and Challenges. IEEE Internet of Things Journal, 6(3), 4724-4737.

4. Apache Kafka. Apache Kafka Documentation. Available at: https://kafka.apache.org/39/documentation.html (Accessed: May 2025).

5. J. Redmon and A. Farhadi, “YOLO9000: Better, Faster, Stronger,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, pp. 6517-6525, Jul. 2017. doi: 10.1109/cvpr.2017.690.

6. A. Soni and A. Rai, “YOLO for Medical Object Detection (2018-2024),” 2024 IEEE 3rd International Conference on Electrical Power and Energy Systems (ICEPES). IEEE, pp. 1-7, Jun. 21, 2024. doi: 10.1109/icepes60647.2024.10653506.

7. C.M. Badgujar, A. Poulose, and H. Gan, “Agricultural object detection with You Only Look Once (YOLO) Algorithm: A bibliometric and systematic literature review,” Computers and Electronics in Agriculture, vol. 223, p. 109090, Aug. 2024, doi: 10.1016/j.compag.2024.109090.

8. H. Chen, “YOLO Algorithm in Analysis and Design of Athletes’ Actions in College Physical Education,” 2024 International Conference on Interactive Intelligent Systems and Techniques (IIST). IEEE, pp. 764-768, Mar. 04, 2024. doi: 10.1109/iist62526.2024.00002.

9. R. Girshick, “Fast R-CNN,” 2015 IEEE International Conference on Computer Vision (ICCV). IEEE, Dec. 2015. doi: 10.1109/iccv.2015.169.

10. Ultralytics, "YOLOv12 Models," Ultralytics Documentation. Available at: https://docs.ultralytics.com/tr/models/yolo12/. (Accessed: May 2025).

11. Artillery Docs. Available at: https://www.artillery.io/docs (Accessed: May 2025).