Исмаил Озтел
Кафедра компьютерной инженерии, Факультет компьютерных и информационных наук
Сакарья
Ismail Oztel, Assistant Professor, Department of Computer Engineering, Faculty of Computer and Information Sciences, Intelligent Software Systems Research Lab
Sakarya
Джелял Чекен
Университет Сакарьи, Кафедра компьютерной инженерии, Факультет компьютерных и информационных наук; НАО «Северо-Казахстанский университет имени Манаша Козыбаева» Международный кампус
Сакарья, Петропавловск
Celal Ceken, corresponding author, Professor, Department of Computer Engineering, Sakarya University; Professor, Manash Kozybayev North Kazakhstan University NPLC, International Campus
Sakarya, Petropavlovsk
Мгновенное обнаружение объектов является критически важной возможностью в современных приложениях, где необходимо оперативное принятие решений, например, в неотложной медицине, автономных системах и интеллектуальном видеонаблюдении. Эффективная обработка потоков изображений с высокой пропускной способностью и минимальной задержкой представляет собой значительную задачу, особенно в условиях высокой нагрузки. В данном исследовании представлена масштабируемая конвейерная архитектура для обнаружения объектов, интегрирующая модели YOLO с Apache Kafka – распределённой потоковой платформой, поддерживающей инференс в режиме just-in-time. Предлагаемая архитектура использует механизмы партиционирования и групп потребителей Kafka для обеспечения параллельной обработки, что позволяет достичь высокой производительности без необходимости в сложной логике балансировки нагрузки. Система развернута на виртуальном частном сервере (VPS) для демонстрации практической реализации. Представлены две конфигурации для иллюстрации масштабируемости Kafka: одна с одним разделом и одним потребителем, и другая с пятью разделами и пятью потребителями. Эти настройки наглядно демонстрируют, как Kafka эффективно распределяет рабочую нагрузку между несколькими потребителями. Хотя конкретные показатели задержки или пропускной способности не приведены, архитектура эффективно демонстрирует, как дизайн Kafka обеспечивает оперативную реакцию на вход с высоким объемом. Этот конвейер хорошо подходит для задач обнаружения объектов, чувствительных ко времени, и может быть расширен для широкого круга приложений моментальной аналитики, где критически важна быстрая обратная связь.
Instant object detection is a critical capability in modern applications where timely decision-making is essential, such as in emergency medicine, autonomous systems, and intelligent surveillance. Efficiently handling high-throughput image streams with minimal delay presents significant challenges, particularly under demanding conditions. This study presents a scalable object detection pipeline that integrates YOLO models with Apache Kafka, a distributed streaming platform, to support just-in-time inference. The proposed architecture leverages Kafka’s partitioning and consumer group mechanisms to enable parallel processing, ensuring high throughput without requiring complex load-balancing logic. The system is deployed on a Virtual Private Server to demonstrate practical implementation. Two configurations are presented to illustrate Kafka’s native scalability: one with a single partition and a single consumer, and another with five partitions and five consumers. These setups visually demonstrate how Kafka efficiently distributes workloads across multiple consumers. Although specific latency or throughput metrics are not reported, the architecture effectively showcases how Kafka’s design enables prompt responses to high-volume input. This pipeline is well-suited for time-sensitive object detection tasks and can be extended to a wide range of instant analytics applications where rapid feedback is critical.
The authors declare that there are no conflicts of interest present.