Астана
associate professor, Department of Information Systems, Candidate of Physical and Mathematical Sciences
Astana
Астана
senior lecturer, Department of Information Systems, Master of Engineering Sciences
Astana
Астана
master's student, Department of Information Systems
Astana
В данной работе предлагается H-UPF (Hybrid Universal Policy with Forecasting) – гибридная интеллектуальная архитектура для масштабируемого последовательного принятия решений в гетерогенных средах в условиях неопределённости. Архитектура объединяет вероятностное многогоризонтное прогнозирование на основе модели Temporal Fusion Transformer с непрерывным управлением с использованием метода Proximal Policy Optimization, при этом прогнозные квантильные распределения напрямую включаются в представление состояния агента. Динамический адаптационный слой (Dynamic Adaptation Layer) нормализует наблюдения относительно масштабов, характерных для каждой среды, что позволяет переносить стратегию управления в режиме zero-shot между средами с различиями эксплуатационных характеристик до 18.5 раза — без взаимодействия между агентами и без переобучения для каждой отдельной среды. Метод был протестирован на двух реальных наборах данных по управлению энергией жилых зданий: REFIT (20 домохозяйств в Великобритании) и CityLearn (6 зданий в США с реальными профилями солнечной генерации). В режиме zero-shot предложенный подход достигает 88.4% от теоретического оптимума и превосходит метод мета-обучения (MAML-PPO) на 8.4 процентных пункта (тест Уилкоксона p = 0.003, коэффициент Коэна d = 1.42). Анализ абляции показывает, что адаптационный слой является ключевым компонентом (его удаление приводит к снижению результата на 16.2 процентных пункта), тогда как использование вероятностного прогнозирования обеспечивает дополнительный прирост на 6.8 процентных пункта за счёт проактивного планирования. Обученная стратегия устойчива к изменениям параметров функции вознаграждения (чувствительность ≤ 3.2 процентных пункта в диапазоне изменений в 5 раз) и пригодна для практического применения: однократное обучение занимает 9.8 часа, а время вывода составляет 18.4 мс на один шаг управления.
This paper proposes H-UPF (Hybrid Universal Policy with Forecasting), a hybrid intelligent framework for scalable sequential decision-making in heterogeneous environments under uncertainty. The architecture integrates probabilistic multi-horizon forecasting via a Temporal Fusion Transformer with continuous control via Proximal Policy Optimization, embedding predictive quantile distributions directly into the agent’s state representation. A Dynamic Adaptation Layer normalizes observations relative to instance-specific scales, enabling zero-shot policy transfer across environments with 18.5× variability in operating characteristics — without inter-agent communication or per-instance retraining. Validated on two real-world residential energy management datasets (REFIT: 20 UK households; CityLearn: 6 US buildings with real PV profiles), the framework achieves 88.4% of the theoretical optimum in zero-shot transfer, outperforming meta-learning (MAML-PPO) by 8.4 percentage points (Wilcoxon p = 0.003, Cohen’s d = 1.42). Ablation analysis identifies the adaptation layer as the dominant contributor (−16.2 p.p. upon removal), while probabilistic forecasting adds +6.8 p.p. through proactive scheduling. The learned policy is robust to reward parameter variations (≤3.2 p.p. sensitivity across 5× range) and supports practical deployment: 9.8 h one-time training, 18.4 ms inference per control step.
The authors declare that there are no conflicts of interest present.