علوم رایانشی

علوم رایانشی

کنترل تطبیقی چراغ راهنمایی با یادگیری تقویتی عمیق حساس به فاز و حافظه تجربه تفکیکی برای کاهش زمان انتظار و طول صف

نوع مقاله : مقاله پژوهشی

نویسنده
دانشکده مهندسی کامپیوتر و فناوری اطلاعات، دانشگاه آزاد اسلامی واحد قزوین، قزوین، ایران
10.22034/csj.2025.237381
چکیده
مسئلة کنترل تطبیقی چراغ راهنمایی در شبکه‌های شهری به‌دلیل پویایی تقاضا، ناایستایی جریان، و برهم‌کنش فازها چالش‌برانگیز است؛ روش‌های زمان‌بندی کلاسیک در مواجهه با عدم‌تعادل ورودی- خروجی و رخدادهای نادر، صف‌های طولانی و زمان‌های انتظار زیاد ایجاد می‌کنند. رویکرد پیشنهادی ما یک چارچوب سه‌مرحله‌ای یادگیری تقویتی عمیق است. (۱) مدل‌سازی وضعیت غنی شامل طول صف و تعداد خودرو هر خط، زمان‌انتظار تجمعی، فشار ترافیکی نرمال‌شده‌ هر حرکت و حالت فعلی چراغ (امکان افزودن بازنمایی مکانی). (۲) تصمیم‌گیری حساس به فاز: برای هر فاز چراغ مسیر محاسباتی جداگانه در شبکه ارزش در نظر گرفته می‌شود تا تداخل گرادیان میان فازها حذف و پایداری افزایش یابد؛ سیاست با ϵ-greedy اجرا می‌شود. (۳) یادگیری با حافظة تفکیکی: تجربه‌ها برحسب جفت فاز- اقدام در میانگیرهای جدا ذخیره و با نمونه‌گیری متوازن آموزش داده می‌شوند. تابع پاداش ترکیبی از فشار، طول صف، زمان‌انتظار و تعداد عبوری‌هاست. ارزیابی روی دو مجموعه‌داده‌ها عمومی موناکو و هاربین نشان می‌دهد روش ما سریع‌تر همگرا شده و پاداش بیشتری کسب می‌کند. در داده‌های شهر موناکو میانگین زمان انتظار نسبت به LSTM-PPO و CNN-DQN به‌ترتیب ۶۳ درصد و ۵۰ درصد در حالت خلوت و ۴۱ درصد و ۲۹ درصد در حالت شلوغ کاهش یافت؛ طول صف نیز ۴۴ درصد و ۲۹ درصد در حالت خلوت و ۴۲ درصد و ۳۰ درصد در حالت شلوغ کمتر شد. در داده‌های شهر هاربین کاهش‌ها برای زمان انتظار ۵۳ درصد و ۴۳ درصد در حالت خلوت و ۳۹ درصد و ۳۰ درصد در حالت شلوغ و برای طول صف ۴۳ درصد و ۲۷ درصد در حالت خلوت و ۴۴ درصد و ۳۱ درصد در حالت شلوغ به‌دست آمد.
کلیدواژه‌ها
موضوعات

1.         El Mokhi, C., Erguig, H., Hmina, N., & Hachimi, H. (2025, April). Intelligent traffic management systems: A literature review on AI-Based traffic light control. In International Conference on Advanced Sustainability Engineering and Technology (pp. 154–171). Cham: Springer Nature Switzerland.
2.         Agrahari, A., Dhabu, M. M., Deshpande, P. S., Tiwari, A., Baig, M. A., & Sawarkar, A. D. (2024). Artificial intelligence-based adaptive traffic signal control system: A comprehensive review. Electronics, 13(19), 3875.
3.         Noaeen, M.; Naik, A.; Goodman, L.; Crebo, J.; Abrar, T.; Abad, Z.S.H.; Bazzan, A.L.C.; Far, B. (2022). Reinforcement Learning in Urban Network Traffic Signal Control: A Systematic Literature Review. Expert Syst. Appl., 99, 116830.
4.         Jovanović, A.; Teodorović, D. (2017). Pre-Timed Control for an under-Saturated and over-Saturated Isolated Intersection: A Bee Colony Optimization Approach. Transp. Plan. Technol., 40, 556–576.
5.         Ahmed, E.K.E.; Khalifa, A.M.A.; Kheiri, A. (2018). Evolutionary Computation for Static Traffic Light Cycle Optimisation. Proceedings of ICCCEEE, Khartoum, Sudan, 12–14 August 2018; pp. 1–6.
6.         Neelakandan, S.; Berlin, M.A.; Tripathi, S.; Devi, V.B.; Bhardwaj, I.; Arulkumar, N. (2021). IoT-Based Traffic Prediction and Traffic Signal Control System for Smart City. Soft Comput., 25, 12241–12248.
7.         Jing, P.; Huang, H.; Chen, L. (2017). An Adaptive Traffic Signal Control in a Connected Vehicle Environment: A Systematic Review. Information, 8, 101.
8.         Kim, M.; Schrader, M.; Yoon, H.-S.; Bittle, J.A. (2023). Optimal Traffic Signal Control Using Priority Metric Based on Real-Time Measured Traffic Information. Sustainability, 15, 7637.
9.         Zaghal, R.; Thabatah, K.; Salah, S. (2017). Towards a Smart Intersection Using Traffic Load Balancing Algorithm. Proceedings of the 2017 Computing Conference, London, UK, 18–20 July 2017; pp. 485–491.
10.     Mishra, S.; Singh, V.; Gupta, A.; Bhattacharya, D.; Mudgal, A. (2023). Adaptive Traffic Signal Control for Developing Countries Using Fused Parameters Derived from Crowd-Source Data. Transp. Lett., 15, 296–307.
11.     Tian, Y.; Liu, S.; Yan, X.; Zhu, T.; Zhang, Y. (2024). Active Control Method of Traffic Signal Based on Parallel Control Theory. IEEE J. Radio Freq. Identif., 8, 334–340.
12.     Zheng, Y. (2024). Intelligent Signal Optimization Algorithm Based on Artificial Intelligence in Intelligent Traffic Control Systems. Procedia Computer Science, 247, 445-452.
13.     Hurtado-Gómez, J., Romo, J. D., Salazar-Cabrera, R., Pachon de la Cruz, A., & Madrid Molina, J. M. (2021). Traffic signal control system based on intelligent transportation system and reinforcement learning. Electronics, 10(19), 2363.
14.     Castro, G. B., Hirakawa, A. R., & Martini, J. S. (2017). Adaptive traffic signal control based on bio-neural network. Procedia Computer Science, 109, 1182-1187.
15.     Ng, S. C., & Kwok, C. P. (2020). An intelligent traffic light system using object detection and evolutionary algorithm for alleviating traffic congestion in Hong Kong. International journal of computational intelligence systems, 13(1), 802-809.
16.     Medvei, M. M., Bordei, A. V., Niță, Ș. L., & Țăpuș, N. (2025). DeepSIGNAL-ITS—Deep Learning Signal Intelligence for Adaptive Traffic Signal Control in Intelligent Transportation Systems. Applied Sciences, 15(17), 9396.
17.     Xu, M., Wu, J., Huang, L., Zhou, R., Wang, T., & Hu, D. (2020). Network-wide traffic signal control based on the discovery of critical nodes and deep reinforcement learning. Journal of Intelligent Transportation Systems, 24(1), 1-10.
18.     Zhao, Z., Wang, K., Wang, Y., & Liang, X. (2024). Enhancing traffic signal control with composite deep intelligence. Expert Systems with Applications, 244, 123020.
19.     Faqir, N., Ennaji, Y., Chakir, L., & Boumhidi, J. (2025). Hybrid CNN-LSTM and Proximal Policy Optimization Model for Traffic Light Control in a Multi-Agent Environment. IEEE Access.
20.     Zhang, Z., Qian, J., Fang, C., Liu, G., & Su, Q. (2021). Coordinated control of distributed traffic signal based on multiagent cooperative game. Wireless Communications and Mobile Computing, 2021(1), 6693636.
21.     Leal, S. S., & de Almeida, P. E. M. (2023). Traffic light optimization using non-dominated sorting genetic algorithm (NSGA2). Scientific reports, 13(1), 15550.
22.     Tunc, I., & Soylemez, M. T. (2023). Fuzzy logic and deep Q learning based control for traffic lights. Alexandria Engineering Journal, 67, 343-359.
23.     Tan, K. L., Sharma, A., & Sarkar, S. (2020). Robust deep reinforcement learning for traffic signal control. Journal of Big Data Analytics in Transportation, 2(3), 263-274.
24.     Wu, P., Wei, W., Zheng, L., Hu, Z., & Essa, M. (2023). Cycle-level traffic conflict prediction at signalized intersections with LiDAR data and Bayesian deep learning. Accident Analysis & Prevention, 192, 107268.
25.     Fang, J., You, Y., Xu, M., Wang, J., & Cai, S. (2023). Multi-objective traffic signal control using network-wide agent coordinated reinforcement learning. Expert Systems with Applications, 229, 120535.
26.     Chu, T., Wang, J., Codecà, L., & Li, Z. (2020). Multi-agent deep reinforcement learning for large-scale traffic signal control. IEEE transactions on intelligent transportation systems, 21(3), 1086-1095.
27.     Calvo, J. A., & Dusparic, I. (2018, December). Heterogeneous Multi-Agent Deep Reinforcement Learning for Traffic Lights Control. In AICS (pp. 2-13).
28.     Choe, C. J., Baek, S., Woon, B., & Kong, S. H. (2018, November). Deep Q learning with LSTM for traffic light control. In 2018 24th Asia-Pacific Conference on Communications (APCC) (pp. 331-336). IEEE.
29.     Wang, T., Cao, J., & Hussain, A. (2021). Adaptive Traffic Signal Control for large-scale scenario with Cooperative Group-based Multi-agent reinforcement learning. Transportation research part C: emerging technologies, 125, 103046.
30.     Huang, L., & Qu, X. (2023). Improving traffic signal control operations using proximal policy optimization. IET Intelligent Transport Systems, 17(3), 592-605.
31.     Faqir, N., Loqman, C., & Boumhidi, J. (2022). Deep Q-learning approach based on CNN and XGBoost for traffic signal control. Int. J. Adv. Comput. Sci. Appl, 13(9).
32.     Yasinian, H., & Esmaeilpour, M. (2022). Distributed learning automata based approach to inferring urban structure via traffic flow. Applied Intelligence, 52(2), 1338-1350.