Мультиагентное управление доступом в сетях NB-IoT на основе глубокого обучения с подкреплением

Введение

Современные тенденции развития Интернета вещей характеризуются интенсивным увеличением количества подключаемых устройств, требующих эффективной и надежной связи для передачи необходимых объемов данных. Технология NB-IoT, стандартизованная консорциумом 3rd Generation Partnership Project, отвечает таким требованиям благодаря узкой полосе пропускания, сниженным скоростям передачи и высокой энергоэффективности устройств [1]. Несмотря на преимущества, одной из наиболее острых проблем при массированном развертывании устройств NB-IoT является процедура случайного доступа RACH. При высокой плотности устройств, пытающихся одновременно передать данные, канал RACH становится узким местом сети, приводя к многочисленным коллизиям преамбул, увеличению задержек передачи данных и снижению процента успешных подключений.

Традиционные методы управления доступом, к которым можно отнести контроль доступа на основе запретов (Access Class Barring, ACB), динамическое распределение слотов и резервирование сетевых ресурсов, не обеспечивают достаточной эффективности в условиях высокой сложности и масштабности задач массового интернета вещей (mMTC) [2]. Это обусловлено ограничениями данных подходов, связанными с неспособностью оперативно реагировать на динамическую неоднородность сетевой нагрузки. В ранее проведенном исследовании авторами была предложена модель сети NB-IoT с использованием единственного RL-агента [3]. Данное решение позволило сократить количество коллизий на 74%, повысить успешность подключений на 16% и улучшить энергоэффективность устройств на 15% по сравнению со статическими методами. Однако, применение единственного агента затрудняет комплексный учет множества факторов, к которым можно отнести гетерогенность устройств, временные и пространственные изменения нагрузки, а также ограничения по энергопотреблению.

Настоящее исследование посвящено разработке и изучению мультиагентной системы управления доступом в сети NB-IoT, использующей глубокое обучение с подкреплением. В предлагаемой системе используется архитектура из пяти специализированных RL-агентов, взаимодействующих друг с другом посредством общей среды и обмена служебной информацией. Каждый агент отвечает за отдельную подзадачу: управление конфигурацией и числом RACH-слотов, проактивное определение временных пиков и перепадов нагрузки, дифференцированная политика доступа для различных типов устройств, пространственное распределение нагрузки между секторами и сотами и контроль затрат энергии путем оптимизации количества повторных попыток и режимов энергосбережения устройств.

Актуальность исследования заключается в необходимости разработки адаптивных механизмов управления доступом устройств в сетях Интернета вещей, которые сталкиваются с проблемами перегрузки канала случайного доступа при массовом подключении устройств. В условиях стремительного роста IoT-устройств и требований к энергоэффективности, устойчивости и масштабируемости сетей, актуальной задачей становится внедрение интеллектуальных алгоритмов, способных в реальном времени адаптировать поведение сети. Мультиагентные системы на основе обучения с подкреплением представляют собой перспективное решение, позволяющее реализовать распределённое управление доступом с учётом разнородных требований устройств и динамики трафика [4].

Целью исследования является разработка и оценка эффективности мультиагентной системы управления доступом в сетях NB-IoT на основе алгоритмов обучения с подкреплением, обеспечивающей снижение коллизий, сокращение задержек, повышение энергоэффективности и справедливое распределение сетевых ресурсов между устройствами.

Для достижения цели исследования были выполнены следующие задачи:

• Разработана архитектура мультиагентной системы, включающей пять RL-агентов, каждый из которых решает отдельную подзадачу управления доступом;

• Реализован интеграционный слой взаимодействия между симулятором NS-3 и агентами на Python с использованием фреймворка ns3-gym;

• Проведено симуляционное моделирование в двух контрастных сценариях: городской (с высокой плотностью устройств) и сельский (с большой дальностью и низкой плотностью);

• Осуществлено сравнение мультиагентного подхода с одноагентной схемой и статическим управлением по следующим метрикам: коэффициент коллизий, успешность подключений, средняя задержка и энергопотребление;

• Проанализирована согласованность и устойчивость действий агентов в условиях изменяющихся параметров среды;

• Сформулированы направления дальнейших исследований.

Архитектура мультиагентной RL-системы

В предлагаемом исследовании используется мультиагентная система на основе глубокого обучения с подкреплением, состоящая из пяти RL-агентов, каждый из которых необходим для выполнения конкретной подзадачи управления доступом в сетях NB-IoT. Подробное описание агентов представлено в таблице 1.

Все агенты взаимодействуют через общую среду, представленную симулятором сети NS-3, обмениваясь информацией о текущем состоянии сети. Каждый агент обучается по своей функции вознаграждения, при этом система в целом достигает согласованности действий посредством интеграционного слоя, через который передаются общие параметры среды, необходимые для принятия согласованных решений [5]. Логическая схема архитектуры представлена на рисунке 1.

Формализация задачи мультиагентного управления предполагает следующее: каждое состояние сети (S) описывается набором параметров (количество коллизий, успешных подключений, типы активных устройств, энергопотребление). Каждый агент выбирает действия из своего набора (A1–A5), что переводит систему в новое состояние (S') и приводит к вычислению наград (r1–r5). Цель каждого агента заключается в максимизации ожидаемого дисконтированного суммарного вознаграждения, а системы в целом – минимизация коллизий, повышение успешности подключений и улучшение энергоэффективности.

Моделирование NS-3

Для оценки эффективности предложенной мультиагентной системы был использован симулятор NS-3 версии 3.35 с поддержкой технологии NB-IoT. Разработанная модель реализует спецификации NB-IoT Release 13 от 3GPP, включая детальную эмуляцию канала NPRACH с процедурой генерации преамбул и установлением соединений RRC [6]. В модели предусмотрены регулируемые параметры: количество слотов, коэффициент ACB и максимальное число повторов передачи преамбул [7].

Для проведения исследований были выбраны два контрастных сценария, позволяющих охватить широкий спектр условий работы NB-IoT: городской сценарий с высокой плотностью устройств и сельский сценарий с низкой плотностью и увеличенными расстояниями. Конфигурации этих сценариев представлены в таблице 2.

В модели явно выделены три основных класса устройств, различающиеся требованиями к качеству обслуживания для экспериментального подтверждения эффективности управления доступом к сети агентами, учитывая специфику трафика каждого типа [8]. Характеристики этих классов представлены в таблице 3.

Интеграция RL-агентов

Интеграция RL-агентов с моделью NS-3 была реализована посредством разработанного интеграционного слоя на основе фреймворков OpenAI Gym и ns3-gym. Симулятор NS-3 выполнял функции среды, предоставляя агентам наблюдаемое состояние сети и применяя их управляющие действия в режиме реального времени.

Каждый агент взаимодействовал с единой средой, извлекая из общего состояния только релевантную информацию. На каждом шаге симуляции агенты получали информацию о текущем состоянии сети и, исходя из своих политик, рассчитывали управляющие действия, которые передавались в интеграционный слой [9]. Действия агентов включали в себя изменение параметров доступа к сети, число RACH-слотов, применение механизма ACB, выделение отдельных ресурсов для разных классов устройств, пространственное перераспределение нагрузки и настройку параметров энергосбережения.

Эксперименты проводились эпизодами, каждый продолжительностью в 1 час симуляционного времени. В начале каждого эпизода конфигурация устройств и профили трафика формировались заново. Для обучения агентов использовались следующие алгоритмы: DQN для дискретных действий (агенты 1, 3, 4), рекуррентный A2C для временных прогнозов (агент 2) и DDPG для непрерывных действий (агент 5).

После завершения 500 эпизодов, когда метрики стабилизировались, проводилась серия контрольных симуляций с фиксированными политиками агентов. Результаты этих симуляций использовались для сравнения эффективности предложенной мультиагентной системы с традиционными методами управления доступом и ранее предложенным одноагентным подходом.

Сравнительный анализ результатов экспериментов

В рамках настоящего исследования проведены имитационные эксперименты с целью оценки эффективности предложенной мультиагентной RL-системы управления доступом в сетях NB-IoT. Сравнение производилось с двумя альтернативными подходами: традиционной статической конфигурацией параметров доступа и одноагентной системой на основе обучения с подкреплением, разработанной в предыдущей работе [3]. В эксперименте воспроизводились два сценария: городская сота высокой плотности (1000 устройств) и сельская ячейка с малой загрузкой (50 устройств на больших расстояниях). Сводные результаты представлены в таблице 4.

Как видно из таблицы, мультиагентная система превосходит оба сравниваемых подхода по всем ключевым показателям. В городском сценарии коэффициент коллизий снижен по сравнению со статикой в 3,7 раза, и почти вдвое по сравнению с одноагентным RL. Это обеспечило повышение доли успешных подключений до 96% и сокращение средней задержки с 5 до 1.5 секунд. Уменьшение числа повторных попыток подключения, достигнутое за счёт координации агентов 1 и 2, также привело к снижению энергопотребления устройств на 35% по сравнению со статическим управлением.

В сельском сценарии, несмотря на изначально низкую плотность устройств, мультиагентная RL-система демонстрирует дополнительную оптимизацию: коэффициент коллизий снижен до ~1%, задержка доступа – 1 секунды, а энергозатраты – до 1.4 мДж. Наиболее выраженное влияние здесь оказал пятый агент, отвечающий за оптимизацию числа повторов преамбулы и активацию энергосберегающих режимов.

Анализ корреляции действий агентов показал, что после завершения обучения они действуют с высокой степенью согласованности. Средние значения парной корреляции наград составляли ~0.5, не наблюдалось статистически значимой отрицательной корреляции. Это подтверждает правильный выбор функций награды и удачную декомпозицию задач.

Сравнение с одноагентным RL-подходом демонстрирует количественные и качественные преимущества мультиагентной системы. Одноагентное решение показало хорошие результаты, особенно в малонагруженных условиях, однако оказалось менее устойчивым к перегрузкам и более чувствительным к вариативности трафика. Наблюдалось, что при массовом выходе устройств в сеть одноагентная система снижала свою эффективность, тогда как мультиагентная архитектура обеспечивала более быструю адаптацию за счёт параллельной работы RL-агентов.

Проведённые эксперименты подтверждают, что распределение функций между специализированными RL-агентами позволяет достичь более высокой производительности, стабильности и энергоэффективности в сетях NB-IoT [10]. Данные результаты подкрепляют гипотезу о целесообразности мультиагентного подхода в условиях высокой плотности IoT-устройств.

Результаты исследований и их обсуждение

В работе представлено исследование применения метода мультиагентного глубокого обучения с подкреплением для управления доступом в сетях NB-IoT. Разработана мультиагентная система из пяти RL-агентов, каждый из которых решает конкретную задачу: координация RACH-слотов, проактивное определение пиков, адаптация к типам устройств, межсотовая балансировка и энергосбережение. Предложенная архитектура позволяет распределить сложную проблему массового доступа на подзадачи, которые решаются параллельно.

Реализовано расширенное имитационное моделирование на симуляторе NS-3, охватывающее городской высоконагруженный сценарий и сельский сценарий с дальним радиусом, с учётом разнородности IoT-устройств. Для интеграции обучения с симуляцией использован подход ns3-gym, обеспечивающий обмен состояниями и действиями между NS-3 и Python-агентами в реальном времени. Определён новый набор метрик эффективности, учитывающий стандартные показатели (коллизии, задержка), а также энергоэффективность классов устройств и согласованность действий агентов.

Результаты экспериментов демонстрируют преимущества мультиагентной RL-системы. По сравнению с одноагентным решением и статическим подходом, предложенная система достигает значительного снижения коллизий и устранения перегрузок.

Перспективы дальнейших исследований заключаются в испытании системы на физическом оборудовании и расширении количества агентов. Дополнительно планируется исследовать безопасность и устойчивость таких интеллектуальных систем, в частности, противодействие сетевым аномалиям при попытке атаки на сеть на основе RL-агентов.

Автор убежден, что результаты настоящей работы могут служить основой для дальнейших исследований и способствовать совершенствованию технологий интеллектуального управления сетями Интернета вещей.

Библиографический список

1. Analysis of Random Access in NB-IoT Networks With Three Coverage Enhancement Groups: A Stochastic Geometry Approach / Yan Liu, Yansha Deng, Nan Jiang [и др.] // IEEE transactions on wireless communications. – 2021. – Т. 20, № 1. – С. 549-563.

2. Analysis of the Effect of the Reliability of the NB_IoT Network on the Intelligent System / Jia Gangyong, Zhu Yujie, Li Youhuizi, Zhu Zongwei // Special section on innovation and application of internet of things and emerging technologies in smart sensing. – 2019. – № 7. – С. 112809-112820.

3. Шаброва А.С., Князев М.А., Колесников А.В. Динамическое распределение слотов RACH для минимизации коллизий в сетях NB-IoT на основе алгоритмов обучения с подкреплением // Программные системы и вычислительные методы. 2025. № 2. С. 1-11. DOI: 10.7256/2454-0714.2025.2.73848 EDN: TPWJOS URL: Статья в журнале

4. Nan, Jiang Deep Reinforcement Learning for Real-Time Optimization in NB-IoT Networks / Jiang Nan, Deng Yansha, Nallanathan Arumugam // School of Electronic Engineering and Computer Science. – 2018. – № 1. – С. 1-31.

5. Намиот, Д.Е. Архитектура LLM агентов / Д.Е. Намиот, Е.А. Ильюшин // International Joumal of Open Information Technologies ISSN. – 2025. – Т. 13, № 1. – С. 2307-8162.

6. Juan, J. Alcaraz Transmission Control in NB-IoT With Model-Based Reinforcement Learning / J. Alcaraz Juan, Losilla Fernando, Gonzalez-Castaño Francisco-Javier // IEEE Access. – 2023. – № 11. – С. 57991-58005.

7. NB-IoT Random Access for Nonterrestrial Networks: Preamble Detection and Uplink Synchronization / Chougrani Houcine, Kisseleff Steven, A. Martins Wallace, Chatzinotas Symeon // IEEE Internet of Things journal. – 2022. – Т. 9, № 16. – С. 14913-14927.

8. Исаева, О.С. Построение цифрового профиля устройств Интернета вещей / О.С. Исаева // Информационные и математические технологии в науке и управлении. – 2023. – Т. 30, № 2. – С. 36-44.

9. Mamta, Agiwal Power Efficient Random Access for Massive NB-IoT Connectivity / Agiwal Mamta, Kumar Maheshwari Mukesh, Jin Hu // Sensors. – 2019. – № 19. – С. 1-24.

10. Anbazhagan, S. Next-gen resource optimization in NB-IoT networks: Harnessing soft actor–critic reinforcement learning / S. Anbazhagan, R.K. Mugelan // Computer Networks. – 2024. – № 252. – С. 110670-110684.