Посты
20 апреля в Саратове проходила V Международная научно-практическая конференция «Научный п…
23 апреля 2025 г. в 10:28•Max Knyazev is typing…Зеркало Telegram
20 апреля в Саратове проходила V Международная научно-практическая конференция «Научный прогресс и устойчивое развитие». Статьи участников войдут в сборник РИНЦ...
Так, стоп, а к чему я это? Ну ладно, ладно, понятно же, что раз я про нее рассказываю, значит я как-то связан с этой конференцией. Угадали (вас не проведешь, горжусь)🧠
В рамках конференции я представлял свою новую работу — продолжение (и углубление) того исследования, про которое уже писал на канале. Только если раньше у нас был один агент, то теперь сразу пять. Статья называется «Мультиагентное управление доступом в сетях NB-IoT на основе глубокого обучения с подкреплением» (и она пока только готовится к публикации в сборнике докладов конференции)
Давайте расскажу, что новенького, и добавлю вводных🧐
Представьте, что тысячи устройств пытаются передать данные через один и тот же радиоканал (а это так и есть в случае NB-IoT). Это вызовет кучу коллизий, таймаутов и повторных попыток передачи. Всё это жрёт энергию и мешает передавать данные с устройств. Проблема особенно заметна в сценариях типа «город с сотнями тысяч разных датчиков», где в пиковые часы все устройства резко просыпаются
Раньше мы с коллегами пробовали справляться с этим с помощью одного RL-агента. И у нас получилось снизить коллизии на 74% и улучшить энергоэффективность. Но при повышениях нагрузки агент становился сильно перегруженным. Ну потому что он не может сразу проактивно определять трафик, настраивать слоты и при этом учитывать типы устройств. В сценариях на несколько сотен устройств — вполне. Но если приблизить все это к реальному количеству (сотни тысяч или миллионы), он уже не может похвастаться той же эффективностью😏
Вот тут как раз я выхожу со своим предложением. А я, собственно, решил собрать архитектуру из пяти специализированных агентов:
Всё это я реализовывал в NS-3, связал с Python-агентами через ns3-gym, обучал на DQN/A2C/DDPG и тестировал в двух сценариях (а в прошлом исследовании мы учитывали только один городской сценарий). В этот раз я смоделировал город с высокой плотностью устройств и сельскую местность с малой. Результаты вышли красивыми:
При этом система остаётся согласованной — действия агентов не конфликтуют, а наоборот, дополняют друг друга. Это подтвердили метрики корреляции и стабильности в разных условиях🥳
Я считаю, что это всё потенциально можно масштабировать. Если раньше мы могли просто улучшить RACH, то теперь есть возможность строить настоящие интеллектуальные распределённые системы доступа, где каждый агент отвечает за свою зону ответственности
Впереди — экспериментальная проверка всей этой архитектуры на реальном железе (и безопасность самих RL-агентов). Возможно, даже с атакующими агентами для тестирования устойчивости. Впрочем, об этом я расскажу в будущих постах❤
Спасибо конференции за возможность поделиться результатами. А вам за то, что прочитали этот пост (и читаете все остальные)🥂
#интернет_вещей #аспирантура
Открыть исходный пост в TelegramТак, стоп, а к чему я это? Ну ладно, ладно, понятно же, что раз я про нее рассказываю, значит я как-то связан с этой конференцией. Угадали (вас не проведешь, горжусь)
В рамках конференции я представлял свою новую работу — продолжение (и углубление) того исследования, про которое уже писал на канале. Только если раньше у нас был один агент, то теперь сразу пять. Статья называется «Мультиагентное управление доступом в сетях NB-IoT на основе глубокого обучения с подкреплением» (и она пока только готовится к публикации в сборнике докладов конференции)
Давайте расскажу, что новенького, и добавлю вводных
Представьте, что тысячи устройств пытаются передать данные через один и тот же радиоканал (а это так и есть в случае NB-IoT). Это вызовет кучу коллизий, таймаутов и повторных попыток передачи. Всё это жрёт энергию и мешает передавать данные с устройств. Проблема особенно заметна в сценариях типа «город с сотнями тысяч разных датчиков», где в пиковые часы все устройства резко просыпаются
Раньше мы с коллегами пробовали справляться с этим с помощью одного RL-агента. И у нас получилось снизить коллизии на 74% и улучшить энергоэффективность. Но при повышениях нагрузки агент становился сильно перегруженным. Ну потому что он не может сразу проактивно определять трафик, настраивать слоты и при этом учитывать типы устройств. В сценариях на несколько сотен устройств — вполне. Но если приблизить все это к реальному количеству (сотни тысяч или миллионы), он уже не может похвастаться той же эффективностью
Вот тут как раз я выхожу со своим предложением. А я, собственно, решил собрать архитектуру из пяти специализированных агентов:
🙂 Первый управляет количеством слотов доступа🕗 Второй предсказывает пики активности по времени🙂 Третий дифференцирует политику доступа в зависимости от типа устройства📊 Четвёртый балансирует нагрузку по секторам🙂 Пятый оптимизирует энергопотребление устройств
Всё это я реализовывал в NS-3, связал с Python-агентами через ns3-gym, обучал на DQN/A2C/DDPG и тестировал в двух сценариях (а в прошлом исследовании мы учитывали только один городской сценарий). В этот раз я смоделировал город с высокой плотностью устройств и сельскую местность с малой. Результаты вышли красивыми:
Коллизии в городе снизились с 26% (при статике) до 7%
Задержка подключения уменьшилась с 5 сек до 1.5 сек
Энергопотребление сократилось на 35%
При этом система остаётся согласованной — действия агентов не конфликтуют, а наоборот, дополняют друг друга. Это подтвердили метрики корреляции и стабильности в разных условиях
Я считаю, что это всё потенциально можно масштабировать. Если раньше мы могли просто улучшить RACH, то теперь есть возможность строить настоящие интеллектуальные распределённые системы доступа, где каждый агент отвечает за свою зону ответственности
Впереди — экспериментальная проверка всей этой архитектуры на реальном железе (и безопасность самих RL-агентов). Возможно, даже с атакующими агентами для тестирования устойчивости. Впрочем, об этом я расскажу в будущих постах
Спасибо конференции за возможность поделиться результатами. А вам за то, что прочитали этот пост (и читаете все остальные)
#интернет_вещей #аспирантура