Тип публикации: отчёт о НИР
Год издания: 2020
Ключевые слова: электроэнергетическая система, гибкость, режимная надёжность, регулирование потребляемой мощности, машинное обучение
Аннотация: Основным теоретическим результатом выполнения проекта в 2020 году явилась разработка многоуровневого подхода к моделированию средств обеспечения гибкости сложных электроэнергетических систем (ЭЭС) на базе метода агентного двухуровневого кооперативного обучения (модифицированная версия метода «Актёр-Критик»), выполненная совместно сПоказать полностьюзарубежным научным коллективом Технического универсистета Дортмунда. В предложенном подходе математическая постановка двухуровневой оптимизации на основе обучения с подкреплением, подразумевает её объединение с так называемой игрой Маркова. Агенты, играющие роли лидера и последователя (последователей) в каждом состоянии выполняют действия одновременно, следуя своей стратегии. При этом каждый агент обладает своим набором средств гибкости, состав и характер которых может быть изменён. Пространство состояний агента включает любые доступные ему действия (например, импорт/экспорт мощности, включение/отключение генераторов, накопителей и т.п.), которые приводят к максимизации функции вознаграждения, например, минимизации эксплуатационных, инвестиционных затрат. Предложенную постановку можно рассматривать как версию игры Штакельберга с несколькими состояниями, что расширяет стандартную задачу двухуровневой оптимизации. Такой подход даёт возможность решить ключевые проблемы координированной оценки и моделирования гибкости систем передачи и распределения ЭЭС, связанных с большой вычислительной сложностью и невыпуклостью задачи, усложнивших поиск искомого равновесия Штакельберга. При таком подходе мультиагентная среда позволяет в процессе офлайн-обучения агентов найти оптимальные оперативные стратегии управления доступными на разных уровнях ЭЭС средствами гибкости, и использовать такие стратегии в режиме онлайн для моделирования и повышения гибкости на разных уровнях ЭЭС. Мы полагаем, что предложенная постановка позволит значительно более детально количественно оценить гибкость в любых энергосистемах. Результаты опубликованы в главе монографии «Иерархическое моделирование при обосновании средств обеспечения гибкости электроэнергетических систем» [4], а также в журнале «Электроэнергия. Передача и распределение» [19], заявлен доклад на 2021 International Conference on Smart Energy Systems and Technologies. ??В ходе выполнения проекта получен ряд других важных теоретических результатов.?1.?Подготовлен обзор основных современных тенденций моделирования гибкости с использованием инновационных технологий, проведён анализ причин снижения гибкости ЭЭС при использовании существующих методов моделирования и оптимизации. Показано, что задача обеспечения гибкости ЭЭС, во многом является развитием традиционных задач обеспечения системной надежности, что позволяет применять известные оптимизационные модели из этой области. По результатам этих исследований опубликованы статья в журнале «Energies» (SJR Q2) [2], две статьи в сборнике трудов 92-го Международного семинара «Методические вопросы исследования надёжности больших систем энергетики» [11,14]?2.?Предложен комплексный подход к решению задачи оценивания состояния для анализа и обеспечения гибкости электрических сетей, базирующийся на идее двухуровневой декомпозиции. На его основе разработана иерархическая структура системы сетецентрического управления агрегатором спроса: верхний уровень подчиняется Системному Оператору (высоковольтная сеть), нижний уровень – активные потребители любых классов напряжения. Результаты исследования опубликованы в журнале «Промышленная энергетика» [9] и сборнике трудов 92-го Международного семинара «Методические вопросы исследования надёжности больших систем энергетики» [10]. ?3.?Выполнено объединение задач декомпозиции и кибербезопасности в общую задачу, когда размещение устройств синхронизированных векторных измерений в узлах-агрегаторах и узлах-потребителях, обеспечит надёжный сбор измерений векторов узловых напряжений. Результаты работы представлены на IFAC World Congress 2020 [7] и будут опубликованы в журнале «IFAC-PapersOnLine» (SJR Q2). ??При выполнении проекта получены следующие основные прикладные результаты:?1.?Разработаны модели средств распределённой гибкости: накопители, газогенераторы, управляемые солнечные и ветровые генераторы, электромобили, мини-ТЭЦ, устройства FACTS, системы управления спросом, в том числе реализована возможность оценивать степень их влияния на рынок электроэнергии и мощности. Проведено тестирование этих моделей в рамках подходов «снизу-вверх» и «сверху-вниз» для различных реальных схем ЭЭС России и Германии: ? - разработанная система оптимизации зарядки электромобилей на базе моделей машинного обучения тестировалась по данным электрических сетей г. Дортмунда (доклад на IFAC World Congress 2020 [18] с последующей публикацией в журнале «IFAC-PapersOnLine» (SJR Q2)). ? - созданная технология использования управления нагрузкой в реальном времени использовалась в противоаварийном управлении для повышения гибкости и устойчивости электрических сетей г. Благовещенск, включающих распределённую генерацию (мини-ТЭЦ),что позволило снизить объем отключаемых потребителей и обеспечить надежное электроснабжение ответственных потребителей (статья в журнале "Вестник ИрГТУ" [3]) ? - предложенная модель активного управления сетью (АУС), рассматриваемая как ядро цифрового двойника электрической сети, тестировались для сети 6-0.4 кВ г. Иркутска в задаче регулирования напряжения. Модель реализует краткосрочные стратегии принятия решений при управлении гибкими устройствами генерации и потребления (публикация в трудах Международной конференции «Energy-21: Sustainable Development & Smart Management» [16]).? - исследованы варианты повышения гибкости на базе моделей линейного программирования в задаче оптимальной расстановки и выбора мощности накопителей электроэнергии (водородные, аккумуляторные батареи) в передающих и распределительных сетях Германии (статья в журнале «Электроэнергия. Передача и распределение» [19]). ? - в докладе на Международной конференции “Energy-21” [6] были рассмотрены возможности применения устройств FACTS второго поколения для регулирования гибкости сети 500 кВ, являющейся фрагментом реальной ЭЭС. Эксперименты показали, что такие устройства позволяют существенно повысить управляемость сетей высокого напряжения, обеспечив требуемый уровень гибкости.??2.?Завершена разработка оригинального программного обеспечения (общий расчётный модуль) в средах Matlab и Python для моделирования средств гибкости разных уровней ЭЭС в рамках двухуровневого программирования. Реализована возможность использовать внутренние и внешние открытые библиотеки методов оптимизации (напр. Yalmip, Pyomo, Gurobi), моделировать и совместно рассчитывать режимы передающей и распределительной сети ЭЭС с заданными средствами гибкости, моделировать режимы работы сообщества гибридных микросетей постоянного/переменного тока. Это позволяет проводить исследования по анализу оперативной гибкости, планированию ресурсов гибкости для многоуровневых ЭЭС, оптимизации режимов работы сообщества микросетей и формированию локального рынка электроэнергии. Совместно с зарубежным научным коллективом проведена серия экспериментов с использованием разработанного расчётного модуля и аппарата двухуровневой оптимизации для ряда схем ЭЭС: ? - первая группа экспериментов сводилась к задаче оптимального обмена мощностями между системами передачи и распределения электроэнергии при различных вариантах гибкости. В качестве объектов исследования были рассмотрены двухуровневые тестовая IEEE и реальная ЭЭС о. Борнхольм (Дания). Проведенные расчёты показали, что двухуровневая оптимизация позволяет более справедливо и выгодно для всех уровней ЭЭС определять эксплуатационные расходы, обеспечивая большее проникновение ВИЭ и более эффективное использование ресурса управления спросом. Была начата работа по сравнению эффективности разработанного многоуровневого подхода (двухуровневая оптимизация) с результатами моделирования средств гибкости в программном комплексе SIMONA (разработка Технического университета Дортмунда). Результаты экспериментов опубликованы в главе монографии «Иерархическое моделирование при обосновании средств обеспечения гибкости электроэнергетических систем» [4] и журнале «Электроэнергия. Передача и распределение» [19], а также в сборнике трудов 92-го Международного семинара «Методические вопросы исследования надёжности больших систем энергетики» [17]. ? - вторая группа экспериментов была связана с исследованием и разработкой системы управления режимами и услугами гибкости сообщества микросетей на примере посёлков Байкальского региона на базе двухуровневого программирования и машинного обучения . Было рассмотрено несколько постановок целевой функции верхнего уровня: 1) перераспределение доходов и расходов между участниками сообщества согласно эффективности по Парето; 2) перераспределение активной мощности между микросетями за счет минимизации сетевых потерь. Микросети включали различные ВИЭ (ветер, солнце, газогенераторы на биомассе), дизель-генераторы и накопители. Расчёты показали, что создание сообщества и эффективное использование средств гибкости позволяет от 20 до 70% сократить показатель LCOE (т.е. фактически тариф на электроэнергию) при одновременном повышении качества электроснабжения анализируемых посёлков. Постановка задачи и результаты этих экспериментальных исследований в журнале «Energies» (SJR Q2) [15].?С целью распространения результатов исследований по гранту на ресурсе GitHub был создан репозиторий проекта https://github.com/frostyduck/Power-Flexibility-Project, где выложены некоторые разработанные коды программ. ??3.?Разработана мультиагентная модель обучения с подкреплением, реализованная в виде программного симулятора на языке Python. Модель представляет структуру взаимодействия агентов передающей и распределительной системы ЭЭС с соответствующей средой обучения. Разработанная среда – симуляция модели двухуровневой ЭЭС с различными средствами гибкости и ВИЭ, включающая пространства наблюдений (уравнения потокораспределения, режимные ограничения) и действий агента (импорт/экспорт мощности, включение/отключение генераторов, накопителей и т.п.). В основу мультиагентной модели заложена математическая постановка стохастического двухуровневого программирования, предложенная группой в 2020 году, которая объединена с игрой Маркова для реализации обучения с подкреплением. Полученный симулятор позволяет тестировать передовые методы обучения агентов: глубокие Q-сети (DQN), модификации актёр-критических методов (A2C, ACKTR, ACER), проксимальная оптимизация политики (PPO), оптимизации стратегии по доверительной области (TRPO) и др. По результатам исследования заявлен доклад на 2021 International Conference on Smart Energy Systems and Technologies (расширенная аннотация). ??За отчётный период 2020 г. результаты проведённых исследований по гранту были представлены докладами и обсуждены на всероссийских и международных конференциях, в том числе индексируемых в системах SCOPUS и Web of Science: 1) IFAC World Congress 2020 (Германия, Берлин, 11-17 июль, 2020 г.); 2) “Energy-21: Sustainable Development & Smart Management” (Иркутск, Россия, 7-11 сентября, 2020 г.); 3) 92-й Международный научный семинар «Методические вопросы исследования надёжности больших систем энергетики» (Россия, Казань, 21-26 сентября 2020 г.). По результатам выполнения проекта в 2020 году опубликовано семь докладов в сборниках научных трудов E3S Web of Conferences, а также две статьи в журнале “Energies” (SCR Q2), а также по одной статье в журналах «Промышленная энергетика» и «Вестник Казанского государственно энергетического университета». Находятся в печати две статьи в журнале «IFAC-PapersOnLine» (SJR Q2) и одна статья в журнал "Электроэнергия. Передача и распределение". Помимо этого, опубликована одна глава в монографии «Иерархическое моделирование систем энергетики» (Академическое изд-во «Гео») и две главы в монографии «Solving Urban Infrastructure Problems Using Smart City Technologies» (изд-во Elsevier), официальный выход который состоится в 2021 году. ??Ход выполнения работ второго года исследований и полученные результаты также обсуждались в 2020 году научными группами Технического университета Дортмунда и ИСЭМ СО РАН на нескольких совместных рабочих zoom-совещаниях.