(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210864193.X (22)申请日 2022.07.21 (71)申请人 浙江英集动力科技有限公司 地址 310000 浙江省杭州市余杭区仓前街 道龙园路8 8号2幢208、 209-1、 209-2室 (72)发明人 谢金芳　穆佩红　刘成刚　赵琼　 金鹤峰　 (74)专利代理 机构 常州市科谊专利代理事务所 32225 专利代理师 孙彬 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06F 30/20(2020.01) (54)发明名称 基于分层强化学习的多热源供热系统协同 优化调度方法 (57)摘要 本发明公开了一种基于分层强化学习的多 热源供热系统协 同优化调度方法， 包括： 建立多 热源联网供热系统数字孪生模型； 基于多热源 联 网供热系统数字孪生模型进行不同工况下的多 热源联网运行水力计算并分析各个热源在系统 相应位置的运行特性， 划分各热源的供热范围并 获得各热源运行特性； 建立多热源 供热系统协同 优化调度模 型， 确定系统目标函数和相关约束条 件， 并将调度模型建模为马尔科夫决策过程； 将 基于多热源供热系统协同优化调度模型获得多 热源联网调度策略作为总任务， 采用分层强化学 习算法将总任务分解为多个子任务， 建立调度分 层结构模型并对各个子任务进行学习后获得多 热源联网调度策略； 基于数字孪生模 型对多热源 联网调度策略验证和下发执 行。 权利要求书4页 说明书9页 附图2页 CN 115239133 A 2022.10.25 CN 115239133 A 1.一种基于分层强化学习的多热源供 热系统协同优化调度方法， 其特 征在于， 它包括： 步骤S1、 采用机理建模和数据辨识方法建立多热源联网供 热系统数字 孪生模型； 步骤S2、 基于多热源联网供热系统数字孪生模型， 进行不同工况下的多热源联网运行 水力计算并分析各个热源在系统相应位置的运行特性， 划分各热源的供热范围并获得各热 源运行特性； 步骤S3、 建立多热源供热系统协同优化调度模型， 确定系统目标函数和相关约束条件， 并将多热源供 热系统协同优化调度模型建模为马尔科 夫决策过程； 步骤S4、 将基于多热源供热系统协同优化调度模型获得多热源联网调度 策略作为总 任 务， 采用分层强化学习算法将总任务分解为多个子任务， 建立调度分层结构模型并对各个 子任务进行 学习后获得多热源联网调度策略； 步骤S5、 基于多热源联网供热系统数字孪生模型对多热源联网调度 策略进行验证并下 发执行。 2.根据权利要求1所述的多热源供热系统协同优化调度 方法， 其特征在于， 所述步骤S1 中， 采用机理建模和数据辨识方法建立多热源联网供 热系统数字 孪生模型， 具体包括： 建立包括多热源联网供热系统物理实体、 虚拟孪生体、 数字孪生和数字空间的多热源 联网供热系统数字 孪生模型； 所述物理实体包括多热源、 热网、 热力站、 热用户和相应的供 热设备； 所述数字 孪生包括对象孪生、 过程孪生和性能孪生； 所述数字空间包括信息采集模块、 数据存储模块、 专家知识库、 机器学习算法模块、 评 估模块和决策模块， 通过各个模块耦合交互， 驱动数字孪生实现多热源联网供热系统虚拟 空间与物理 空间的数据映射、 信息交 互、 仿真模拟和优化 运行； 将多热源联网供热系统设备的多工况实时运行数据接入已建立的多热源联网供热系 统数字孪生模型中， 采用反向辨识方法对多 热源联网供热系统数字孪生模 型的仿真结果进 行自适应辨识修 正， 获得辨识修 正后的多热源联网供 热系统数字 孪生模型。 3.根据权利要求1所述的多热源供热系统协同优化调度方法， 其特征在于， 所述多热源 集中供热系统运行是在供暖初期和末期由基本热源承担热负荷， 严寒期由调峰热源投入运 行， 通过水力与热力工况和基本热源耦合进行 联合供热； 所述基本热源至少包括燃煤热电厂、 燃气热电厂、 燃煤锅炉房、 燃气锅炉房和工业余 热、 垃圾焚烧产热； 所述调峰热源至少包括燃气调峰锅炉房和燃 煤调峰锅炉房。 4.根据权利要求1所述的多热源供热系统协同优化调度 方法， 其特征在于， 所述步骤S2 中， 基于多热源联网供热系统数字孪生模型进 行不同工况下的多 热源联网运行水力计算并 分析各个热源在系统相应位置的运行特性， 划分各热源的供热范围并获得各热源运行特 性， 具体包括： 基于多热源联网供热系统数字孪生模型中根据图论建立的水力计算数学模型， 对多热 源联网供热系统在额定工况、 事故工况和非稳态工况下 的水力交汇点进行计算， 通过水力 交汇点将各 热源的供 热范围进行划分； 基于多热源联网供热系统数字孪生模型模拟基本热源和调峰热源在相应部署位置、 连 接方式及运行方式下的运行特性， 所述运行特性包括调峰热源处于一级网、 二级网的位置，权　利　要　求　书 1/4 页 2 CN 115239133 A 2距离基本热源的远近， 基本热源和调峰热源的连接方式， 各个热源的升降负荷速率、 经济成 本、 污染排 放特性。 5.根据权利要求1所述的多热源供热系统协同优化调度 方法， 其特征在于， 所述步骤S3 中， 建立多 热源供热系统协同优化调度模型， 确定系统目标函数和相关约束条件， 并将多 热 源供热系统协同优化调度模型建模为马尔科 夫决策过程， 具体包括： 依据各热源的供热范围和获得各热源运行特性， 建立以经济调度和环境调度为优化目 标函数、 以系统热源约束和系统管网约束为约束条件的多热源供热系统协同优化调度模 型； 其中， 所述经济调度目标函数 是以多热源供 热系统经济效益 最优， 表示 为： K为参与优化调度的热源数量； T为调度周期时长； Ek为机组k在调度周期内的热负荷； Pk 为对应机 组k所使用燃料的上网价格； fk(Ek,Dk)为机组k的燃料消耗量； Dk为机组k在调度周 期内的能耗 量； Ck为机组k所使用的燃料价格； 所述环境调度目标函数 是指多热源供 热系统碳 排放量最小， 表示 为： i为能源设备种类； Ei为单位设备负荷量的碳 排放； QTi为单位设备的负荷总量； 所述系统热源约束包括功率平衡约束、 机组容量约束、 供热平衡约束、 供热负荷等式约 束； 所述系统管网约束包括管网输配能力约束、 管网压力约束、 管径参数约束和用户侧节 点 压力约束； 将多热源供 热系统协同优化调度模型建模为马尔科 夫决策过程， 包括： 考虑影响调度模型的变量多样性和必要性构建状态变量； 考虑经济调度和环境调度构建动作变量； 将目标函数映射 为奖励函数； 选择策略函数获得多热源调度策略。 6.根据权利要求1所述的多热源供热系统协同优化调度 方法， 其特征在于， 所述步骤S4 中， 将基于多热源供热系统协同优化调度模型获得多热源联网调度策略作为总任务， 采用 分层强化学习算法将总任务分解为多个子任务， 建立调 度分层结构模型并对各个子任务进 行学习后获得多热源联网调度策略， 具体包括： 将基于多热源供热系统协同优化调度模型获得多热源联网调度 策略作为总任务， 采用 分层强化学习算法通过分层的策略将一个基于马尔科夫决策过程MDP的任务M分解成一系 列的半马尔科夫决策过程SMDP的子任务集合， 表示为{M0,M1,…,Mn}； M0是所有任务的根任 务； 建立调度分层结构模型： 包括自上而下设置的根任务协作层、 子任务选择层、 基本动作执行层和环境交互解析 层； 所述根任务协作层 对下层任务进行调用， 在环境认知信息场景下获取系统状态信息， 选 择可执行 的子任务， 由子任务进行基本动作的执行并与环境交互， 每一步动作获取 的回报权　利　要　求　书 2/4 页 3 CN 115239133 A 3