摘要
为实现数据中心的经济灵活运行,提出一种计及建筑热动态特性的数据中心时空协调两阶段鲁棒优化方法。首先,基于数据中心建筑的热动态特性与云用户负载的差异化实时性需求,构建考虑服务器运行环境温度的数据中心云用户负载时空协调数学模型。其次,考虑到常规负载与室外温度的不确定性,提出计及数据中心建筑热动态特性的数据中心两阶段鲁棒优化方法,通过设置不确定性调节参数灵活调整优化保守程度。然后,采用列与约束生成(C&CG)算法迭代求解得到原问题的最优解。最后,通过算例分析对所提方法进行验证。结果表明,所提方法可在保障服务器运行环境温度的前提下,充分挖掘云用户负载时空灵活性和空调制冷灵活性的协同潜力,显著提升了数据中心运行的经济性,有效提高了系统抵御风险的能力。
随着大数据、云计算等技术的快速发展,数据通信和数据计算的需求呈指数级增长,数据中心数量和规模持续扩张,其总能源消耗量急剧增多。2019年数据中心的全球能源需求为200 TW·h,预计到2030年需求量将提升超200%,达到658 TW·
数据中心能耗约50%来源于信息技术(information technology,IT)设
由于构成数据中心的建筑围护结构材料具有良好的储冷能力,使得数据中心用能表现出一定的储能特性及灵活性。因此,充分挖掘数据中心围护结构的储能潜力,可显著提升数据中心运行的经济灵活性。文献[
此外,由于数据中心常规电力负载(例如,配电、照明等)以及室外温度具有较强的不确定性,使得负载调度结果出现偏差,难以满足用户需求并保证数据中心运行的经济性。常用于处理不确定性的方法主要有随机优化和鲁棒优化。文献[
综上所述,本文基于云用户负载时空调节特性以及数据中心建筑热动态特性的协同作用,建立考虑服务器运行环境温度的数据中心时空协调数学模型;其次,考虑到常规负载与外界温度的不确定性,提出计及建筑热动态特性的数据中心两阶段鲁棒优化方法,在保障服务器正常工作温度的基础上,提高数据中心抵御不确定性的能力;最后,采用列与约束生成(column and constraint generation,C&CG)算法,将原问题转化为具有混合整数线性形式的主问题和子问题进行迭代求解。所提方法在保障服务器运行环境温度的前提下,充分利用了云用户负载与空调系统的灵活性,实现最恶劣情况下数据中心的经济运行。
本文构建的数据中心运行框架如

图1 数据中心运行框架
Fig.1 Operational framework of data center
日前,数据中心运营商根据预测的各数据中心需要处理的常规负载和室外温度制定次日的购电计划。但是,常规负载与室外温度存在很强的波动性,会对次日调度计划的执行产生影响。因此,基于日前信息,以数据中心运营商运行成本最小化为目标,计及常规负载、室外温度的不确定性,设置对应不确定集,在此基础上运用两阶段鲁棒优化方法,制定次日各数据中心负载调度任务、电力市场购电计划,并于日前向电网运营商提交投标信息,提高数据中心系统的鲁棒性。日内,各数据中心根据实际功率需求与预测功率的偏差,向电网购电/售电,保证数据中心在满足用户需求前提下,提高数据中心系统抵御风险的能力,减少运行成本。
根据云用户实时性需求的不同,本文将数据中心承担的云用户负载分为以下两类。
交互型云用户负载的响应时间主要包括传输延迟时间和平均等待时间。传输延迟时间可假设为一个具体的常数,平均等待时间可通过M/M/1排队模型计算,即
(1) |
式中:为t时段交互型云用户负载平均等待时间;M为服务器类型集合;m为集合M内某一服务器类型;S为服务器工作状态集合;s为集合S内某一工作状态;为t时段m类处于工作状态s的用于处理交互型云用户负载的服务器的服务率;为t时段交互型云用户数据负载率。
本文针对数据中心的IT设备、制冷系统以及常规负载进行调度,其表达式为:
(3) |
式中:为t时段数据中心的总功率;为t时段IT设备的功率;为t时段空调系统的功率;为t时段配电系统和照明系统的总功率。
本文将服务器功率等价于IT设备功
(4) |
(5) |
(6) |
式中:为t时段m类处于工作状态s的服务器的功率;为m类服务器的静态功率;为t时段m类服务器的动态功率;km为m类服务器的动态功率计算系数;fm为m类服务器芯片的工作频率。
能效比为空调系统的制冷量与其功率之间的比值,因此,空调系统的功率表达式为:
(7) |
式中:为t时段空调系统的制冷量;为空调系统的能效比。
基于空调系统的制冷量,并利用热容-热阻网络模型进一步构建数据中心的详细热动态模型,即
(8) |
(9) |
(10) |
(11) |
(12) |
式中:、为墙体编号;为墙体热容,其分为含窗侧与不含窗侧;为墙体温度;为t时段室内温度;为t时段室外温度;为t时段墙体外温度;为t时段相邻节点(即相邻墙体)温度;为墙体热阻,其分为含窗侧与不含窗侧;为表示墙体是否受到外界太阳辐射的0-1变量,值取1表示墙体受到外界太阳辐射,值取0表示墙体未受到外界太阳辐射;为墙体吸热率;为墙体面积;为t时段墙体对应方向的光照强度;为房间的热容;为t时段窗体热阻;为窗体折射率;为窗体对应方向的光照强度;为t时段内部热源;为t时段IT设备的能耗;为t时段数据中心IT设备内部散热系数;为时段差。
本文将常规电力负载(例如,照明等)各时段的功率视为恒定值。对数据中心功率模型进行积分,可得到计及数据中心围护结构热动态特性的时空协调能耗模型,如
(13) |
式中:为t时段数据中心的总能耗;为t时段空调系统的能耗;为t时段配电系统和照明系统的总能耗;为调度周期。
数据中心建筑围护结构热动态模型示意图如

图2 数据中心建筑围护结构热动态模型示意图
Fig.2 Schematic diagram of thermal dynamic model of building envelope in data center
本文构建的数据中心能耗模型应满足以下约束。
1)云用户数据负载率约束
t时段N个数据中心的数据负载率总和如
(14) |
(15) |
式中:为时段内个数据中心的交互型云用户数据负载率总和;为t时段内N个数据中心的批处理型云用户数据负载率总和。
2)服务率约束
从服务器种类角度进行分析,N个数据中心的服务率总和的计算公式如
(16) |
(17) |
式中:为t时段第n个数据中心内m类处于工作状态s的服务器服务率;为t时段个数据中心用于处理交互型云用户负载的服务率;为t时段个数据中心用于处理批处理型云用户负载的服务率。
交互型云用户负载具有空间调节能力,即
(18) |
式中:为在t时段第n个数据中心的交互型云用户负载服务率;为t时段经空间调节后的第n个数据中心的交互型云用户负载服务率。
批处理型云用户负载在时间、空间均具有调节灵活性,可表示为:
(19) |
式中:为t时段第n个数据中心批处理型云用户数据负载服务率;为t时段经时空调节后的第n个数据中心批处理型云用户数据负载服务率。
3)最大响应时间约束
交互型云用户负载的最大响应时间满足
(20) |
(21) |
式中:为交互型云用户负载最大响应时间;为负载传输延迟时间;为最大响应时间。
4)服务器运行环境温度约束
当数据中心服务器正常运行时,室内温度应在一定的区间范围内,即
(22) |
式中:、分别为数据中心服务器正常运行室内温度的下限、上限。
5)最大数据负载率约束
当数据中心服务器处理数据时,应在其能处理的最大数据负载量范围内,即
(23) |
式中:为第n个数据中心每秒能处理的数据负载量最大值。
6)服务器工作频率与服务率约束
为根据负载需求实时调节服务器处理器工作频率与服务率,本文考虑的服务器处理器均设有离散的工作频率与服务率阶梯,且二者相互对应,如
(24) |
(25) |
式中:H为服务器可选工作频率种类。
在数据中心的频率与服务率调节中,可以根据实时网络负载在2个集合内进行选择。因此,t时段的服务器处理器工作频率ft与服务率μt具体描述为:
(26) |
(27) |
式中:、分别为工作频率向量、服务率向量;为时段工作频率与服务率的选型变量,由于服务器处理器在某一时段只能在一个频率上工作,因此,应满足
(28) |
(29) |
7)服务器数量约束
各数据中心参与调节的服务器数量应小于对应的服务器数量上限,即
(30) |
式中:为各数据中心参与调节的服务器数量;为各数据中心参与调节的服务器数量上限。
8)空调运行约束
利用空调系统可满足服务器的制冷需求与运行室内温度需求,其运行功率约束为:
(31) |
式中:为空调系统运行功率上限。
数据中心运行目标为日前运行成本最小化,本文考虑数据中心A与B的总运行成本为:
(32) |
式中:和分别为时段数据中心A和数据中心B的能耗;ct为时段日前交易电价。
两个数据中心应满足的约束条件包括
(33) |
式中:为
上述模型为常规确定性优化问题,得到的方案往往过于“冒险”,难以满足数据中心云用户的需求。因此,有必要在模型中计及不确定因素波动的影响,构建常规负载和室外温度所属的箱型不确定集,即
(34) |
式中:;和分别为不确定变量,即常规负载和室外温度;、分别为常规负载与室外温度各时段的预测值;和分别为不确定变量和允许的最大波动偏差。
本文采用两阶段鲁棒优化方法构建的计及建筑热动态特性的数据中心模型如
(35) |
式中:、分别为数据中心A、B的第个服务器时刻的选型变量;为当给定时,优化变量的可行域,如
(36) |
式中:、、、为对偶变量,用于处理第2阶段的最小化问题。
本文采用C&CG算法求解计及建筑热动态特性的数据中心时空协调两阶段鲁棒优化问题。C&CG算法通过交替求解主、子问题,使得2个问题得到的运行成本差小于给定阈值,从而得到原问题的最优解。对
(37) |
式中:为迭代次数;为数据中心子问题第次迭代后的解;为常规负载以及室外温度第次迭代的取值向量。
经分解后的子问题表达式为:
(38) |
经过一系列推导及线性化,子问题最终转化为
(39) |
式中:、为连续型辅助变量;为一个很大的正实数。
利用C&CG算法求解上述模型,具体步骤如下。
步骤1:给定一组常规负载与室外温度作为最恶劣场景,设置主问题提供的数据中心运行成本下界为,子问题提供的数据中心运行成本上界为,收敛阈值为。
步骤2:依据数据中心第l次迭代得到的最恶劣场景求解主问题
步骤3:将主问题的解作为固定值代入
步骤4:判断上、下界是否达到收敛条件,若,则迭代结束,返回最优解和;否则,增加变量及约束
(40) |
令,重新求解主、子问题直至算法收敛。
综上,本文所提计及建筑热动态特性的数据中心时空协调两阶段鲁棒优化方法的求解流程如

图3 C&CG算法流程图
Fig.3 Flow chart of C&CG algorithm
本章在MATLAB-YALMIP平台下验证了计及数据中心围护结构热动态特性的时空协调两阶段鲁棒优化方法的有效性,所有场景均由Gurobi进行求解。PC硬件环境为Intel Core i7 2.30 GHz CPU和16 GB RAM。

图4 数据中心原始数据负载率与日前购电电价
Fig.4 Original data load rate of data center and price of day-ahead electricity purchasing price
本文假设各时段2种云用户负载占比均为50%;批处理型云用户负载响应时间上限设置为24 h;模型的优化周期为24 h;服务器的正常运行环境温度区间为18~27
为进一步研究云用户负载时空灵活性和数据中心服务器运行环境温度对数据中心运行成本的影响,本文设置了4个方案。
方案1:不考虑云用户负载时空灵活性和服务器运行环境温度。
方案2:仅考虑云用户负载时间灵活性,不考虑服务器运行环境温度。
方案3:仅考虑云用户负载时空灵活性,不考虑服务器运行环境温度。
方案4:考虑云用户负载时空灵活性和服务器运行环境温度。
设置方案1~3的数据中心服务器运行环境温度保持在22.5 ℃恒定,方案4的数据中心服务器运行环境温度为18~27 ℃。
方案1和方案2中各数据中心的数据负载率、空调出力曲线如

图5 方案1和方案2数据中心数据负载率对比
Fig.5 Comparison of data load rates of data center between scheme 1 and scheme 2

图6 方案1和方案2数据中心空调功率对比
Fig.6 Comparison of air conditioning power between scheme 1 and scheme 2
方案2和方案3中各数据中心的数据负载率、空调出力曲线如

图7 方案2和方案3数据中心数据负载率对比
Fig.7 Comparison of data load rates of data center between scheme 2 and scheme 3

图8 方案2和方案3数据中心空调功率对比
Fig.8 Comparison of air conditioning power between scheme 2 and scheme 3
为进一步研究服务器运行环境温度对数据中心运行成本和空调出力的影响,方案4在方案3的基础上,考虑数据中心服务器运行环境温度区间,与方案3形成对照。方案3和方案4中各数据中心数据负载率、空调出力及服务器运行环境温度曲线分别如

图9 方案3和方案4数据中心数据负载率对比
Fig.9 Comparison of data load rates of data center between scheme 3 and scheme 4

图10 方案3和方案4数据中心室内温度对比
Fig.10 Comparison of indoor temperatures between scheme 3 and scheme 4

图11 方案3和方案4数据中心空调功率对比
Fig.11 Comparison of air conditioning power between scheme 3 and scheme 4
方案3不考虑服务器正常运行环境温度区间,数据中心A和B的日前总运行成本为695.13万元。但是,室内温度恒定在最适宜的温度,空调出力较高。方案3未充分利用数据中心围护结构的热动态特性,且未充分考虑数据中心室内温度对空调出力的影响,数据中心的运行成本较高;方案4考虑数据中心服务器运行环境温度的影响,设置服务器运行环境温度区间为18~27 ℃,数据中心A和B的日前总运行成本688.23万元。在加入数据中心服务器运行环境温度区间后,数据中心A和B的数据负载率的分配会综合考虑分时电价、空间因素、温度因素实施动态调节,方案4充分利用了数据中心围护结构的热动态特性,考虑服务器运行环境温度区间的影响,进一步减少了数据中心的运行成本,提升数据中心运行的经济性。
为验证常规负载和室外温度波动对数据中心运行的影响,本节基于方案4,计及常规负载和室外温度的不确定性,采用两阶段鲁棒方法对数据中心进行优化。
在相同的不确定性调节参数下,为了使确定性优化模型中的常规负载和室外温度随机时段取得预测区间的最大值,本节将得到的日前运行成本与本文提出两阶段鲁棒优化方法所得结果进行对比。假设、,其中,、分别为确定变量、的波动偏差,对应的预测、实际值曲线如

图12 预测、实际不确定变量曲线
Fig.12 Curves of predicted and actual uncertainty variables
以常规负载对应的不确定性调节参数、室外温度对应的不确定性调节参数为例,此时常规负载在03:00—07:00及09:00—10:00时段取得预测区间的最大值,室外温度在01:00—06:00、08:00—09:00、16:00—17:00、18:00—19:00、20:00—21:00及23:00—24:00时段取得预测区间的最大值。分别设计以下2种场景,得到的运行成本如
场景1:常规负载选取预测区间最大值的时段为10:00—15:00,室外温度的时段选取和两阶段鲁棒模型相同。
场景2:常规负载时段选取和两阶段鲁棒模型相同,室外温度选取预测区间最大值的时段为07:00—18:00。
从
由
为验证本文采用两阶段鲁棒优化方法得到的方案具有较强的鲁棒性。本节以

图13 不同预测误差下优化方法性能比较
Fig.13 Performance comparison between optimization methods with different prediction errors
从
本文提出了一种考虑常规负载、室外温度不确定性及建筑热动态特性的数据中心时空协调的两阶段鲁棒优化方法,结果表明:
1)通过协调云用户负载的时空调节特性与数据中心建筑的热动态特性,在保障服务器正常工作温度的基础上,数据中心可充分发挥云用户负载和空调系统的灵活性潜力。相较于方案1,方案2、3、4的运行成本分别减少了5.99%、16.61%、17.44%。
2)本文所提方法可得到对应不确定性调节参数下数据中心运行最恶劣场景对应的调度方案,且随着不确定性调节参数的增大,数据中心的日前运行成本逐渐增加。
3)随着预测误差的增大,两阶段鲁棒优化方法降低运行成本的效果更加明显,但当预测精度较高时,总运行成本会高于确定性优化。
在未来工作中,将深入研究当预测精度较高时两阶段鲁棒优化方法的作用机理,以进一步提高所提方法的优势。
附录
考虑到max-min的双层优化为NP-hard问题,通常求解存在一定难度,因此采用对偶理论,得到其对偶问题如下:
(B1) |
式中存在双线性项,对于本文所研究的数据中心中,当常规负载和室外温度取值为
(B2) |
式中:为二进制变量,取值为1时,表示常规负载和室外温度取到不确定集的最大值;ΓP,t和ΓT,t分别为常规负载和室外温度对应的不确定性调节参数,Γ值越小,代表模型越冒险,因此可用于调节方案的保守程度。但由于把
(B3) |
式中:,为连续型辅助变量;为一个很大的正实数。
参 考 文 献
KOOT M, WIJNHOVEN F. Usage impact on data center electricity needs: a system dynamic forecasting model[J]. Applied Energy, 2021, 291: 116798. [百度学术]
LIU Y N, WEI X X, XIAO J Y, et al. Energy consumption and emission mitigation prediction based on data center traffic and PUE for global data centers[J]. Global Energy Interconnection, 2020, 3(3): 272-282. [百度学术]
DING Z H, CAO Y J, XIE L Y, et al. Integrated stochastic energy management for data center microgrid considering waste heat recovery[J]. IEEE Transactions on Industry Applications, 2019, 50(3): 2198-2207. [百度学术]
WANG J J, DENG H D, LIU Y, et al. Coordinated optimal scheduling of integrated energy system for data center based on computing load shifting[J]. Energy, 2023, 267: 126585. [百度学术]
BENBLIDIA M A, BRIK B, ESSEGHIR M, et al. Power allocation and energy cost minimization in cloud data centers microgrids: a two-stage optimization approach[J]. IEEE Access, 2022, 10: 66213-66226. [百度学术]
CHEN M, GAO C W, SHAHIDEHPOUR M, et al. Internet data center load modeling for demand response considering the coupling of multiple regulation methods[J]. IEEE Transactions on Smart Grid, 2021, 12(3): 2060-2076. [百度学术]
WAN J X, DUAN Y D, GUI X, et al. Safecool: safe and energy-efficient cooling management in data centers with model-based reinforcement learning[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2023, 7(6): 1621-1635. [百度学术]
朱介北,杨顺坡,俞露杰,等.数据中心制冷系统即时消纳可再生能源的建模和变温控制[J].电力系统自动化,2022,46(20):13-22. [百度学术]
ZHU Jiebei, YANG Shunpo, YU Lujie, et al. Modeling and variable temperature control for instant consumption of renewable energy in data center cooling systems[J]. Automation of Electric Power Systems, 2022, 46(20): 13-22. [百度学术]
NADJAHI C, LOUAHLIA H, LEMASSON S. A review of thermal management and innovative cooling strategies for data center[J]. Sustainable Computing: Informatics and Systems, 2018, 19: 14-28. [百度学术]
ZHANG H F, XU T, WU H Y, et al. Risk-based stochastic day-ahead operation for data centre virtual power plants[J]. IET Renewable Power Generation, 2019, 13(10): 1660-1669. [百度学术]
ZHOU Y Z, SHAHIDEHPOUR M, WEI Z N, et al. Distributionally robust unit commitment in coordinated electricity and district heating networks[J]. IEEE Transactions on Power Systems, 2020, 35(3): 2155-2166. [百度学术]
YANG J, SU C Q. Robust optimization of microgrid based on renewable distributed power generation and load demand uncertainty[J]. Energy, 2021, 223: 120043. [百度学术]
CHEN T Y, ZHANG Y, WANG X, et al. Robust workload and energy management for sustainable data centers[J]. IEEE Journal on Selected Areas in Communications, 2016, 34(3): 651-664. [百度学术]
JAWAD M, QURESHI M B, KHAN M U S, et al. A robust optimization technique for energy cost minimization of cloud data centers[J]. IEEE Transactions on Cloud Computing, 2021, 9(2): 447-460. [百度学术]
LIAN Y C, LI Y Z, ZHAO Y, et al. Robust multi-objective optimization for islanded data center microgrid operations[J]. Applied Energy, 2023, 330: 120344. [百度学术]
GHAMKHARI M, WIERMAN A, MOHSENIAN-RAD H. Energy portfolio optimization of data centers[J]. IEEE Transactions on Smart Grid, 2017, 8(4): 1898-1910. [百度学术]
韩冰冰.数据中心可再生能源和余热利用现状[J].智能建筑,2020,5:47-53. [百度学术]
HAN Bingbing. Present situation of renewable energy and waste heat utilization in data center[J]. Intelligent Building, 2020, 5: 47-53. [百度学术]
王丹阳,张沈习,程浩忠,等.考虑数据中心用能时空可调的电-气互联综合能源系统分布式光伏最大准入容量计算[J].电力系统及其自动化学报,2023,35(2):121-131. [百度学术]
WANG Danyang, ZHANG Shenxi, CHENG Haozhong, et al. Calculation of maximum allowable access capacity of distributed photovoltaic in electricity-gas integrated energy system considering spatio-temporal adjustability of energy consumption by data centers[J]. Proceedings of the CSU-EPSA, 2023, 35(2): 121-131. [百度学术]
LI J, LI Z Y, REN K, et al. Towards optimal electric demand management for Internet data centers[J]. IEEE Transactions on Smart Grid, 2012, 3(1): 183-192. [百度学术]
CHU J J, HUANG X. Research status and development trends of evaporative cooling air-conditioning technology in data centers[J]. Energy and Built Environment, 2023, 4(1): 86-110. [百度学术]