★上海寶信軟件股份有限公司程玉寶

1　背景

當前，互聯(lián)網(wǎng)數據中心IDC與新型智算中心AIDC集約建設的規模越來(lái)越大，地方政府出臺的建設導則要求新建大型數據中心單項目規模不低于3000個(gè)標準機架，平均單機架IT功率不低于6kW，單個(gè)數據中心的IT總功率達到18000kW（即18MW），互聯(lián)網(wǎng)客戶(hù)的大型應用集群對數據中心IT容量定制化建設需求一般也在單模塊10MW左右，從建筑、電氣、制冷、消防、安防等機電基礎設施模塊化配套建設投資角度考慮，這也是一個(gè)比較經(jīng)濟的建設規模。

10MW IT設備自身滿(mǎn)載每年運行中就要消耗8760萬(wàn)度電能，絕大部分會(huì )轉換成熱能，如果不能及時(shí)把設備的發(fā)熱量轉移出建筑體量約15000平方米的數據中心，熱量累積將會(huì )使得數據中心室內環(huán)境溫度不斷升高，以致超出IT設備正常運行允許的溫度范圍。因此數據中心采用風(fēng)-風(fēng)換熱、風(fēng)-水-風(fēng)換熱、風(fēng)-液間接換熱乃至將IT設備浸沒(méi)在絕緣導熱液中直接換熱手段，通過(guò)應用這些傳統或新穎的空調冷卻技術(shù)，將機房?jì)仍O備散發(fā)的熱量轉移出機房，再由設置在機房外的冷卻塔或干冷器放散到大氣環(huán)境中，也可用水盤(pán)管形式放散到天然水體中。

盡管液冷技術(shù)的應用在迅速發(fā)展中，大型數據中心機房采用冷凍水型的精密空調風(fēng)冷仍然是主流的冷卻方式。末端精密空調送風(fēng)機通過(guò)送風(fēng)道為IT設備輸送冷風(fēng)，與IT設備換熱升溫后的熱風(fēng)經(jīng)機房?jì)鹊幕仫L(fēng)道循環(huán)吸入精密空調回風(fēng)口，與空調冷凍水盤(pán)管翅片換熱后降溫后的冷風(fēng)再次被空調風(fēng)機送至IT設備?？照{盤(pán)管中的低溫冷凍水與機房熱風(fēng)交換升溫后，被冷凍水泵吸入轉移到數據中心冷源冷卻后，再返送回機房精密空調，周而復始，一旦投用，將一直運行至合約項目的終止日，因此要求末端精密空調與冷源系統均具有高可用性與高可靠性，還要為低概率的設備故障維修場(chǎng)景配置適量的冗余設備。

冷源系統擔負的任務(wù)就是為數據中心內的末端精密空調連續不斷提供低溫循環(huán)冷凍水，民用建筑供水溫度7℃，回水溫度12℃，節能型數據中心供水溫度提升至12℃，回水溫度18℃，甚至更高，因為每提升1度水溫約可減少3%的制冷能耗。

根據經(jīng)驗數據測算，一座10MW級的數據中心模塊峰值時(shí)段機房與電氣室內精密空調總熱負荷約13500kW，需要3臺4500kW（約1300冷噸）的冷水機持續運行產(chǎn)出循環(huán)冷凍水?？紤]冗余備用，一般每個(gè)10MW數據中心模塊需配置4臺（3+1冗余）1300RT（冷噸）的變頻離心冷水機組，配套4臺變頻冷凍水循環(huán)水泵、4臺變頻冷卻水循環(huán)水泵、4組變頻風(fēng)機蒸發(fā)式冷卻塔、4臺免費制冷用板式換熱器（以下簡(jiǎn)稱(chēng)板換）、大量的手動(dòng)隔離蝶閥、用于自動(dòng)控制的電動(dòng)開(kāi)關(guān)蝶閥與流量調節的電動(dòng)調節閥，若干流量、水溫、壓力、壓差、空氣濕球溫度傳感器測點(diǎn)，還需要在專(zhuān)業(yè)的冷源BA自動(dòng)控制系統協(xié)調控制下，才能在長(cháng)達八至十年的合約服務(wù)期內安全平穩運轉。

2　項目實(shí)施

數據中心行業(yè)內冷源BA自動(dòng)控制系統大多采用DDC或PLC技術(shù)構架，在本案例實(shí)施前未見(jiàn)有采用DCS技術(shù)構架的報道，綜合技術(shù)可靠性、成熟度、設備采購交付期、建設成本以及我們已實(shí)施過(guò)的PLC與DDC控制系統項目經(jīng)驗教訓等多方面考量，寶信自動(dòng)控制技術(shù)人員選擇采用DCS技術(shù)構架建設一個(gè)高可用、節能型的冷源BA控制系統，圖1是數據中心冷源DCS控制系統網(wǎng)絡(luò )結構圖。

圖1 數據中心冷源DCS控制系統網(wǎng)絡(luò )結構圖

冷水機組在部分負荷下運行效率遠高于滿(mǎn)載下的運行效率，如圖2所示，某型1200RT冷水機滿(mǎn)負荷下的COP能效比為6.956，而在30%-70%部分負荷下COP均高于12，采用全變頻設備，可靈活適應不同上架率下數據中心的實(shí)際負荷，通過(guò)啟用冗余設備，平分所有負荷，冷源BA控制系統將每一臺運行的冷水機設備均控制運轉在其安全且高效率負荷區段、水泵與風(fēng)機設備運行在高效率曲線(xiàn)段，不但可降低數據中心制冷總電耗，變頻低轉速下設備的磨損減少，有利于延長(cháng)設備機械運轉壽命周期。

圖2 某型1200冷噸冷水機組滿(mǎn)負荷與部分負荷技術(shù)參數

水泵、風(fēng)機類(lèi)設備的流量與轉速的一次方成正比，它們的軸功率與轉速的三次方成正比，當降低轉速時(shí)流量等比例下降，而軸功率卻以轉速比的三次方比例下降，這是風(fēng)機與泵采用變頻調速節能的主因，大部分數據中心內負荷都不會(huì )滿(mǎn)載，而且還有冗余備用的設備可以征用共同分擔總負荷，為冷機變負荷運行、風(fēng)機與泵變流量運行節能創(chuàng )造了有利的條件。

除了利用設備變頻運行節能外，節能型數據中心配置了與冷水機組既可并聯(lián)，也可串聯(lián)運行的板換，通過(guò)控制每組冷水機與板換組合連接管路上的八個(gè)電動(dòng)開(kāi)關(guān)蝶閥工作狀態(tài)，可以選擇以下三種運行模式：冷水機組獨立運行（夏季電制冷）模式、板換獨立運行（冬季免費制冷）模式、冷水機與板換串聯(lián)組合運行（過(guò)渡季板換預冷）模式。

板換獨立運行模式啟用的條件是冬季室外大氣濕球溫度低于設定的模式轉換溫度值，冷卻塔循環(huán)冷卻水的出水溫度已持續低于冷水機設計的冷凍水出水溫度至少2℃（假定板換的換熱溫差值為2℃），此時(shí)切換電動(dòng)開(kāi)關(guān)蝶閥，讓冷卻塔循環(huán)冷卻水出水直接進(jìn)入板換一次側換熱，待板換二次側循環(huán)冷凍水出水溫度趨近冷水機蒸發(fā)器側出水溫度時(shí)，可關(guān)閉冷水機，冷源系統低電耗運轉，俗稱(chēng)冬季冷卻塔-板換免費制冷，是降低數據中心PUE值最有效的手段。

過(guò)渡季的節能方法是通過(guò)板換一次側與冷水機冷凝器串聯(lián)，板換二次側與冷水機蒸發(fā)器串聯(lián)，冷卻塔循環(huán)冷卻水出水先進(jìn)入板換的一次側，與二次側來(lái)自機房精密空調的高溫冷凍循環(huán)水換熱，將冷凍循環(huán)水溫度先降低一部分，再送入冷水機的蒸發(fā)器降至設計的出水溫度值，而板換一次側換熱后升溫的冷卻循環(huán)水仍能滿(mǎn)足冷水機冷凝器循環(huán)冷卻水進(jìn)水溫度要求。冷水機與板換各自承擔的換熱比例取決于大氣的濕球溫度，濕球溫度越低，冷卻塔循環(huán)冷卻水出水溫度越低，板換承擔的換熱比例越大，冷水機運行電耗越低，節能越多。

前述三種運行模式在冷源BA控制系統中被互鎖，每次只有一種模式能被激活。當模式之間切換時(shí)，如果模式切換不成功，將退回至原模式，確保冷源運行安全。

圖3是數據中心冷源水系統簡(jiǎn)化原理框圖，四套冷水機與板換組合，可以大致了解冷水機與板換的管路連接方式與電動(dòng)開(kāi)關(guān)蝶閥設置的位置，便于理解如何在冷源BA控制系統中編寫(xiě)切換控制邏輯。圖4是DCS組態(tài)控制畫(huà)面上1號冷水機與板換運行狀態(tài)畫(huà)面局部截圖。

圖3 數據中心冷源水系統簡(jiǎn)化原理框圖

圖4 DCS控制畫(huà)面上1號冷水機與板換運行狀態(tài)局部截圖

系統中可以實(shí)現冷水機組與水泵、冷卻塔開(kāi)啟與關(guān)閉的順序連鎖控制，冷水機只有在循環(huán)冷卻水與循環(huán)冷凍水及冷卻塔開(kāi)啟運轉后才能啟動(dòng)，關(guān)閉時(shí)順序相反，保護冷水機，防止銅管凍裂爆管。

系統可根據數據中心的實(shí)際負荷，按預定的規則自動(dòng)加載或減載冷水機運行臺數，使每臺承擔的負荷百分比落入最優(yōu)效率負荷段范圍內，不會(huì )因負荷過(guò)小而落入易發(fā)生喘振故障的小負荷區內。冷凍水泵變頻運行除了要滿(mǎn)足冷水機與機房精密空調的水流量要求外，還要保證機房?jì)裙┗厮苈飞献畈焕h(huán)路處的供回水壓差和溫差滿(mǎn)足機房設計要求。

大型數據中心均配有全容量應急備用供電的柴油發(fā)電機組，但從外市電意外停電時(shí)刻起，到備用柴發(fā)啟動(dòng)向數據中心供電，是有數十秒到2分鐘的市電供電間斷，其間冷水機、冷卻泵與冷卻塔會(huì )因供電間斷而停止運行，在柴發(fā)供電下重新啟動(dòng)冷水機到滿(mǎn)載供冷需要幾分鐘時(shí)間延遲，這會(huì )導致循環(huán)冷凍水升溫與機房?jì)壬郎?，因此高可用數據中心均需設置冷凍循環(huán)水應急蓄放冷罐，在UPS電源支持下，可實(shí)現市電斷電后15分鐘連續放冷運行，保障數據中心機房供冷連續不中斷。在供電恢復正常，冷水機組開(kāi)啟，制冷系統逐步恢復正常供冷后，自動(dòng)切換應急蓄冷罐為充冷工況，充滿(mǎn)后進(jìn)入小流量保冷工況。圖3中示出了應急蓄冷罐蓄冷與放冷切換的管路與電動(dòng)開(kāi)關(guān)蝶閥與電動(dòng)調節閥在管路上的設置位置。

此外系統中還設置有設備自動(dòng)防凍保護功能，在冬季極低氣溫來(lái)臨時(shí)，自動(dòng)開(kāi)啟室外補水箱內的電加熱帶，自動(dòng)開(kāi)啟減載停運的冷卻塔水盤(pán)內的防凍電加熱器，防止設備凍害事故發(fā)生。

3　項目創(chuàng )新性

該項目首次在國內大型數據中心應用DCS集散控制系統實(shí)施數據中心冷源BA控制系統，單系統控制的點(diǎn)數接近2500個(gè)。

數據中心從建成投運初期低上架率到高上架率接近滿(mǎn)載，有一個(gè)較長(cháng)的負荷增長(cháng)爬坡期，特別是上架率低的投運初期，冷水機低負載易發(fā)生喘振現象，不利于設備安全，需要重點(diǎn)解決。應對方法是兼用應急蓄放冷罐的周期充放冷邏輯，將蓄冷罐模擬為冷水機負載或循環(huán)冷凍水運行緩沖罐，可解決數據中心投用上架初期低負荷時(shí)冷水機安全穩定運行的需求，圖5是DCS主控畫(huà)面蓄冷罐放冷電動(dòng)閥狀態(tài)截圖。

在工期緊的條件下如何保障冷源系統工程按期完工交付，也是一個(gè)重難點(diǎn)問(wèn)題。應對方法是工程技術(shù)人員做好充分準備，理清冷源運行工藝控制要求和全部控制邏輯、各功能應用的進(jìn)入與退出時(shí)機，梳理清全部信號點(diǎn)表，通過(guò)設備出廠(chǎng)前檢驗環(huán)節，爭取DCS控制設備成套盤(pán)箱零缺陷出廠(chǎng)。安裝調試中認真仔細打點(diǎn)測試校核，確認來(lái)自現場(chǎng)的信號與發(fā)往現場(chǎng)執行器的動(dòng)作命令執行無(wú)誤后，再進(jìn)入系統聯(lián)調，逐個(gè)模擬驗證每一個(gè)功能控制邏輯和運行參數的正確性，投運后還需在相應季節來(lái)臨后再進(jìn)行復核、優(yōu)化。

圖5 DCS控制畫(huà)面應急蓄冷罐放冷運行狀態(tài)局部截圖

4　效益分析

該冷源BA系統投運后，不僅滿(mǎn)足高可靠性、高可用性、可維修性、易操作性等多方面需求，而且節能效果顯著(zhù)，實(shí)現了冷凍水型精密空調風(fēng)冷型數據中心年平均電能利用效率PUE在華東地區低于1.26的實(shí)績(jì)，每年可為用戶(hù)節約可觀(guān)的運行電費。

雖然控制系統的架構與以往不同，但系統監控組態(tài)畫(huà)面與園區內運行的其他數據中心畫(huà)面風(fēng)格一致，沒(méi)有改變數據中心運維操作者的使用習慣，方便老員工向新員工傳幫帶。

此外，還充分利用DCS冷源控制系統軟硬件資源富余的能力，將數據中心樓宇中為暖通與消防設置的空調新風(fēng)機組、排風(fēng)機、正壓送風(fēng)機、機械排煙風(fēng)機、補風(fēng)機、排煙防火閥、電動(dòng)風(fēng)閥等通風(fēng)設備的狀態(tài)監視、報警、自動(dòng)啟?？刂婆c遠程手動(dòng)操作等功能全部集成在本系統中，并設置相應的操作、監視與報警畫(huà)面，降低了數據中心總體建設成本，也為降低投運后的運維人工成本創(chuàng )造了有利條件。

5　項目意義

此項目的成功實(shí)施證明可以基于工業(yè)級的DCS技術(shù)構建大型數據中心冷源BA控制系統，工程師站兼實(shí)時(shí)數據庫運行主備服務(wù)器，所有控制邏輯均駐留在DCS控制器模塊中，在模塊級冗余容錯、應對復雜的多設備群控、通信網(wǎng)絡(luò )安全性等方面優(yōu)于DDC構架的系統。對于18~24MW或更大體量的數據中心與智算中心，可拆分為兩個(gè)或多個(gè)冷源系統模塊進(jìn)行實(shí)施，這也是10MW級冷源系統采用模塊化設計、可快速復制的意義所在。

摘自《自動(dòng)化博覽》2024年10月刊