★ 陳淑芳，田由甲，聶佳（上海電器科學(xué)研究所（集團）有限公司，上海 200063）

1引言

隨著(zhù)工業(yè)互聯(lián)網(wǎng)的發(fā)展，工業(yè)網(wǎng)絡(luò )的內外網(wǎng)互通將不可避免地成為一個(gè)大趨勢。在此背景下，工業(yè)網(wǎng)絡(luò )通信的安全問(wèn)題在近幾年益發(fā)突出。

現階段，主流的基于云平臺的物聯(lián)網(wǎng)架構主要分為設備層、網(wǎng)絡(luò )層、平臺層和應用層。其中，設備層包括傳感器、芯片、通訊組模、智能設備等，主要負責數據的采集，是整個(gè)物聯(lián)網(wǎng)云服務(wù)平臺的基礎。設備層所采集的數據的可信性直接影響到網(wǎng)絡(luò )層數據的安全傳輸、平臺層大數據的處理和分析以及應用層的穩定性和可靠性。而終端設備的種類(lèi)多、數量大、工作環(huán)境復雜，因此很容易受到攻擊。不可信的終端設備接入至物聯(lián)網(wǎng)，將容易導致數據的錯誤采集、丟失、竊取，甚至威脅到整個(gè)物聯(lián)網(wǎng)環(huán)境^[1]。一旦被惡意設備節點(diǎn)接入，就會(huì )產(chǎn)生各種方面的安全問(wèn)題，比如注入攻擊、隱私泄露、分布式拒絕服務(wù)攻擊、越權訪(fǎng)問(wèn)操作等^[2]。對于數據的安全存儲、敏感數據處理、隱私保護等相關(guān)安全問(wèn)題也隨之越來(lái)越嚴峻。

因此，本文將針對基于工業(yè)可信接入的邊緣側可信網(wǎng)關(guān)進(jìn)行研究，有效保障邊緣側的設備安全，進(jìn)一步全方面提高邊緣計算防護等各類(lèi)安全問(wèn)題，對邊緣計算和物聯(lián)網(wǎng)的發(fā)展至關(guān)重要。

2系統架構

工業(yè)可信接入系統整體采用“中心服務(wù)器+上位機軟件+網(wǎng)關(guān)”的分布式架構，如圖1所示。

圖1 可信接入系統架構

中心服務(wù)器采用類(lèi)微服務(wù)架構，整合異常流量監控模塊、惡意樣本文件還原與分析模塊、工控協(xié)議識別模塊、工控設備識別模塊等多種可信功能模塊，實(shí)現安全防護功能，并對外開(kāi)放調用接口A(yíng)PI；中心服務(wù)器僅與可信網(wǎng)關(guān)進(jìn)行數據交互，不影響局域網(wǎng)中其他設備的正常通信。

上位機軟件為用戶(hù)與可信網(wǎng)關(guān)建立Socket通信，控制可信網(wǎng)關(guān)從中心服務(wù)器中下載網(wǎng)絡(luò )安全防護等級等配置信息，同時(shí)進(jìn)行分析結果的顯示。網(wǎng)關(guān)依據用戶(hù)選配的安全等級，按需調用中心服務(wù)器提供的可信安全模塊API接口，實(shí)現對所接入局域網(wǎng)的安全防護等級提升。局域網(wǎng)內設備及外網(wǎng)路由器通過(guò)端口鏡像的方式將所有網(wǎng)絡(luò )流量轉發(fā)至可信網(wǎng)關(guān)中?？尚啪W(wǎng)關(guān)根據下載得到的安全等級信息，以Restful API形式向服務(wù)器請求對應的安全模塊組件接口，完成對企業(yè)內外網(wǎng)絡(luò )流量監控、分析；通過(guò)工控設備安全識別技術(shù)等一系列安全防護措施，感知到威脅時(shí)，主動(dòng)切斷外網(wǎng)及局域網(wǎng)中感染設備的網(wǎng)絡(luò )連接，并發(fā)出告警信息，實(shí)現企業(yè)內網(wǎng)信息的安全隔離?？尚啪W(wǎng)關(guān)的系統流圖如圖2所示。

圖2可信網(wǎng)關(guān)的系統流圖

3方案設計

用戶(hù)通過(guò)上位機軟件，自定義選擇需要防護的安全防護種類(lèi)和等級，下載到可信網(wǎng)關(guān)后對可信網(wǎng)關(guān)進(jìn)行安全等級配置，通過(guò)此安全等級，控制可信網(wǎng)關(guān)從引擎服務(wù)器中加載對應的安全模塊；同時(shí)，可信網(wǎng)關(guān)通過(guò)工業(yè)級交換機以端口鏡像方式獲取待保護網(wǎng)絡(luò )的網(wǎng)絡(luò )流量，并將網(wǎng)絡(luò )流量轉發(fā)至網(wǎng)關(guān)內的安全模塊中進(jìn)行流量分析，以實(shí)現對待保護網(wǎng)絡(luò )的安全防護，且不會(huì )對原工業(yè)系統的正常工作產(chǎn)生任何擾動(dòng)，因此，可信網(wǎng)關(guān)的設計包括三部分，一是硬件設計，二是軟件設計，三是針對可信網(wǎng)關(guān)的上位機設計。

3.1硬件設計

可信網(wǎng)關(guān)將采用高性能邊緣計算網(wǎng)關(guān)硬件平臺、飛凌FCU2303+1046A嵌入式控制單元實(shí)現。該硬件平臺基于NXP公司的LS1046A四核處理器設計，ARM Cortex-A72架構，主頻最高1.8GHz，內存2GB DDR4 RAM，數據吞吐量最高可達2.1GT/s。搭載8路千兆網(wǎng)，10M/100M/1000M自適應?？杀粦糜谶吘売嬎?、能源物聯(lián)網(wǎng)、智慧城市、工業(yè)自動(dòng)化、視頻監控等領(lǐng)域。

3.2軟件設計

可信網(wǎng)關(guān)軟件架構如圖3所示。

圖3可信網(wǎng)關(guān)軟件架構圖

可信網(wǎng)關(guān)內置系統常駐上位機響應進(jìn)程（采用UDP協(xié)議與上位機通信），可實(shí)時(shí)響應上位機下發(fā)的安全等級配置信息，并將其緩存至本地MySQL數據庫中。之后，根據用戶(hù)定義的安全等級，從中心服務(wù)器處下載調用對應的安全模塊組件（采用RestfulAPI實(shí)現）。安全模塊組件包括異常流量分析、APT家族統計、惡意腳本攔截&還原、工控設備指紋庫、工控設備識別、工控協(xié)議識別等。

與此同時(shí)，可信網(wǎng)關(guān)以端口鏡像方式收集局域網(wǎng)內交換機提供的全網(wǎng)絡(luò )流量數據，并將這些流量數據同步喂給相關(guān)的安全模塊組件以獲取分析結果，并將產(chǎn)生的分析結果實(shí)時(shí)地反饋至上位機軟件予以展示。

可信網(wǎng)關(guān)軟件功能圖如圖4所示。

圖4 可信網(wǎng)關(guān)軟件功能圖

可信網(wǎng)關(guān)軟件功能具體包括：（1）上位機配置響應：監聽(tīng)本地UDP端口，獲取上位機發(fā)送的UDP數據包，并進(jìn)行JSON解包。（2）MySQL配置數據庫：將上位機配置響應邏輯解析得到的數據字段存儲到對應的MySQL數據表中。（3）Docker容器管理：可信網(wǎng)關(guān)本地的安全模塊皆以容器化方式運行，可信網(wǎng)關(guān)根據用戶(hù)配置的安全等級，從引擎服務(wù)器中拉取對應的安全模塊鏡像文件，并在網(wǎng)關(guān)本地以Docker方式部署、執行。（4）鏡像端口流量轉發(fā)：負責攔截連接工業(yè)交換機的鏡像端口上的所有網(wǎng)絡(luò )流量并將之轉發(fā)至當前掛載的Docker服務(wù)中。（5）安全模塊執行結果轉發(fā)：負責將Docker服務(wù)運行的結果以JSON報文形式傳遞給上位機軟件，由上位機軟件進(jìn)行解析后，給ECharts圖標控件進(jìn)行圖形化顯示。（6）磁盤(pán)清理：定期清理本地的流量緩存數據、惡意文件腳本等。（7）守護進(jìn)程：確?？尚啪W(wǎng)關(guān)本地常駐進(jìn)程的正常運行。

3.3上位機設計

上位機軟件中，允許用戶(hù)自由選配可信網(wǎng)關(guān)安全等級，下載并調用定制化的安全模塊組件API實(shí)現對內網(wǎng)流量的實(shí)時(shí)監控；支持將網(wǎng)絡(luò )流量分析結果在UI界面進(jìn)行實(shí)時(shí)展示。

上位機軟件采用工具箱形式封裝引擎服務(wù)器中提供的安全模塊組件。所有安全模塊組件均以?xún)x表盤(pán)形式被羅列在界面左側的工具箱中，用戶(hù)可通過(guò)自由拖拽的方式將儀表盤(pán)拖放至界面右側畫(huà)布中，實(shí)現軟件定義配置過(guò)程。儀表盤(pán)部署完畢后，點(diǎn)擊配置下發(fā)按鈕；上位機將用戶(hù)配置的安全等級信息下發(fā)至可信網(wǎng)關(guān)中?？尚啪W(wǎng)關(guān)根據安全等級配置從引擎服務(wù)器處下載對應的安全模塊組件并調用模塊接口實(shí)現安全防護，同時(shí)點(diǎn)亮上位機軟件畫(huà)布中的儀表盤(pán)，實(shí)時(shí)顯示安全模塊組件的流量監控數據。

UI界面主要分為工具箱和畫(huà)布兩個(gè)區域。工具箱中以?xún)x表盤(pán)形式封裝了所有安全模塊組件；畫(huà)布中呈現用戶(hù)部署的儀表盤(pán)陣列，并實(shí)時(shí)展示各儀表盤(pán)的網(wǎng)絡(luò )流量分析結果。UI界面操作原理如圖5所示。

圖5軟件界面操作原理示意圖

UI界面儀表盤(pán)采用PyQT與ECharts圖表形式顯示可信模塊的網(wǎng)絡(luò )流量分析結果。根據分析內容、分析結果的數據結構不同，可選用包括柱狀圖、曲線(xiàn)圖、餅圖等多種類(lèi)型的圖表進(jìn)行圖形化表現。

4安全識別技術(shù)研究

中心服務(wù)器通過(guò)加載一些安全組件，實(shí)現系統安全防護功能。其中，工控設備識別技術(shù)對可信網(wǎng)關(guān)來(lái)說(shuō)至關(guān)重要，因此，針對可信功能模塊中的工控設備識別模塊進(jìn)行研究，主要從以下幾個(gè)方面對工控設備進(jìn)行識別：

（1）通過(guò)標準工控協(xié)議對工控設備進(jìn)行識別

對于這一類(lèi)工控設備所對應的工控協(xié)議，包括DNP3、Modbus、BACnet等協(xié)議，它們都有著(zhù)一些相對應的請求獲取設備的廠(chǎng)商和模塊的方式，通過(guò)這些請求功能，就能比較容易獲取到廠(chǎng)商和模塊信息，從而能夠比較準確地識別出一個(gè)工控設備并同時(shí)得到這些工控設備的一些相關(guān)的設備信息。比如Modbus協(xié)議通過(guò)默認端口502，功能碼43可以獲取設備廠(chǎng)商和產(chǎn)品模塊信息。

（2）通過(guò)私有工控協(xié)議對工控設備進(jìn)行識別

私有的工控協(xié)議通常是為了實(shí)現對使用這些工控協(xié)議的工控設備進(jìn)行特定的數據傳輸或者是遠程的控制。因此，如果能夠找到使用這些工控協(xié)議的疑似工控設備，通過(guò)相應的交互方式、相應的內容，就能夠比較精確地判斷該疑似設備是否是使用該工控協(xié)議的工控設備，而同時(shí)，對于使用了這些工控協(xié)議的工控設備，也能夠通過(guò)其相應內容來(lái)獲取到這些工控設備的一些相關(guān)的設備信息。比如SiemensS7協(xié)議通過(guò)默認端口102，讀SZL可以獲取PLC的模塊信息、版本、串口等信息。

（3）通過(guò)傳統的服務(wù)特征對工控設備進(jìn)行識別

對于某些廠(chǎng)商的一些工控設備而言，通常會(huì )開(kāi)放一些類(lèi)似于80端口HTTP、21端口FTP、161端口SNMP等傳統的服務(wù)，從而達到對工控設備的運行狀態(tài)、運行數據的監管和運行方式的控制，這些工控協(xié)議在采用這些傳統的服務(wù)時(shí)都會(huì )有相應的服務(wù)特征標識，通過(guò)這些特征標識就可以用于判斷疑似設備是否是一個(gè)工控設備。比如Moxa的Nport設備，通過(guò)HTTP服務(wù)的80端口，根據特征Server：MoxaHttp對設備進(jìn)行識別。

通過(guò)以上原理，可以知道對于一個(gè)工控設備的獲取，主要是由特定的工控協(xié)議的私有特性實(shí)現的。而對于私有特性也有著(zhù)對端口的要求，因此，工控設備識別設備分為以下三步：

（1）獲取IP和端口：判別IP和端口是否開(kāi)放。系統需要能夠在較快的時(shí)間內處理一個(gè)比較大的IP地址段，同時(shí)還要確保一定的準確率，而且輸出是一個(gè)IP和端口的二元組，如果一個(gè)IP對應多個(gè)端口，對于這個(gè)IP，存在著(zhù)多個(gè)二元組。

（2）對工控設備進(jìn)行掃描和識別：通過(guò)TCP的無(wú)狀態(tài)極速掃描，來(lái)識別出某個(gè)IP是否是一個(gè)工控設備。當探測到了一個(gè)工控設備時(shí)，通過(guò)其返回的信息可以提取出一些硬件（例如廠(chǎng)商名、設備類(lèi)型、設備型號等）和軟件（例如操作系統型號、操作系統版本等）等信息，而在此系統需要能夠提取出這些信息，進(jìn)一步識別出信息，并將識別和處理之后的信息存儲在數據庫之中。

（3）工控設備的信息擴充：當系統通過(guò)掃描IP以及相應的識別程序獲取到了一個(gè)暴露在互聯(lián)網(wǎng)上的工控

設備之后，能夠獲取到的是它的軟件和硬件信息。但是，其它的一些信息需要進(jìn)一步補全，例如該工控設備所屬的國家、城市等信息無(wú)法直接從掃描過(guò)程中得到。但是，這些信息在展示的過(guò)程中卻是很有必要的，比如獲取到國家信息，才能進(jìn)行后一步的統計；獲取到地理信息，才能將該工控設備標注在地圖上。因此此步驟需要的是從數據庫中讀取已確認是工控設備的IP，通過(guò)程序從中獲取到更多相關(guān)的信息，并更新數據庫從而能夠更好地給前端返回信息。

5結語(yǔ)

為了保障邊緣側終端設備的可信接入，提出了一種基于可信接入的可信網(wǎng)關(guān)研究，通過(guò)對系統架構和功能的研究，從可信網(wǎng)關(guān)的硬件、軟件、配置、關(guān)鍵技術(shù)等方面入手進(jìn)行闡述，通過(guò)此設計實(shí)現在工廠(chǎng)內外網(wǎng)之間的通信設備和通信協(xié)議的識別，實(shí)現對工廠(chǎng)外網(wǎng)的通信的未知威脅監控，達到工廠(chǎng)內網(wǎng)信息安全，滿(mǎn)足邊緣控制器等工業(yè)設備的工業(yè)網(wǎng)絡(luò )通信安全防護需求，保障工業(yè)設備可信接入安全，深度保護工控設備安全。同時(shí)，無(wú)擾實(shí)現可信的工業(yè)通信系統，不需要改變原有系統功能和網(wǎng)絡(luò )結構，不影響原有系統運行和信息傳輸性能。

★基金項目：上海市2020年度“科技創(chuàng )新行動(dòng)計劃”高新技術(shù)領(lǐng)域項目（項目編號：20511106001）。

作者簡(jiǎn)介：

陳淑芳（1984-），女，江西宜春人，工程師，碩士，現就職于上海電器科學(xué)研究所（集團）有限公司，研究方向為工業(yè)自動(dòng)化及嵌入式應用。

田由甲（1988-），男，上海人，工程師，學(xué)士，現就職于上海電器科學(xué)研究所（集團）有限公司，研究方向為工業(yè)自動(dòng)化及嵌入式應用。

聶佳（1981-），女，湖北武漢人，高級工程師，碩士，現就職于上海電器科學(xué)研究所（集團）有限公司，主要從事工業(yè)控制及通信方向的技術(shù)研究工作。

參考文獻：

[1]蔣華,閆一凡,鞠磊.可信服務(wù)鏈安全架構研究[J].計算機應用研究,2018,25(4):1159-1164.

[2]謝輝.邊緣計算環(huán)境下可信接入安全技術(shù)研究與實(shí)現[M].四川:電子科技大學(xué).2021.

[3]郭煜.可信云體系結構與關(guān)鍵技術(shù)研究[D].北京:北京交通大學(xué).2017.

[4]姜迪清,張麗娜.基于云計算和物聯(lián)網(wǎng)的網(wǎng)絡(luò )大數據技術(shù)研究[J].計算機測量與控制,2017,25(11):183-185.

[5]寧振宇,張鋒巍,施巍松.基于邊緣計算的可信執行環(huán)境研究[J].計算機研究與發(fā)展,2019,56(7):1441-1453.

[6]林兆鵬,鄒起辰.可信設備接入網(wǎng)絡(luò )認證協(xié)議設計及安全分析[J].計算機仿真,2018,35(11):254-258.

摘自《自動(dòng)化博覽》2022年8月刊