簡(jiǎn)介

    傳統桌面型儀器的數據傳輸接口為GPIB、RS-232或是LAN，這些接口的好處在于非常容易操作使用，但在傳輸大量數據時(shí)其效率并不理想。當要采集大量連續數據時(shí)，數據長(cháng)度就會(huì )因為內部存儲器大小而受限。目前市面上新款的高級儀器，例如示波器、波型發(fā)生器或邏輯分析儀，采用x86的架構，因此在高速、大量數據采集的長(cháng)度上則基本上沒(méi)有限制。但若要跨儀器同步達到多通道采集時(shí)，便是個(gè)困難且復雜的課題。

    自從1998年第一版的PXI規格問(wèn)世后，PXI平臺與其模塊已經(jīng)被大量應用于軍工、電子制造及科學(xué)研究應用中。第一版的PXI規格采用了PCI總線(xiàn)的高速傳輸特性，而后續的PXI規范更采用了PCI Express總線(xiàn)，繼承了其低延遲(Low Latency)、高帶寬及點(diǎn)對點(diǎn)傳輸的特性，另外再加上特有的觸發(fā)與時(shí)序同步的接口，使得PXI平臺與PXI模塊特別適合應用于高速數據傳輸。

    當以PXI平臺設計適用于高速數據記錄的系統，不管是將數據連續由模塊化儀器傳送至系統內存或存儲裝置，或者相反的數據流向，都能夠利用PXI Express的高速總線(xiàn)、點(diǎn)對點(diǎn)傳輸的特性以及特有的觸發(fā)與時(shí)序信號，輕松地完成實(shí)現。接下來(lái)的文章內容將進(jìn)一步討論，在設計、實(shí)現數據記錄系統的過(guò)程中，需要考慮的幾個(gè)要點(diǎn)與方向。

    數據記錄系統的架構及其考量因素

    下圖一簡(jiǎn)單的示意了一組PXI Express平臺中數據的流向，組成的組件包含了PXI Express機箱、PXI Express控制器及模塊化儀器，包含數字化儀及波形發(fā)生器。以高速數字化儀為例，模擬信號被ADC采集轉換成數字量數據后，會(huì )搬移到板載內存上暫存，接下來(lái)再經(jīng)由總線(xiàn)控制器及PCI Express接口，傳送到PXI Express控制器的系統內存上，做后續的計算及處理。若數據的流向目的地是存儲設備，則會(huì )在未經(jīng)任何處理計算的情況下，被直接搬移到存儲裝置，以維持高速、連續不斷的數據記錄。在PXI Express背板上，采用了PCIe switch使得系統得以擴展出更多槽位。由于不同的PXI Express機箱有不同的槽位型態(tài)，因此每個(gè)PCIe switch的繞線(xiàn)方式都不同，進(jìn)而影響到數據傳輸效率。如模塊化儀器－波形發(fā)生器，其數據流則以相反方向運行。

圖一、PXI Express平臺與模塊化儀器整體架構簡(jiǎn)化圖，顯示PXI Express系統的數據記錄傳輸的方向

    接下來(lái)我們會(huì )討論數據記錄系統的每個(gè)環(huán)節及對于數據帶寬的影響。

    模塊化儀器的板載內存
大約十多年前，高速的PCI數字化儀都需要配備大量的板載內存以暫存來(lái)自高速ADC的數據，主要原因是當時(shí)的PCI總線(xiàn)僅能提供約132MB/s的數據帶寬(多數系統僅能達到約80MB/s)。PCI總線(xiàn)的帶寬，無(wú)法滿(mǎn)足于8位1GS/s或14位200MS/s的數字化儀所需要的數據帶寬。為了要增加記錄或采集時(shí)間，512MB、1GB或甚至4GB的板載內存就會(huì )被應用于數字化儀之上。目前雖然高速PCIe總線(xiàn)接口可提供數倍于PCI總線(xiàn)的帶寬，但數字化儀通常還是會(huì )配備有大量的板載內存深度(大于100MB)，用于當作數據暫存，以避免CPU或DMA控制器過(guò)于忙碌而無(wú)法實(shí)時(shí)傳輸數據。舉例來(lái)說(shuō)，一個(gè)單通道8位500MS/s的數字化儀，在完全不將數據傳回系統內存狀況下，可以記錄高達1秒的時(shí)間，若配備有2GB內存則可記錄高達4秒。

    在選擇數字化儀時(shí)，另外一個(gè)需要注意的就是其板載內存控制器的數據處理帶寬。作為ADC與系統內存之間的橋梁，內存控制器需要有兩倍的數據傳輸量，以能同時(shí)應付來(lái)自ADC的數據流入，以及將數據通過(guò)PCIe總線(xiàn)傳送至系統內存。若存儲設備控制器的帶寬小于兩倍數據流量，則數據會(huì )被暫存在板載內存上，長(cháng)久下來(lái)就會(huì )造成數據溢出，而使數據連續性受損。

圖二、數字化儀內的數據流

    模塊化儀器的總線(xiàn)接口

    PCI總線(xiàn)提供132MB/s (32位、33MHz)傳輸速率，針對低速(小于80MB/s)且低價(jià)的數據記錄應用來(lái)說(shuō)，PCI接口仍可滿(mǎn)足，不過(guò)需要注意的是，PCI是并行的總線(xiàn)接口，若有多個(gè)設備置于同一總線(xiàn)時(shí)，帶寬則會(huì )被分享。區別于PCI總線(xiàn)，PCI Express接口具有點(diǎn)對點(diǎn)的特性，每個(gè)link在每個(gè)方向上可提供高達250MB/s傳輸速率。若要增加帶寬，最簡(jiǎn)單的方式就是將多個(gè)link結合起來(lái)，成為x4、x8甚至x16通道。而2003年推出的PCIe 1.0a規格、2007年推出的PCIe 2.0標準，PCI-SIG在2010年11月再度提出PCIe 3.0規格，持續推進(jìn)更新的編碼方式及強化的信號完整性以大幅度提升其傳輸速率，因此對于需要高速數據記錄的應用來(lái)說(shuō)，采用PCIe接口的模塊化儀器是一大利器。顯而易見(jiàn)，采用PCI Express為模塊化儀器的總線(xiàn)接口可以得到優(yōu)化的系統效率。
 

    PXI Express機箱內PCIe總線(xiàn)的繞線(xiàn)架構

    在PXI Express機箱的系統槽中，為了讓外圍槽的擴展及規劃更有彈性，系統槽連接到背板上的接口有4-Link及2-Link兩種架構。4-Link架構中每個(gè)link具備有4個(gè)通道，而2-Link架構中則允許其中一個(gè)link有8個(gè)通道，而另外一個(gè)link則可有高達16通道。為了要達到最高的傳輸速率，在PXI Express機箱內的PCI Express總線(xiàn)的走線(xiàn)方式、架構也是需要考慮的重點(diǎn)。以凌華科技PXES-2780機箱為例，這是一款具有18個(gè)槽位的機箱，含1個(gè)系統槽位、1個(gè)系統時(shí)序槽位(System Timing slot)、6個(gè)PXIe外圍槽位(PXIe Peripheral Slot)及10個(gè)混合式槽位(Hybrid Slot)。當該機箱的系統槽位規劃成4-Link接口時(shí)，可以提供每個(gè)槽位相對高速及平衡的傳輸速率。由于此機箱內的PCI Express接口為PCIe Gen2， 因此對整個(gè)系統來(lái)說(shuō)可以提供高達8GB/s的系統帶寬，單獨對于第8與12槽這種具有x8接口來(lái)說(shuō)，可以擁有4GB/s的帶寬，而其他個(gè)別的PXI Express外圍槽來(lái)說(shuō)，則可擁有2GB/s的帶寬。該機箱的4-Link規劃示意圖如下:

 

圖三、配置為4-Link的凌華科技PXES-2780機箱示意圖

    若將PXI Express系統槽位設置成2-Link x8， 則可得到更高的傳輸帶寬。凌華科技的PXES-2780機箱，其系統槽位可通過(guò)軟件設置成2-Link x8接口，其架構如下圖4。使用該架構，槽位8與槽位12可以提供x8的帶寬。

圖四、規劃成2-Link的凌華科技 PXES-2780機箱示意圖

    使用者若能熟悉PXI Express機箱的規劃架構，將能使模塊化儀器在傳輸大量數據上獲得更佳的傳輸性能。

    系統內存與操作系統(OS)

    在PXI Express系統控制器上，若能配有大容量的系統內存，則可延長(cháng)數據記錄的時(shí)間。然而搭配不同的操作系統(Operating System)可能會(huì )有不同的內存上限。例如對于32位的操作系統，其內存尋址空間通常不能超過(guò)4GB，而對于64位操作系統而言，一般可達512GB或者1TB的內存尋址。因此使用者需根據自身的需求來(lái)選擇合適的操作系統，以支持所需的內存空間。

    存儲裝置

    要能穩定的執行大數據的讀寫(xiě)工作，選擇合適的存儲裝置極為重要。硬盤(pán)(HDD)是一種具有特別的機械裝置，內含有高速旋轉的磁盤(pán)以及具有磁性的讀寫(xiě)頭，來(lái)回于磁盤(pán)表面上，用以讀取磁盤(pán)內所存儲的數據單元。由此可知，讀或寫(xiě)的速度將會(huì )受限于讀寫(xiě)頭的移動(dòng)速度。為了增加讀寫(xiě)的速度，幾個(gè)硬盤(pán)通常會(huì )被組合起來(lái)成為一個(gè)虛擬的硬盤(pán)，這也是大家所熟知的RAID(Redundant Array of Independent Disks)，即磁盤(pán)陣列。另外最近越來(lái)越流行的固態(tài)磁盤(pán)則因為沒(méi)有讀寫(xiě)頭的機械移動(dòng)問(wèn)題，因此能提供較硬盤(pán)更好的讀寫(xiě)效率。若考慮到最佳的讀寫(xiě)性能的話(huà)，固態(tài)磁盤(pán)將會(huì )是最佳的選擇。

    應用示例一、數據記錄至系統內存

    材料結構測試的高速數據記錄

    方案需求

    某系統集成商想要開(kāi)發(fā)一套多通道材料震動(dòng)監控設備，并能夠實(shí)現從不同的傳感器同時(shí)進(jìn)行1MS/s~50MS/s采樣率的數據采集，同時(shí)將采集進(jìn)來(lái)的數據記錄到系統內存中，以直接進(jìn)行后續的處理，而不需要將數據記錄到磁盤(pán)上做存儲。另外該系統集成商希望每個(gè)采集通道能夠記錄至少5~10秒的時(shí)間。接下來(lái)我們會(huì )針對這些應用條件進(jìn)行評估，并討論使用PXI Express平臺實(shí)現這類(lèi)型應用時(shí)，不同的采樣率在設計上會(huì )遇到的瓶頸有哪些。

    評估

    下面是我們用來(lái)評估這個(gè)高速數據記錄系統會(huì )使用到的組件:

    PXI Express機箱: 凌華科技PXES-2780，18槽PXI Express機箱

    數字化儀: 凌華科技PXIe-9848，高速8通道100 MS/s 14位PXI Express數字化儀

    首先我們先考慮PXI Express機箱中只有單一數字化儀的狀況。下表是單一數字化儀在不同采樣率下，以不同采集時(shí)間所需要的內存評估表。

Single PXI Express-9848 in PXI Express Chassis				System Memory Required for Specified Time in MB
SR MS/s	Data Width, Byte	No of CH	Data Rate, MB/s	1/2 sec	1 sec	2 sec	5 sec	10 sec
5	2	8	80	40	80	160	400	800
10	2	8	160	80	160	320	800	1600
20	2	8	320	160	320	640	1600	3200
50	2	8	800	400	800	1600	4000	8000
100	2	8	1600	800	1600	3200	8000	16000

    當只有一張PXIe-9848時(shí)，以100MS/s進(jìn)行8通道的采樣時(shí)，總數據帶寬為1.6GB/s。然而PXIe-9848其接口為PCIe x4且為Gen 1，因此若要進(jìn)行連續不斷的數據記錄時(shí)，其產(chǎn)生的數據量最好能低于1GB/s。若將采樣率降低至50MS/s，則PXIe-9848能產(chǎn)生800MB/s數據量。由于PXES-2780機箱采用PCIe Gen2規格，因此能夠負荷800MB/s的數據量。若要以50MS/s采樣率進(jìn)行10秒長(cháng)度的采樣，則進(jìn)一步的限制會(huì )落在系統內存大小上，以此狀況下，需要8GB系統內存。若系統內存無(wú)法分配出高達8GB的系統內存供數字化儀使用，則必須縮減采樣時(shí)間的長(cháng)度。 

    接下來(lái)，我們再來(lái)考慮多張卡片安裝于同一系統的狀況。若想要達到最多采樣通道，那么最多則可以把17張PXIe-9848數字化儀，安裝于機箱內，那么此時(shí)除了考慮PXI Express控制器的系統帶寬外，還要把PXI Express背板上的PCIe連接配置也考慮進(jìn)去。

    我們觀(guān)察PXES-2780機箱的連接配置，如圖四所示，它上面的PCIe switch#1上游有兩個(gè)x4的連接通道，下游有三個(gè)x4連接通道，因此以平均來(lái)說(shuō)，每個(gè)下游通道可從上游通道分得約1.33GB/s的帶寬(4GB/s ÷ 3 ports)。PCIe switch#2也可用相同的計算方式來(lái)?yè)Q算其下游帶寬。至于PCIe switch#3與#4的下游通道約可分別分得222MB/s (1.33GB ÷ 6 ports)及190MB/s (1.33GB/s ÷ 7 ports)的帶寬。若每個(gè)數字化儀都使用同樣的采樣率，則帶寬瓶頸會(huì )出現在位于第10、13~18插槽的數字化儀上。

圖五、配置成PCIe x4 link的機箱帶寬預估示意圖

    若我們根據第10、13~18槽的帶寬限制，來(lái)計算不同采樣時(shí)間長(cháng)度所需的系統內存，其結果如下表:

Configuration of single PXIe-9848 module					System memory (MB) required for specified time with 17  PXIe-9848 modules deployed in PXI Express platform
SR MS/s	Data Width, Byte	No of CH	Data Rate, MB/s	Slot BW Bottle-neck, MB/s	1/2 sec	1 sec	2 sec	5 sec	10 sec
5	2	8	80	190	680	1360	2720	6800	13600
8.33	2	8	133.28	190	1133	2266	4532	11329	22658
10	2	8	160	190	1360	2720	5440	13600	27200

    由上表評估結果可知，若以5MS/s采樣率進(jìn)行5秒鐘連續采樣，17張數字化儀共需系統內存達6.8GB大小。若采樣率達10MS/s，則記錄時(shí)間會(huì )縮減至2秒(需5.44GB內存)，若仍需要加長(cháng)記錄時(shí)間，則數字化儀上的板載內存將可延成某個(gè)程度的記錄時(shí)間。

    應用示例二、數據記錄至磁盤(pán)

    激光監控中高速光二極管的信號采集

    方案需求

    客戶(hù)的應用是有關(guān)激光信號監控，需要采集光二極管的信號且需為便攜式的設計。只需要采集一個(gè)通道，但采樣率需高達200MS/s。

    解決方案

    由于客戶(hù)需要高達200MS/s的單通道采樣率，因此以凌華PXIe-9842及便攜式的PXI Express機箱PXES-2590為應用組合，以此提供高達400MB/s的數據記錄速率。由于需要將數據記錄至磁盤(pán)，而PXI Express控制器上的磁盤(pán)裝置一般很難提供高達400MB/s的帶寬，即使使用SSD也很難，因此使用外部的RAID存儲裝置來(lái)進(jìn)行數據存取。我們使用的RAID模塊是PXI Express接口且具有4個(gè)SATA III界面的SSD。

    PXI Express系統控制器: 凌華科技PXIe-3975，3U Intel® CoreTM i5-520E 2.4GHz 雙核 PXI Express系統控制器

    PXI Express機箱: 凌華科技PXES-2590，9槽全混和式PXI Express機箱

    數字化儀: 凌華科技PXIe-9842，14位200 MS/s采樣率的PXI Express數字化儀

    RAID存儲裝置: Conduant DM-425 

    結論

    要以PXI Express平臺來(lái)實(shí)現數據記錄的應用，需要考慮的不只是模塊化儀器本身的條件，更要考慮到PXI Express平臺的數據傳輸帶寬。通過(guò)本文中所探討的設計上的細節及應用范例，用戶(hù)將能有效構建更高性能的測量測試平臺、大幅提升開(kāi)發(fā)效率。

    關(guān)于凌華

    凌華科技憑借創(chuàng )新的嵌入式計算解決方案，為測量測試、工業(yè)自動(dòng)化、網(wǎng)絡(luò )通信、軍工、交通、醫療和信息娛樂(lè )產(chǎn)業(yè)提供智能應用平臺(Application Ready Intelligent Platform）。凌華科技為Intel® Internet of Things Solutions聯(lián)盟高級會(huì )員（Premier Member）、PICMG®協(xié)會(huì )和PC/104協(xié)會(huì )可參與制定規格的會(huì )員，PXI Systems Alliance協(xié)會(huì )(PXISA)董事會(huì )及最高等級會(huì )員，AXIe聯(lián)盟戰略會(huì )員，VMEbus國際貿易協(xié)會(huì )（VITA）成員和嵌入式技術(shù)標準化組織（SGeT）成員等。凌華科技總部位于臺灣，并在臺灣和中國大陸設有制造中心，研發(fā)與整合事業(yè)群則分布在臺灣、中國、美國、德國，銷(xiāo)售與服務(wù)據點(diǎn)更遍布世界各地。凌華科技通過(guò)了ISO-9001、ISO-14001、ISO-13485與TL9000認證，為全球客戶(hù)提供可信賴(lài)的產(chǎn)品、快捷的服務(wù)和實(shí)時(shí)支持。網(wǎng)址：http://www.adlinktech.com/cn