過程工業(yè)公司收集制造數(shù)據(jù)已經(jīng)有幾十年了。隨著硬件和軟件的不斷發(fā)展進(jìn)步，在制造企業(yè)內(nèi)會(huì)產(chǎn)生更多的數(shù)據(jù)，收集的數(shù)據(jù)用于描述過程工況、供應(yīng)鏈指標(biāo)和其它生產(chǎn)信息。

然而，企業(yè)難以將大量數(shù)據(jù)轉(zhuǎn)換為有用的信息和見解。這樣可以提高過程裝置、工廠以及業(yè)務(wù)的可靠性、安全性。但隨著數(shù)據(jù)量的增長(zhǎng)，隨之而來的挑戰(zhàn)也在不斷增加。

在計(jì)算機(jī)化、傳感器和無線技術(shù)不斷發(fā)展的基礎(chǔ)上，一場(chǎng)由工業(yè)物聯(lián)網(wǎng)(IIoT)推動(dòng)的工業(yè)革命正在如火如荼的進(jìn)行著——這極大地?cái)U(kuò)展了存儲(chǔ)和分析的數(shù)據(jù)類型和數(shù)量。

從歷史上看，過程生產(chǎn)制造商使用電子表格來組織以表格形式收集的數(shù)據(jù)。電子表格最初用于會(huì)計(jì)和財(cái)務(wù)，但它從來都不是大量時(shí)間序列相關(guān)數(shù)據(jù)的最佳處理工具。但是，它們?cè)试S構(gòu)建支持軟件的公式，以及進(jìn)行跨多個(gè)工作表的計(jì)算。

因此，工程師們習(xí)慣采用電子表格用于項(xiàng)目的數(shù)據(jù)分析，但該過程會(huì)耗費(fèi)大量的人力和時(shí)間。此外，使用電子表格在成果分享以及與他人合作方面有一定的困難。隨著企業(yè)積累的數(shù)據(jù)越來越多，他們希望找到更有效的方法在企業(yè)內(nèi)共享數(shù)據(jù)驅(qū)動(dòng)的信息。

大數(shù)據(jù)帶來的挑戰(zhàn)

顯然，高級(jí)分析軟件是應(yīng)對(duì)這些挑戰(zhàn)和障礙的一個(gè)方法。為了理解這些先進(jìn)特性，讓我們先看看電子表格的不足，以及如何通過分析解決方案應(yīng)對(duì)這些不足。

過程制造和監(jiān)控系統(tǒng)每天都會(huì)產(chǎn)生海量的數(shù)據(jù)，用于顯示過程工況、運(yùn)行/產(chǎn)品流程和設(shè)備狀況。與控制系統(tǒng)有關(guān)的數(shù)據(jù)以不同的形式生成。一般是將與調(diào)查有關(guān)的所有數(shù)據(jù)收集到電子表格中，然后進(jìn)行分析。從多個(gè)來源收集的大量數(shù)據(jù)，很快會(huì)削弱進(jìn)行有效分析的能力。

在進(jìn)行分析之前，必須對(duì)數(shù)據(jù)進(jìn)行排序和清理，并減少電子表格中的數(shù)據(jù)點(diǎn)數(shù)量。儀表信號(hào)被重新格式化，以適應(yīng)電子表格行/列的模式（如圖1所示）。微軟Excel電子表格的上限約為100萬行。例如，常見的過程系統(tǒng)傳感器采樣頻率為每分鐘一次，相當(dāng)于Excel中每年有50萬行。如果采樣頻率為每30秒一次，或者用戶想要查看兩年的數(shù)據(jù)，則不可能以適當(dāng)?shù)姆直媛什榭此袛?shù)據(jù)。

圖1：時(shí)間是評(píng)估過程數(shù)據(jù)的關(guān)鍵因素，通常必須對(duì)信號(hào)數(shù)據(jù)重新格式化來統(tǒng)一格式，以便在電子表格中使用。

本文圖片來源：Seeq公司

此外，超過電子表格容量限制的文件可能會(huì)遇到性能問題。在多組數(shù)據(jù)和計(jì)算中的分層，可以同時(shí)打開大量大型文件，并鏈接到其它應(yīng)用程序和宏，這些都會(huì)妨礙電子表格的可用性。工程師或科學(xué)家的過程數(shù)據(jù)工作流，通常需要所有這些功能。使用電子表格用戶必須對(duì)數(shù)據(jù)段的類型和采樣做出妥協(xié)。

數(shù)據(jù)孤島

雖然與最大容量相關(guān)，但數(shù)據(jù)隔離是一個(gè)單獨(dú)的問題。例如，每次團(tuán)隊(duì)成員訪問過程數(shù)據(jù)時(shí)，他們首先將其下載到一個(gè)單獨(dú)的、復(fù)制的文件中。這是一次性快照提取。如果數(shù)據(jù)發(fā)生更改或更新，則必須重新做查詢。這可能會(huì)對(duì)后續(xù)計(jì)算、清理和見解產(chǎn)生影響。大型文件很難在整個(gè)企業(yè)中共享并保持同步，尤其是在多個(gè)用戶查看相同數(shù)據(jù)集和數(shù)據(jù)源的情況下。

考慮到IIoT和云的應(yīng)用，創(chuàng)建更多和更大的數(shù)據(jù)庫是一個(gè)持續(xù)的趨勢(shì)。此外，并非所有數(shù)據(jù)、數(shù)據(jù)庫和用戶都位于同一個(gè)區(qū)域。遠(yuǎn)程數(shù)據(jù)庫和用戶進(jìn)一步使向用戶獲取適當(dāng)數(shù)據(jù)的任務(wù)變得復(fù)雜。

一旦相關(guān)數(shù)據(jù)被集成到電子表格中，用戶如何找到數(shù)據(jù)驅(qū)動(dòng)的信息？工程師們最感興趣的是數(shù)據(jù)在一段時(shí)間內(nèi)的行為以及與其它系統(tǒng)部件的關(guān)系。例如，溫度、壓力、原料質(zhì)量和轉(zhuǎn)化率，都隨時(shí)間變化并且彼此之間具有某種關(guān)系。

與任何分析一樣，用戶首先必須確定最感興趣的過程點(diǎn)，如最佳穩(wěn)態(tài)工況、關(guān)鍵設(shè)備振動(dòng)趨勢(shì)、停機(jī)、排放事件和其它參數(shù)。對(duì)每個(gè)數(shù)據(jù)來講，時(shí)間都是其中的一個(gè)因素。工程師分析跨班次、周數(shù)、月或年份匯總的數(shù)據(jù)，以確定趨勢(shì)和根本原因。

要在電子表格中執(zhí)行此操作，用戶可以對(duì)列和行進(jìn)行排序，以識(shí)別感興趣的數(shù)據(jù)點(diǎn)。這種排序/清理是通過電子表格自帶功能完成的，但微軟列出的Excel表格最常用的十大功能中，有70％是用于數(shù)據(jù)整理，并不包括數(shù)據(jù)分析，但問題是數(shù)據(jù)分析才是價(jià)值所在。

在開發(fā)電子表格應(yīng)用程序中，數(shù)據(jù)處理所花費(fèi)時(shí)間占到50％到90％（如圖2所示）。電子表格算法可以對(duì)數(shù)據(jù)進(jìn)行排序和切片，但數(shù)據(jù)處理/計(jì)算方法不透明，難以記憶，也難以與同事共享。

圖2：識(shí)別和共享源自電子表格分析所得的數(shù)據(jù)是一個(gè)費(fèi)時(shí)、費(fèi)力的過程。

例如，在裝置月度報(bào)告或季度排放評(píng)估中，必須重新查詢數(shù)據(jù)，并且手動(dòng)復(fù)制或通過宏的自動(dòng)化來實(shí)現(xiàn)。如果分析頻率不高，或由不同的人執(zhí)行，那么學(xué)習(xí)或重新學(xué)習(xí)電子表格數(shù)據(jù)的工作機(jī)理，可能需要很長(zhǎng)時(shí)間。一些團(tuán)隊(duì)有單獨(dú)的文檔來描述工作流程，但開發(fā)的宏缺乏透明性，這就會(huì)影響分析的復(fù)用性。

受限的合作

對(duì)大數(shù)據(jù)集進(jìn)行排序和篩選后，如何共享和分發(fā)數(shù)據(jù)驅(qū)動(dòng)的信息？從電子表格分析中提取信息并共享信息的功能有限，而且計(jì)算的不透明性，使協(xié)作和結(jié)果再現(xiàn)變得困難。此外，出于大小和簡(jiǎn)化等方面的原因，通常共享的是圖片格式的分析結(jié)果，而不是電子表格本身。

此外，由于數(shù)據(jù)隔離和密集操作的限制，使用電子表格完成的工作成果必須集中放置，可訪問并提供嚴(yán)格的維護(hù)。一旦結(jié)果轉(zhuǎn)換成另一種形式并進(jìn)行分發(fā)，這就變得很困難。報(bào)告和共享通常包括復(fù)制和粘貼工作，或插入/鏈接/查詢/重新查詢（文件崩潰）工作流。

高級(jí)分析軟件可解決電子表格在這些方面的限制，以提供更高效的分析，如下面的例子所示。

電子表格面臨的困境

一個(gè)谷物制造工廠的能源管理團(tuán)隊(duì)正在負(fù)責(zé)尋找可降低能源消耗的潛在因素。谷物處理過程中的分批熏蒸步驟消耗了大量的過熱水。

該項(xiàng)目需要過程運(yùn)營(yíng)工程師與能源管理項(xiàng)目負(fù)責(zé)人之間的合作。過程運(yùn)營(yíng)和能源管理團(tuán)隊(duì)在尋找節(jié)能措施方面面臨著挑戰(zhàn)。

分批熏蒸鍋爐需要消耗大量熱水以維持適當(dāng)溫度。為了優(yōu)化能源消耗，提出了一種新的熱水添加歧管，該管具有控制淡水添加的軟件。通過更嚴(yán)格的溫度控制策略，可以減少前一批排出的流體，最大限度地減少熱水添加量，同時(shí)保持所需的熏蒸溫度。該程序通過減少新過熱水的添加量來節(jié)省能量。

為了針對(duì)上述問題開發(fā)數(shù)據(jù)驅(qū)動(dòng)的解決方案，過程運(yùn)營(yíng)工程師將批處理數(shù)據(jù)從過程歷史記錄和執(zhí)行系統(tǒng)中導(dǎo)出到單獨(dú)的電子表格中。因?yàn)榘惭b了一個(gè)新的控制系統(tǒng)，所以工程師放棄了舊系統(tǒng)的數(shù)據(jù)并重新開始分析。數(shù)據(jù)量限制了導(dǎo)出功能，并要求將分析從一年縮小到最近一個(gè)季度。此外，歷史數(shù)據(jù)庫和執(zhí)行系統(tǒng)的時(shí)間序列數(shù)據(jù)不匹配也是一個(gè)問題。正是由于這些差異，需要對(duì)兩個(gè)系統(tǒng)之間的數(shù)據(jù)進(jìn)行手動(dòng)時(shí)間同步。通過最原始的方法，過程運(yùn)營(yíng)工程師從幾個(gè)批次中創(chuàng)建了一個(gè)壓縮的、低分辨率的數(shù)據(jù)視圖，并通過差值方法獲得一年的數(shù)據(jù)。

盡管過程工程師努力挖掘可用的配方熏蒸數(shù)據(jù)，但結(jié)果好壞參半。新的電子表格仍然太大，無法與能源管理團(tuán)隊(duì)輕松分享。由于數(shù)據(jù)規(guī)格和復(fù)雜性，電子表格在包含計(jì)算和圖表后時(shí)不時(shí)的會(huì)崩潰。過程運(yùn)營(yíng)和能源管理團(tuán)隊(duì)都投入了大量時(shí)間對(duì)數(shù)據(jù)操作進(jìn)行篩選和排序，以期找到實(shí)際結(jié)果（如圖3所示）。

圖3：能源管理團(tuán)隊(duì)和過程運(yùn)營(yíng)小組花費(fèi)大部分時(shí)間來處理數(shù)據(jù)而不是分析數(shù)據(jù)，只有一個(gè)人能夠理解并使用電子表格來創(chuàng)建報(bào)告。

快速回顧顯示，過程工程師將大部分時(shí)間都用于清理、分類、篩選、復(fù)制和粘貼感興趣的數(shù)據(jù)到電子表格中。而只花了很少的時(shí)間對(duì)實(shí)際的運(yùn)營(yíng)變化進(jìn)行分析，盡管這項(xiàng)任務(wù)仍然非常繁重。在項(xiàng)目執(zhí)行期間，負(fù)責(zé)的工程師晉升到了新職位，一名新工程師接管了這項(xiàng)任務(wù)。兩個(gè)過程工程師之間數(shù)據(jù)準(zhǔn)備方法不同，也讓結(jié)果出現(xiàn)了差異。

這個(gè)案例歷史說明了使用電子表格分析過程數(shù)據(jù)時(shí)所面臨的挑戰(zhàn)。盡管工程師們付出了很多努力，但是過程運(yùn)營(yíng)小組和能源管理團(tuán)隊(duì)不斷重復(fù)相同的步驟來整理數(shù)據(jù)。問題不在于缺乏數(shù)據(jù)，通常任何工業(yè)設(shè)施都是這樣的。相反，問題出在數(shù)據(jù)時(shí)間不同步、格式不統(tǒng)一、數(shù)據(jù)保存在不同區(qū)域。使用電子表格與不同部門共享數(shù)據(jù)也很困難，有效的可視化和報(bào)告工作幾乎是不可能的任務(wù)。

應(yīng)用高級(jí)數(shù)據(jù)分析

高級(jí)數(shù)據(jù)分析軟件可訪問其所在的數(shù)據(jù)。不需要復(fù)制和粘貼，因?yàn)樵撥浖狭硕鄠€(gè)數(shù)據(jù)源的高分辨率數(shù)據(jù)（圖4）。簡(jiǎn)單的查詢命令便于數(shù)據(jù)定位，并支持簡(jiǎn)化排序、清理和組合歷史數(shù)據(jù)庫以及其它來源所需的數(shù)據(jù)。

圖4：使用高級(jí)分析軟件替換基于電子表格的分析，使能源管理團(tuán)隊(duì)能夠快速獲得結(jié)果并分享見解。

高級(jí)分析軟件還支持基礎(chǔ)演算和工程師用于將數(shù)據(jù)轉(zhuǎn)換為趨勢(shì)以及相關(guān)數(shù)據(jù)可視匯總的其它數(shù)學(xué)函數(shù)。有價(jià)值的數(shù)據(jù)更容易整合和情景化以供將來建模使用。此外，新用戶只需要較少的培訓(xùn)。

應(yīng)用高級(jí)分析軟件工具可加速數(shù)據(jù)清理、可視化、搜索、情境化和建模過程。使用這些工具，工程師能夠?qū)Ｗ⒂谥R(shí)獲取、協(xié)作和問題解決，而不是數(shù)據(jù)整理工作。（作者：MichaelRisse）