數(shù)據(jù)挖掘技術(shù)是人們長期對數(shù)據(jù)庫技術(shù)進行研究和開發(fā)的結(jié)果。起初各種商業(yè)數(shù)據(jù)就保存到數(shù)據(jù)庫中，然后發(fā)展到可對數(shù)據(jù)庫進行查詢和訪問，進而發(fā)展到對數(shù)據(jù)庫的即時遍歷。數(shù)據(jù)挖掘使數(shù)據(jù)庫技術(shù)進入了一個更高級的階段，它不僅能對過去的數(shù)據(jù)進行查詢和遍歷，并且能夠找出過去數(shù)據(jù)之間的潛在聯(lián)系，從而促進信息的進一步利用。 本項目研究的問題和采用的技術(shù)路線是根據(jù)我國傳統(tǒng)農(nóng)藥化工技術(shù)發(fā)展的實際情況首次提出來的，因此在國內(nèi)具有獨創(chuàng)性，同時又滿足國家采用信息技術(shù)改造傳統(tǒng)產(chǎn)業(yè)的產(chǎn)業(yè)政策。 技術(shù)構(gòu)架 本項目的技術(shù)構(gòu)架是建立在以集散控制系統(tǒng)（DCS——Distributed Control System）為基礎(chǔ)自動化軟硬件平臺的基礎(chǔ)上，建立歷史數(shù)據(jù)庫平臺，通過數(shù)據(jù)挖掘技術(shù)對生產(chǎn)工藝、操作條件和配方進行優(yōu)化，并形成通用的數(shù)據(jù)挖掘軟件平臺。其系統(tǒng)技術(shù)架構(gòu)如圖1所示。 1. 首先將原有基本手工控制的操作模式，改造成自動化程度較高的基于SUPCON JX-300X集散控制系統(tǒng)的操作模式，使三唑磷合成生產(chǎn)過程穩(wěn)定，信息采集完備； 2. 通過浙江中控軟件技術(shù)有限公司開發(fā)的具有自主知識產(chǎn)權(quán)的實時數(shù)據(jù)庫系統(tǒng)ESP-iSYS中的數(shù)據(jù)采集及歷史數(shù)據(jù)庫模塊建立三唑磷合成過程的生產(chǎn)歷史數(shù)據(jù)庫，用于積累豐富的三唑磷合成生產(chǎn)過程的歷史數(shù)據(jù)； 3. 通過對生產(chǎn)信息的歷史數(shù)據(jù)進行數(shù)據(jù)挖掘，找出工藝參數(shù)和工藝配方對三唑磷收率和有效成分含量的規(guī)律，并提出優(yōu)化的配方、優(yōu)化的工藝參數(shù)和優(yōu)化的生產(chǎn)工藝。 基礎(chǔ)自動化系統(tǒng)改造 對于三唑磷合成過程的基礎(chǔ)自動化改造，首先要熟悉三唑磷合成的工藝路線，設(shè)計一套較為先進的儀表檢測系統(tǒng)，選用較為可靠的、高性能的壓力傳感器、pH傳感器以及流量計、溫度傳感器等。以確保獲得準確、可靠的生產(chǎn)過程信息。 對三唑磷合成過程的計算機控制系統(tǒng)進行設(shè)計，選擇模擬量輸入卡、模擬量輸出卡及開關(guān)量輸入、輸出卡，重要卡件（主控制卡、數(shù)據(jù)轉(zhuǎn)發(fā)卡、電源）及重要信號點設(shè)置成1:1冗余，提高系統(tǒng)的可靠性。設(shè)置二個操作站和一個控制站，使該生產(chǎn)過程穩(wěn)定運行并獲取可信數(shù)據(jù)。 經(jīng)分析，三唑磷合成過程操作要求如下： 1. 反應(yīng)溫度控制：三個反應(yīng)釜的反應(yīng)溫度控制分別需控制的精度為±1℃。合成反應(yīng)為吸熱反應(yīng)，保持一定反應(yīng)溫度，可提高反應(yīng)速率，穩(wěn)定操作，提高收率。但溫度過高，會引起原料分解，影響收率。 2. pH控制：因為整個反應(yīng)需在堿性水溶液中完成，反應(yīng)過程要求物系的pH值控制在8.0～9.0之間即偏堿性，不足可通過加堿來調(diào)節(jié)。 3. 脫溶甲苯濃度控制：因為合成產(chǎn)物三唑磷存在于甲苯有機相中，所以在反應(yīng)結(jié)束后，要進行脫溶處理，將甲苯和反應(yīng)物三唑磷分離。甲苯濃度控制得好壞，直接影響反應(yīng)物的濃度和三唑磷的損耗，造成收率降低。 考慮到三唑磷合成過程的規(guī)模、具體控制要求和各控制系統(tǒng)的性價比，本方案采用了浙江中控技術(shù)股份有限公司的SUPCON JX-300X集散控制系統(tǒng)。該集散控制系統(tǒng)，融合了最先進的自動化技術(shù)、計算機技術(shù)、通信技術(shù)、故障診斷技術(shù)、冗余技術(shù)和軟件技術(shù)。具有成本低、可靠性高、使用方便、安裝簡單、維護容易等特點。系統(tǒng)全部數(shù)字化，規(guī)?？纱罂尚?，兼容性、開放性好，支持標準網(wǎng)絡(luò)通訊協(xié)議，且符合各種現(xiàn)場總線協(xié)議。 JX-300X集散控制系統(tǒng)由工程師站（ES）、操作站（OS）、現(xiàn)場控制站（CS）、通信網(wǎng)絡(luò)cnetⅡ等組成，它覆蓋了大型集散系統(tǒng)的安全性、冗余功能、網(wǎng)絡(luò)擴展功能、集成的用戶界面及信息存取功能，除了具有模擬量信號輸入輸出、數(shù)字量信號輸入輸出、回路控制等常規(guī)DCS的功能，還具有高速數(shù)字量處理、高速順序事件記錄（SOE）、可編程邏輯控制等特殊功能；它不僅提供了功能塊圖（SCFBD）、梯形圖（SCLD）等直觀的圖形組態(tài)工具，又為用戶提供開發(fā)復(fù)雜高級控制算法（如模糊控制）的類C語言編程環(huán)境SCX。系統(tǒng)規(guī)模變換靈活，可以實現(xiàn)從一個單元的過程控制，到全廠范圍的自動化集成。 實時數(shù)據(jù)庫系統(tǒng) 而近年來，隨著實時數(shù)據(jù)庫理論的日益成熟和完善，各種商業(yè)實時數(shù)據(jù)庫產(chǎn)品層出不窮，其中國際上比較著名的產(chǎn)品包括美國的OSI公司的Plant Information System，簡稱PI；美國AspenTech公司的Infoplus系統(tǒng)；美國Honeywell公司的PHD（Process History Database）系統(tǒng)。這些產(chǎn)品在石油、化工、鋼鐵、電力等多個重要行業(yè)得到了較為廣泛的應(yīng)用，并且為實施企業(yè)帶來了較好的效率。 本項目選用浙江中控軟件技術(shù)有限公司開發(fā)的具有自主知識產(chǎn)權(quán)的實時數(shù)據(jù)庫軟件ESP-iSYS，ESP-iSYS實時數(shù)據(jù)庫軟件通過計算機網(wǎng)絡(luò)和正確的DCOM配置和組態(tài)過程，按照統(tǒng)一的數(shù)據(jù)格式采集數(shù)據(jù)，對數(shù)據(jù)統(tǒng)一管理。組態(tài)軟件將數(shù)據(jù)源和數(shù)據(jù)源的位號等信息組態(tài)到實時數(shù)據(jù)庫系統(tǒng)中。ESP-iSYS根據(jù)這些信息，配置相應(yīng)的模塊，采集數(shù)據(jù)源中的位號數(shù)據(jù)，計算處理后提供給實時數(shù)據(jù)庫的客戶端應(yīng)用軟件，如數(shù)據(jù)挖掘軟件應(yīng)用。 ESP-iSYS實時數(shù)據(jù)庫系統(tǒng)分成組態(tài)管理、OPC/DDE/API接口軟件管理、實時數(shù)據(jù)庫管理、實時數(shù)據(jù)訪問接口、歷史數(shù)據(jù)庫存取五大模塊。 數(shù)據(jù)挖掘系統(tǒng)的應(yīng)用 1.ESP-Miner數(shù)據(jù)挖掘軟件應(yīng)用簡介 三唑磷合成過程中在線測量的數(shù)據(jù)經(jīng)過現(xiàn)場儀表進入了SUPCON JX-300X的DCS系統(tǒng)，然后通過OPC Server進入了實時數(shù)據(jù)庫ESP-iSYS，經(jīng)過數(shù)據(jù)預(yù)處理后與人工錄入數(shù)據(jù)（通過人工化驗的產(chǎn)品質(zhì)量數(shù)據(jù)及其他離線數(shù)據(jù)）整合后進入關(guān)系數(shù)據(jù)庫中，經(jīng)數(shù)據(jù)挖掘得到的結(jié)果（優(yōu)化規(guī)則、優(yōu)化的工藝控制參數(shù)、優(yōu)化的工藝配方等）通過優(yōu)化建議圖、餅圖、柱圖或報表的形式提供給工藝工程師進行決策，決策的結(jié)果通過DCS系統(tǒng)進行貫徹執(zhí)行。 2.數(shù)據(jù)挖掘系統(tǒng)的應(yīng)用操作流程 流程工業(yè)數(shù)據(jù)挖掘技術(shù)及軟件在三唑磷合成過程中應(yīng)用研究項目的應(yīng)用操作流程如下： 第一步：系統(tǒng)配置； 第二步：人工數(shù)據(jù)錄入（每天錄入）； 第三步：實時數(shù)據(jù)采集； 第四步：數(shù)據(jù)預(yù)處理； 第五步：人工錄入數(shù)據(jù)與實時生產(chǎn)數(shù)據(jù)整合； 第六步：數(shù)據(jù)挖掘操作； 第七步：數(shù)據(jù)挖掘結(jié)果呈現(xiàn)。 3.系統(tǒng)配置 系統(tǒng)安裝完畢后，一般需要進行系統(tǒng)配置，系統(tǒng)配置只需配置一次，系統(tǒng)安裝時有一個根據(jù)新農(nóng)化工需求的默認配置，主要功能如下： 實時數(shù)據(jù)采集位號的組態(tài)，缺省組態(tài)保存在安裝目錄下的：newtagdef.cfg 數(shù)據(jù)整合時的信息組態(tài)，缺省組態(tài)保存在安裝目錄下的：tagdef.cng 4.人工數(shù)據(jù)的錄入 三唑磷合成過程中除了可在線測量的數(shù)據(jù)以外，還有許多數(shù)據(jù)如產(chǎn)品質(zhì)量數(shù)據(jù)等只能每班或每天離線分析化驗一次，這些數(shù)據(jù)均需要人工錄入到系統(tǒng)中，并需要與生產(chǎn)實時數(shù)據(jù)進行整合。 根據(jù)實際情況，系統(tǒng)提供了班次的設(shè)定功能，化驗數(shù)據(jù)的人工錄入界面。 5.實時數(shù)據(jù)采集 本系統(tǒng)通過OPC Server把在線測量數(shù)據(jù)從SUPCON JX-300X提取并保存到實時數(shù)據(jù)庫系統(tǒng)ESP-iSYS中，因此數(shù)據(jù)挖掘的數(shù)據(jù)源是實時數(shù)據(jù)庫平臺ESP-iSYS和人工錄入數(shù)據(jù)。 具體操作舉例如下： （1） 打開數(shù)據(jù)采集的配置文件 （2） 設(shè)定數(shù)據(jù)采集的時間和采樣周期以及保存數(shù)據(jù)的文件名 例如：采集04.04.01-04.04.28的3個溫度（TRC-202.PV、TRC-203.PV、TRC-204.PV），產(chǎn)品流量FRC-254.PV，原料1流量FRC-251.PV，原料2流量FRC-252.PV, 原料3流量FRC-253.PV保存到SrcData040401_040428.dpp文件中，其中采樣周期為180秒。 （3）數(shù)據(jù)采集并保存成功。 6.數(shù)據(jù)預(yù)處理 從DCS等生產(chǎn)現(xiàn)場控制系統(tǒng)中采集的原始數(shù)據(jù)可能存在嚴重的隨機誤差和過失誤差，會使數(shù)據(jù)品質(zhì)嚴重惡化。因此必須對采集來的原始數(shù)據(jù)進行預(yù)先處理，包括數(shù)據(jù)段選擇修改、濾波和剔除野值等，有效防止失效數(shù)據(jù)參與運算，保證在數(shù)據(jù)挖掘計算中所得結(jié)果的正確性。 從實時數(shù)據(jù)庫平臺導(dǎo)入生產(chǎn)實時數(shù)據(jù)，使用數(shù)據(jù)預(yù)處理模塊對這些參與數(shù)據(jù)挖掘的原始數(shù)據(jù)經(jīng)加工處理（變量信息修改、剔除野值或一階濾波等）后存入離線設(shè)計數(shù)據(jù)文件中，使得數(shù)據(jù)挖掘計算結(jié)果準確。 7.人工錄入數(shù)據(jù)與實時生產(chǎn)數(shù)據(jù)整合 三唑磷合成過程的兩類生產(chǎn)歷史數(shù)據(jù)即人工化驗數(shù)據(jù)和生產(chǎn)實時數(shù)據(jù)，經(jīng)過人工錄入和在線數(shù)據(jù)采集以后，需要把它們整合得到待挖掘數(shù)據(jù)，以供數(shù)據(jù)挖掘使用，當數(shù)據(jù)整合完成以后，需要把待挖掘數(shù)據(jù)保存到一個數(shù)據(jù)文件。 8.數(shù)據(jù)挖掘操作 數(shù)據(jù)挖掘操作的步驟如下： （1） 打開數(shù)據(jù)挖掘操作界面：使用GUI框架載入數(shù)據(jù)挖掘軟件的Snapin插件并選擇“挖掘操作”以后，出現(xiàn)數(shù)據(jù)挖掘操作界面； （2） 導(dǎo)入進行數(shù)據(jù)挖掘的數(shù)據(jù)； （3） 屬性的選擇； （4） 關(guān)聯(lián)屬性的設(shè)置； （5） 目標屬性的設(shè)置； （6） 最小置信度的設(shè)置； （7） 數(shù)據(jù)挖掘操作：當關(guān)聯(lián)屬性、目標屬性和最小置信度設(shè)置好以后，就可以進行數(shù)據(jù)挖掘了，在菜單項中選擇“操作”-> “挖掘”就可以完成數(shù)據(jù)挖掘操作。 9.數(shù)據(jù)挖掘結(jié)果呈現(xiàn) 在數(shù)據(jù)挖掘操作中如有規(guī)則產(chǎn)生，就可以生成數(shù)據(jù)挖掘結(jié)果的各種報表，如圖3所示，在該報表中，可通過點擊“規(guī)則餅圖”、“規(guī)則箭頭圖”、“優(yōu)化建議圖”、“最佳操作數(shù)”相關(guān)連接得到數(shù)據(jù)挖掘結(jié)果各種呈現(xiàn)辦法。 6.數(shù)據(jù)預(yù)處理 從DCS等生產(chǎn)現(xiàn)場控制系統(tǒng)中采集的原始數(shù)據(jù)可能存在嚴重的隨機誤差和過失誤差，會使數(shù)據(jù)品質(zhì)嚴重惡化。因此必須對采集來的原始數(shù)據(jù)進行預(yù)先處理，包括數(shù)據(jù)段選擇修改、濾波和剔除野值等，有效防止失效數(shù)據(jù)參與運算，保證在數(shù)據(jù)挖掘計算中所得結(jié)果的正確性。 從實時數(shù)據(jù)庫平臺導(dǎo)入生產(chǎn)實時數(shù)據(jù)，使用數(shù)據(jù)預(yù)處理模塊對這些參與數(shù)據(jù)挖掘的原始數(shù)據(jù)經(jīng)加工處理（變量信息修改、剔除野值或一階濾波等）后存入離線設(shè)計數(shù)據(jù)文件中，使得數(shù)據(jù)挖掘計算結(jié)果準確。 7.人工錄入數(shù)據(jù)與實時生產(chǎn)數(shù)據(jù)整合 三唑磷合成過程的兩類生產(chǎn)歷史數(shù)據(jù)即人工化驗數(shù)據(jù)和生產(chǎn)實時數(shù)據(jù)，經(jīng)過人工錄入和在線數(shù)據(jù)采集以后，需要把它們整合得到待挖掘數(shù)據(jù)，以供數(shù)據(jù)挖掘使用，當數(shù)據(jù)整合完成以后，需要把待挖掘數(shù)據(jù)保存到一個數(shù)據(jù)文件。 8.數(shù)據(jù)挖掘操作 數(shù)據(jù)挖掘操作的步驟如下： （1） 打開數(shù)據(jù)挖掘操作界面：使用GUI框架載入數(shù)據(jù)挖掘軟件的Snapin插件并選擇“挖掘操作”以后，出現(xiàn)數(shù)據(jù)挖掘操作界面； （2） 導(dǎo)入進行數(shù)據(jù)挖掘的數(shù)據(jù)； （3） 屬性的選擇； （4） 關(guān)聯(lián)屬性的設(shè)置； （5） 目標屬性的設(shè)置； （6） 最小置信度的設(shè)置； （7） 數(shù)據(jù)挖掘操作：當關(guān)聯(lián)屬性、目標屬性和最小置信度設(shè)置好以后，就可以進行數(shù)據(jù)挖掘了，在菜單項中選擇“操作”à “挖掘”就可以完成數(shù)據(jù)挖掘操作。 9.數(shù)據(jù)挖掘結(jié)果呈現(xiàn) 在數(shù)據(jù)挖掘操作中如有規(guī)則產(chǎn)生，就可以生成數(shù)據(jù)挖掘結(jié)果的各種報表。在該報表中，可通過點擊“規(guī)則餅圖”、“規(guī)則箭頭圖”、“優(yōu)化建議圖”、“最佳操作數(shù)”相關(guān)連接得到數(shù)據(jù)挖掘結(jié)果各種呈現(xiàn)辦法。 結(jié) 論 流程工業(yè)數(shù)據(jù)挖掘技術(shù)及軟件在三唑磷合成過程中的應(yīng)用研究，采用SUPCON JX-300X對生產(chǎn)過程進行了基礎(chǔ)自動化系統(tǒng)的改造，通過對工藝過程數(shù)據(jù)的采集，利用ESP-iSYS建立實時和歷史數(shù)據(jù)庫，通過對歷史數(shù)據(jù)進行數(shù)據(jù)挖掘和融合找出了配方、工藝控制參數(shù)對三唑磷產(chǎn)品的得率及其有效成分的影響規(guī)律，并提出了工藝改進的方法及其控制參數(shù)的調(diào)整，在此基礎(chǔ)上形成針對化工及制藥生產(chǎn)過程的通用數(shù)據(jù)挖掘軟件，可產(chǎn)生明顯的經(jīng)濟效益和社會效益。 本項目于2004年7月通過了浙江省科技廳組織的科技成果鑒定，鑒定結(jié)果為“該項目在數(shù)據(jù)挖掘技術(shù)應(yīng)用于農(nóng)藥化工領(lǐng)域處國內(nèi)領(lǐng)先水平”。