我喜歡從機(jī)會的角度，認(rèn)識工業(yè)大數(shù)據(jù)。工業(yè)大數(shù)據(jù)的一個重要機(jī)會，是幫助人們更有效地獲取工業(yè)知識。人們能夠從數(shù)據(jù)中獲取的知識，與數(shù)據(jù)的質(zhì)量和完整性有著極大的關(guān)系。過去，受經(jīng)濟(jì)因素的制約，人們采集、存儲、傳輸數(shù)據(jù)的數(shù)量是有限的，往往只能短期記錄部分重要的數(shù)據(jù)，數(shù)據(jù)的完整性就無法得到保障，從而影響知識的獲取。數(shù)據(jù)量小的時候就往往不能保證數(shù)據(jù)的質(zhì)量。數(shù)據(jù)規(guī)模變大后，就有條件提升數(shù)據(jù)的質(zhì)量，從而發(fā)揮數(shù)據(jù)的潛力。從這種意義上說，工業(yè)大數(shù)據(jù)的時代，本質(zhì)上是數(shù)據(jù)質(zhì)量高的時代。

　　我的師傅、寶鋼老專家王洪水先生很早就重視數(shù)據(jù)質(zhì)量。他在主持開發(fā)寶鋼信息系統(tǒng)時提出一種形象的說法：要像錄像一樣把數(shù)據(jù)記錄下來，不能讓有用的信息丟失掉。

　　所謂“像錄像一樣”，就是對“可追溯”的形象描述。當(dāng)質(zhì)量、設(shè)備、安全、環(huán)保出現(xiàn)問題時，可以通過追溯生產(chǎn)的過程，找到問題的原因。通過追溯，人們也可以分析質(zhì)量、效率、成本方面的差異，從而更好地優(yōu)化生產(chǎn)過程。通過追溯，可以科學(xué)、準(zhǔn)確地評價供貨商、部門和員工，從而實(shí)現(xiàn)更加科學(xué)的管理。事實(shí)上，“可追溯”是現(xiàn)代工業(yè)企業(yè)質(zhì)量管理最基本的要求之一。

　　在某些落后的企業(yè)，為了滿足可追溯的貫標(biāo)要求，讓工人手工記錄相關(guān)的數(shù)據(jù)。手工記錄的數(shù)據(jù)不僅數(shù)量有限、數(shù)據(jù)質(zhì)量也差，還容易造假，工作的價值就大大地打了折扣。隨著計(jì)算機(jī)的廣泛應(yīng)用，先進(jìn)企業(yè)的數(shù)據(jù)追溯可以讓機(jī)器來完成，就可以避免手工記錄的各種問題。寶鋼在40年前提出“數(shù)據(jù)不落地”，就是這個道理。如果數(shù)據(jù)記錄在機(jī)器中，追溯過程可以非常方便，可以讓機(jī)器幫助分析數(shù)據(jù)。

　　數(shù)據(jù)分析工作就像探案推理，對數(shù)據(jù)質(zhì)量的要求很高。需要從蛛絲馬跡中找到問題的根源，并盡量避免被數(shù)據(jù)中的假象誤導(dǎo)。但是，受經(jīng)濟(jì)和技術(shù)條件的約束，過去的數(shù)據(jù)記錄往往不完整，數(shù)據(jù)記錄頻度低、存儲周期短，數(shù)據(jù)質(zhì)量也不理想。筆者在實(shí)踐過程中發(fā)現(xiàn)了一些問題。這些問題的本質(zhì)，還是數(shù)據(jù)質(zhì)量不理想。下面就是一些常見的問題，會給數(shù)據(jù)分析過程帶來很多的麻煩：

　　1、數(shù)據(jù)的誤差問題。工廠里的許多同志會強(qiáng)調(diào)車間儀表的測量精度高。但是，儀表測量精度高并不意味著誤差可以忽略不計(jì)。如果數(shù)據(jù)來自某個固定的工作點(diǎn)附近，數(shù)據(jù)采集誤差可能是數(shù)據(jù)波動的重要甚至是主要原因。這時，數(shù)據(jù)的信噪比會非常低。另外，由于系統(tǒng)性的干擾，傳感器測量的結(jié)果可能與實(shí)際值存在某種偏差，這些偏差還會隨著時間和場景變化。比如，用紅外方式測量溫度時，需要事先設(shè)定對象的黑度系數(shù)。但測量對象發(fā)生變化時，設(shè)定的黑度系數(shù)未必會同步變化。這時，測量值的變化并不意味著真實(shí)溫度的變化。

　　2、數(shù)據(jù)的代表性問題。數(shù)據(jù)往往代表對象或過程的屬性。但是，對象的屬性可能不均一、過程的屬性可能不唯一。比如，測量鋼水成分時，取樣位置不同、測量結(jié)果就不一樣;再如，測量設(shè)備內(nèi)部的溫度時，不同位置的溫度可能不一樣。但是，人們只能在某個位置進(jìn)行測量。這樣，就會有測量結(jié)果的代表性問題：測量結(jié)果的合格并不意味著全面的合格、測量結(jié)果的穩(wěn)定并不意味著真正的穩(wěn)定。

　　3、數(shù)據(jù)的內(nèi)涵問題。測量過程是數(shù)據(jù)的“生產(chǎn)”過程。測量過程要規(guī)范、合理，才能得到有用的測量結(jié)果。測量過程和方法不規(guī)范，會帶來錯誤的信息。計(jì)算機(jī)中的許多數(shù)據(jù)，是經(jīng)過處理過的。有些數(shù)據(jù)，是經(jīng)過智能傳感器傳遞過來的。在這些場景下，數(shù)據(jù)的含義可能會產(chǎn)生歧義和混亂。比如，在不同的場景下，數(shù)據(jù)代表不同的含義;再如，某個場景下，溫度=400意味著溫度測量失效或者高于400度。實(shí)踐表明：人們分析問題時遇到的很多深層次的困難，是測量的規(guī)范性不好引發(fā)。數(shù)據(jù)分析師要經(jīng)常提醒自己：數(shù)據(jù)是測量的結(jié)果，不要想當(dāng)然地認(rèn)為數(shù)據(jù)就是真實(shí)的。

　　4、數(shù)據(jù)對應(yīng)差錯。數(shù)據(jù)一定是某個對象的屬性。如果屬性和對象對應(yīng)錯誤，就會產(chǎn)生對應(yīng)問題?，F(xiàn)實(shí)中，有兩種典型的問題：一種是空間的對應(yīng)，一種是時間的對應(yīng)?？臻g對應(yīng)問題往往發(fā)生在取樣測試的場景。以鋼鐵行業(yè)為例，測量材料性能時，需要從一個很小的位置上取樣的。一卷鋼的生產(chǎn)工藝參數(shù)是不斷變化的，很難準(zhǔn)確地對應(yīng)到取樣點(diǎn)。時間對應(yīng)問題往往發(fā)生在不同的設(shè)備之間。由于不同的設(shè)備可能采用不同的時鐘，時鐘的誤差讓人難以準(zhǔn)確判斷先后關(guān)系。

　　5、數(shù)據(jù)的頻度問題。有些質(zhì)量問題的產(chǎn)生，是秒級、毫秒級的事件引發(fā)的;分析設(shè)備問題時，也需要非常高頻度的數(shù)據(jù)。分析問題時，經(jīng)常會發(fā)現(xiàn)數(shù)據(jù)的采樣頻度不夠。而且，數(shù)據(jù)的采集頻度不等于傳送、存儲的頻度。有時候，采樣數(shù)據(jù)是批量傳送的，而傳送的間隔比采集間隔要長得多。這也會導(dǎo)致很多問題。

　　6、數(shù)據(jù)的存在性問題。人們在進(jìn)行數(shù)據(jù)分析時，經(jīng)常發(fā)現(xiàn)某個重要的數(shù)據(jù)沒有測量或者根本不可信。這種現(xiàn)象非常普遍。這會導(dǎo)致許多分析工作無法進(jìn)行下去。

　　以上這些問題，有些是在數(shù)據(jù)采集、傳輸、存儲成本高昂的背景下產(chǎn)生的。有些則與數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)有關(guān)。在工業(yè)大數(shù)據(jù)時代，外部的硬件條件具備了，但需要有關(guān)人員對數(shù)據(jù)采集和管理進(jìn)行更加深入的思考。筆者認(rèn)為，在工業(yè)大數(shù)據(jù)時代，理想的“可追溯性”需要滿足以下四點(diǎn)要求：

　　1、空間的一致性。不能用產(chǎn)品A的生產(chǎn)工藝對應(yīng)產(chǎn)品B的質(zhì)量，導(dǎo)致因果錯亂。

　　2、時鐘的一致性。數(shù)據(jù)源必須有統(tǒng)一的時鐘。這對分析因果的重要性在于：“原因”總是會發(fā)生在“結(jié)果”的前面。

　　3、采樣頻度合理性。采樣的頻度需要與原因或結(jié)果發(fā)生的頻度匹配，保證不漏采。例如，如果事件發(fā)生的頻度是秒級的，采樣的頻度不能是分鐘、小時級的。

　　4、數(shù)據(jù)質(zhì)量的監(jiān)控。生產(chǎn)過程的很多疑難問題，往往是由數(shù)據(jù)采集本身的問題導(dǎo)致的。對于重要的數(shù)據(jù)，要有辦法判斷數(shù)據(jù)本身是不是準(zhǔn)確的、數(shù)據(jù)采集過程本身有沒有問題。