基于儀器儀表中的海量數(shù)據(jù)存儲解決方案

     在數(shù)據(jù)采集設(shè)備以及具有相關(guān)功能的儀器使用中，數(shù)據(jù)的存儲和傳輸是一個非常重要的環(huán)節(jié)，本文在成功實踐的基礎(chǔ)上，介紹采用工業(yè)級ARM系列32位高性能嵌入式處理器實現(xiàn)數(shù)據(jù)的采集后的數(shù)據(jù)存儲及與數(shù)據(jù)通信的相關(guān)內(nèi)容。
     在數(shù)據(jù)采集和測量儀器尤其是便攜式設(shè)備中，需要可支持大容量數(shù)據(jù)儲存的便攜式設(shè)備，本文介紹一種超大容量的RS232/485串口轉(zhuǎn)SD/TF內(nèi)存卡數(shù)據(jù)存儲器，數(shù)據(jù)存儲器采用模塊化設(shè)計，不需要用戶對現(xiàn)有設(shè)備進行改造，實現(xiàn)數(shù)據(jù)實時存儲。

     系統(tǒng)結(jié)構(gòu)：

數(shù)據(jù)自動存儲的客觀要求  在許多測量過程中，不僅要求讀取簡單的儀表值，而且還需要對一段時間的數(shù)據(jù)進行科學的分析和處理以取得預測和分析的目的。在這種情況下，可能要求測量時間長，采集要求自動進行，無需人工值守，所以數(shù)據(jù)必須自動存儲；另一個原因，采集數(shù)據(jù)的頻率比較高，人的觀察不能滿足實際需要，這就要求對采集的據(jù)進行有效的存儲。

為實現(xiàn)系統(tǒng)高可靠性、高效率的工作，必須采用基于ARM架構(gòu)的高性能32位嵌入式微處理器作為系統(tǒng)的管理核心，通過與高效的嵌入式操作系統(tǒng)相結(jié)合，采用獨特的動態(tài)內(nèi)存分配算法，以此管理文件系統(tǒng)對內(nèi)存的消耗和釋放，提高數(shù)據(jù)的傳輸效率，避免數(shù)據(jù)丟失，實現(xiàn)實時數(shù)據(jù)的可靠存儲。

SD/TF卡與ARM接口軟件設(shè)計：

a  首先初始化SD/TF卡、檢查狀態(tài)、扇區(qū)讀寫等基本操作。文件系統(tǒng)層按照PC文件系統(tǒng)要求設(shè)計，如FAT表、文件目錄表等兼容PC機的文件管理系統(tǒng)，從而能夠大大簡化后端數(shù)據(jù)的分析和處理。文件操作層包括文件的建立、讀寫、刪除等。

b  當檢測到有串口數(shù)據(jù)，系統(tǒng)自動在SD/TF卡上創(chuàng)建一個事先定義好的文件夾，目錄下生成一個存儲數(shù)據(jù)文件，進行實時數(shù)據(jù)存儲。文件夾名稱可通過配置軟件自定義命名，例如2011年的數(shù)據(jù)，文件夾名稱可以定義為20111001；數(shù)據(jù)存儲文件為.TXT文件，系統(tǒng)自動創(chuàng)建，自動編號，不重復覆蓋，便于文件管理。

c  由于數(shù)據(jù)采集系統(tǒng)的限制和具體環(huán)境的要求，便攜式RS232/485數(shù)據(jù)存儲必需適合長期無人值守、速度快、通用性好。為了能夠長期進行數(shù)據(jù)存儲除了采用更大容量的SD/TF卡外，如果幾G甚至幾十G的數(shù)據(jù)同時存儲在同一個文件中，這樣大量的數(shù)據(jù)后端分析和處理必定會給我們造成巨大的麻煩，因此要求便攜式數(shù)據(jù)存儲的FAT32文件系統(tǒng)的處理更加完善、更加智能化。這就需要探索一種更好的文件管理方式，經(jīng)過多次的實驗與嘗試，采用定時創(chuàng)建數(shù)據(jù)存儲文件進行存儲，有利于對數(shù)據(jù)進行更有效的管理，更好的分析處理。例如：假定用戶通過配置軟件設(shè)置間隔24個小時即一天（根據(jù)用戶設(shè)備具體的存儲數(shù)據(jù)量大小情況決定時間）創(chuàng)建一個數(shù)據(jù)儲存文件，那么N天后，文件夾20111001下將自動創(chuàng)建有N個TXT文件分別為0001.TXT、0002.TXT……N.TXT，各個時段的數(shù)據(jù)將完整的保存在相對應的文件中，不丟失任何字節(jié)。

d  在一些特定應用場合，并不需要對數(shù)據(jù)進行實時處理和顯示，只是記錄下原始數(shù)據(jù)，將其作為一個“黑匣子”，為后端處理做準備。這就需要SD/TF卡可以循環(huán)使用，當數(shù)據(jù)量達到已設(shè)定的存儲卡容量后，自動覆蓋原有的存儲文件。

f  以往的大容量數(shù)據(jù)儲存系統(tǒng)只具有被動的接收數(shù)據(jù)進行保存功能，然而隨著技術(shù)的不斷更新，已經(jīng)遠遠不能滿足現(xiàn)有數(shù)據(jù)采集設(shè)備的需求；更多的用戶設(shè)備，需要由數(shù)據(jù)儲存系統(tǒng)處于主機狀態(tài)，主動發(fā)送握手信號，用戶設(shè)備接收到信號后被動反饋信息，然后由數(shù)據(jù)儲存系統(tǒng)存儲數(shù)據(jù)。串行通信接口由用戶來控制，用戶可以設(shè)置10多條不同的“輪詢”指令，和間隔時間。系統(tǒng)在主程序中初始化，采用串行口工作方式由系統(tǒng)主機向數(shù)據(jù)設(shè)備進行呼叫，定期讀取數(shù)據(jù)或者寫入數(shù)據(jù)，其程序流程圖如下 :

硬件接口設(shè)計：

a   提供RS232/485接口，支持2400~115200寬范圍波特率。串口全透明數(shù)據(jù)傳輸，無需傳輸協(xié)議，透明保存用戶的數(shù)據(jù)，100%可靠存儲，支持高達14K 字節(jié)/秒的數(shù)據(jù)儲存能力。

耐震動設(shè)計：

無論是在存儲管道在線檢測數(shù)據(jù)，還是無人航載信息黑匣子都需要數(shù)據(jù)存儲設(shè)備具有一定強度的耐震動能力，對此硬件設(shè)計上采用自鎖式卡座，內(nèi)嵌存儲卡，具有防震功能；避免由于意外使存儲卡與卡座接觸不良，而造成數(shù)據(jù)無法儲存。

蜂鳴器報警功能：
對于重要數(shù)據(jù)，丟失數(shù)據(jù)給我們帶來的損失是慘痛的，系統(tǒng)軟件設(shè)計了系統(tǒng)出錯報警。系統(tǒng)上電后，首先對SD/TF卡進行初始化，初始化成功蜂鳴器響一下，說明系統(tǒng)運行正常；蜂鳴器長響為出錯報警。
典型應用


數(shù)據(jù)的傳輸  數(shù)據(jù)傳輸是存儲在內(nèi)存卡中的數(shù)據(jù)到達計算機的有效途徑，數(shù)據(jù)上傳到計算機最常用的是串行（RS232）接口，現(xiàn)在由于USB技術(shù)的不斷成熟，通過USB可以方便快捷實現(xiàn)數(shù)據(jù)傳輸，而且可以滿足速率和設(shè)備外觀的要求，但是USB的驅(qū)動程序設(shè)計是比較復雜的工作，我們采用特殊的處理方式，無需安裝驅(qū)動便具有USB拷貝數(shù)據(jù)功能，U盤式管理， 方便快捷。

結(jié)論  在數(shù)據(jù)采集和測量儀器尤其是便攜式設(shè)備中，數(shù)據(jù)存儲和傳輸是不可避免的問題，大量的重要數(shù)據(jù)是否能可靠的保存至關(guān)重要，百度“廣州市樂誠電子科技有限公司”了解更多資料。