最近波音飛機的墜落，嚴格說是人工智能影響人類的災難性事件，也是智能化系統(tǒng)功能失效的典型案例。

波音737MAX8是波音成熟度最高的機型，燃料消耗是同類機型的30%，但發(fā)動機更改導致飛機機頭容易抬高。因此，它使用了一個機動特性增強系統(tǒng)（MCAS），在飛機迎角過大時該系統(tǒng)會自動下調(diào)機頭以進入它設定的安全狀態(tài)。但從最近發(fā)生的事故來看，MCAS更像波音公司在737MAX8飛機上埋的炸彈。

獅航空難事故調(diào)查已有結論，其直接原因是機頭左側攻角傳感器故障，使MCAS錯誤地連續(xù)26次進入自殺式俯沖。獅航飛行員曾33次試圖拉升機頭，但最終人工操作沒能成功糾偏。埃塞俄比亞航空空難事故調(diào)查還在進行，但從已經(jīng)披露的信息可以判斷，飛機在起飛后，連續(xù)出現(xiàn)了爬升和下降兩種飛行姿態(tài)，飛行員稱無法控制飛機，最后導致墜毀。

這兩起事故都是智能化系統(tǒng)功能錯誤導致的飛機失控，屬功能安全事故。

什么是功能安全

功能安全是一門安全工程學科，專門研究復雜控制系統(tǒng)的功能失效避免。它的基礎標準是2000年發(fā)布的IEC61508。近20年來，針對各領域的安全相關系統(tǒng)，已經(jīng)發(fā)展出一個標準族群。

功能安全主要從3個方向展開研究：預期功能安全、硬件隨機性失效避免和系統(tǒng)性失效避免。其中，預期功能安全是系統(tǒng)性失效的一部分，它要求全面識別受控設備中的所有危險，并把風險控制在可容忍范圍之內(nèi)。一旦受控設備中包含智能化系統(tǒng)時就極富挑戰(zhàn)——這也是目前面臨的新問題。

硬件隨機性失效避免要求組成安全相關系統(tǒng)的硬件系統(tǒng)必須具有足夠的可靠性、足夠的容錯能力和診斷覆蓋率，系統(tǒng)性失效避免則要避免所有可能導致系統(tǒng)性失效的錯誤和故障，如軟件功能安全、環(huán)境適應性、檢測到故障時的系統(tǒng)行為等。

功能安全標準規(guī)定了各種原則、方法，是多個行業(yè)多年經(jīng)驗的總結，對于提高復雜控制系統(tǒng)與保護系統(tǒng)執(zhí)行功能的可靠性，具有十分重要的指導意義。

MCAS存在的功能安全問題

埃塞俄比亞航空和獅航墜機事故原因都聚焦在波音737MAX8飛機的MCAS上。MCAS是一個安全相關系統(tǒng)，從功能安全視角看，它存在多個問題。

首先是設計缺陷，體現(xiàn)在：第一，波音公司在加裝MCAS系統(tǒng)時，忽視了發(fā)動機更改會使飛機容易在大迎角飛行時失速，違背了本質(zhì)安全原則；第二，對MCAS系統(tǒng)的危險評估定為有害等級而不是災難級，定級有誤，說明設計者對MCAS失效可能造成的后果嚴重性估計不足，對這個系統(tǒng)的軟硬件都沒有配置足夠的魯棒性；第三，系統(tǒng)容錯能力不足，即使是有害等級，MCAS系統(tǒng)僅采集左側傳感器數(shù)據(jù)作為啟動條件也是不符合要求的；第四，對安全關鍵部件（如攻角傳感器）的故障，沒有診斷和報警；第五，出現(xiàn)死亡俯沖時，沒有明顯提示警告機組人員；第六，波音公司的培訓資料從未提及該項功能，也沒有任何特別的培訓課程。

其次是維護和操作問題。一個細節(jié)是，獅航飛機空難前帶著這個故障飛行了4次之多，事故前一天還出現(xiàn)過機頭持續(xù)下壓的危險狀況，直到飛行員關閉MCAS才安全降落。此外，獅航的維修工作及程序未能解決涉事客機的問題，而客機關鍵零件（攻角傳感器）的安裝及校準記錄不完整未受到重視。

最后是監(jiān)管問題。波音737MAX8在美聯(lián)邦航空管理局進行新飛機的安全批準時，為了加快進度，把該機型MCAS系統(tǒng)的安全評估交給了波音，并要求工程師加快檢查進度。這極大降低了監(jiān)管的力度和有效性。同時，這也違反了功能安全標準的規(guī)定，“對于失效后會導致嚴重后果的安全相關系統(tǒng)，必須由獨立的第三方評估后給出合格與否的結論”。

此外，波音提交的報告數(shù)據(jù)與實際不符，評估報告未發(fā)現(xiàn)MCAS的諸多設計缺陷，評估未要求飛行手冊上標注MCAS且未要求特別的培訓等，都是監(jiān)管上的紕漏。

功能安全標準要求采用全生命周期來管理安全相關系統(tǒng)，設計者有責任設計高安全完整性等級的安全相關系統(tǒng)，維護者有責任維護安全相關系統(tǒng)，監(jiān)管者有責任獨立評估安全相關系統(tǒng)的功能安全性能。但如果在設計上存在本質(zhì)缺陷，那么僅靠維護難以提高安全相關系統(tǒng)執(zhí)行功能的可靠性。設計者要考慮到維護者和使用者的能力限制。

新技術下復雜系統(tǒng)

面臨更多安全挑戰(zhàn)

聯(lián)想到獅航飛行員努力奮斗拉了33次機頭仍失敗墜機，聽到埃塞俄比亞航空的飛行員驚恐地報告無法控制飛機的聲音，所有人都會心疼不已。我們不禁要問，在智能化時代，我們應如何趨利避害？

從智能制造到人工智能、從5G到工業(yè)互聯(lián)網(wǎng)，新的熱點層出不窮，新的技術不斷更新?lián)Q代，智能化系統(tǒng)越來越復雜?；ヂ?lián)互通、信息集成，要將系統(tǒng)所有邊界情況一網(wǎng)打盡是天方夜譚。這種情況下，無論是設計者還是監(jiān)管部門都嚴重缺乏經(jīng)驗，面臨“你不知道自己不知道什么”的困境。

我們批評波音自己對自己的系統(tǒng)進行評估，但實際上，對于類似MCAS這樣的系統(tǒng)，監(jiān)管部門的理解和評測能力很可能不足，也沒有相應的標準。對復雜的智能化系統(tǒng)進行功能安全評測一直是業(yè)內(nèi)難題。

在智能化系統(tǒng)控制的飛機、自動駕駛汽車、現(xiàn)代化的工廠中，人的錯誤可能是導致事故的重要原因。比如2009年6月1日法航447墜落事件中，空速管結冰導致飛行控制系統(tǒng)進入故障模式，副駕駛持續(xù)拉桿的錯誤動作導致飛機失速墜落。在波音這架飛機上，駕駛員與MCAS一直在搶奪控制權，最終駕駛員失敗了。在危急時刻，該聽誰的？這需要針對每個功能進行認真研究。

另外，機器學習具有“黑箱”特質(zhì)（不確定性），面對相同情況時可能會產(chǎn)生不同結果。數(shù)據(jù)采集和學習系統(tǒng)的不完善，也可能導致無意的偏差和數(shù)據(jù)失真問題。以自動駕駛汽車為例，機器學習訓練的自動駕駛汽車很有可能在學習了相關“學習資料”之后，仍會選擇徑直撞向穿熒光綠色背心的建筑工人。

因此，當我們推行智能化與人工智能技術時，必須同步研究功能安全。

為智能制造保駕護航

波音飛機墜機事件不是孤立的功能安全事故案例。近年來的特斯拉和優(yōu)步自動駕駛汽車事故、大眾汽車變速箱機電單元問題導致汽車失速事故、遼寧鋼鐵廠鋼包控制系統(tǒng)功能失效事故、美國得州煉油廠因液位計失靈導致的爆炸事故等，都是由于設備故障導致系統(tǒng)失控，最終發(fā)生嚴重事故。

面對更新?lián)Q代的新技術和“層出不窮”的熱點，我們必須理解風險埋藏在哪里，能夠識別出那些未知且不安全的部分，然后將它們的風險控制在可容忍范圍之內(nèi)，對它們進行區(qū)分，拿出化解風險的方案并對其進行驗證。需要制定標準規(guī)范行業(yè)行為，比如，制定安全標準以規(guī)范數(shù)據(jù)采集和學習系統(tǒng)的開發(fā)行為，從而減少人工智能系統(tǒng)無意的偏差和數(shù)據(jù)失真問題。

埃塞俄比亞航空和獅航空難是巨大的悲劇，所有新技術失敗導致的事故都是人為的災難?？吹竭@些災難，不禁對智能化和人工智能等新技術心存敬畏。希望我們能深入研究功能安全技術，用標準和法規(guī)來保障新技術在安全的框架內(nèi)發(fā)展。而任何一項新技術，也只有在解決了安全問題之后，才能真正為用戶所接受。

聲明：本文為轉載類文章，如涉及版權問題，請及時聯(lián)系我們刪除（QQ:2737591964），不便之處，敬請諒解！