2017年，《經(jīng)濟(jì)學(xué)人》宣稱，數(shù)據(jù)已經(jīng)超越石油成為世界上最有價值的資源。各行各業(yè)并一直將繼續(xù)在數(shù)據(jù)和分析領(lǐng)域進(jìn)行大量投入。但，數(shù)據(jù)和分析領(lǐng)域也有其陰暗面。

　　根據(jù)《2022年首席信息官狀況》報告，35%的IT領(lǐng)導(dǎo)者表示，數(shù)據(jù)和業(yè)務(wù)分析領(lǐng)域?qū)⒃诮衲晖苿悠涔具M(jìn)行最大的IT投資。20%的IT領(lǐng)導(dǎo)者表示，機器學(xué)習(xí)/人工智能將推動企業(yè)進(jìn)行最大的IT投資。從機器學(xué)習(xí)算法驅(qū)動的業(yè)務(wù)舉措和從分析工作中獲取的洞察力可為企業(yè)帶來競爭優(yōu)勢，但一些錯誤可能會使企業(yè)在聲譽、收入甚至生命方面付出高昂的代價。

　　了解數(shù)據(jù)以及其中所包含的信息，這很重要，了解使用的工具、數(shù)據(jù)以及牢記自己企業(yè)的價值觀也很重要。

　　以下是過去十年中關(guān)于在分析人工智能領(lǐng)域備受矚目的錯誤，以及說明哪些方面可能會出現(xiàn)問題。

　　人工智能算法可識別所有東西，但不包括新冠病毒

　　自新冠疫情開始以來，許多企業(yè)都在試圖利用機器學(xué)習(xí)算法來幫助醫(yī)院更快地診斷或分診患者。但據(jù)英國國家數(shù)據(jù)科學(xué)和人工智能中心“圖靈研究所”(TuringInstitute)稱，預(yù)測工具幾乎沒有帶來多少影響。

　　《麻省理工科技評論》(MITTechnologyReview)記錄了許多失敗案例，其中大部分失敗案例源于工具訓(xùn)練或測試方式的錯誤。使用錯誤標(biāo)記的數(shù)據(jù)或使用來自未知來源的數(shù)據(jù)是常見的問題起因。

　　劍橋大學(xué)機器學(xué)習(xí)技術(shù)研究員DerekDriggs和他的同事在《自然-機器智能》(NatureMachineIntelligence)刊物上發(fā)表了一篇論文，探討了使用深度學(xué)習(xí)模型來診斷病毒。該論文明確指出，這一技術(shù)不適合臨床使用。例如，德里格斯的團(tuán)隊發(fā)現(xiàn)自己的模型存在缺陷，因為該模型是基于一個數(shù)據(jù)集來訓(xùn)練的，而該數(shù)據(jù)集包括躺臥患者的掃描圖和站立患者的掃描圖。躺臥患者更有可能患有重病，因此，該算法學(xué)會了根據(jù)掃描圖中患者的身體位置來識別新冠病毒風(fēng)險。

　　一個類似的例子是使用含有健康兒童胸部掃描圖的數(shù)據(jù)集進(jìn)行訓(xùn)練的一個算法。該算法學(xué)會了如何識別兒童，而不是識別高?；颊?。

　　由于購房算法的災(zāi)難性錯誤，Zillow公司損失了數(shù)百萬美元，并大幅裁員

　　2021年11月，在線房地產(chǎn)公司Zillow告訴股東，公司將在未來幾個季度結(jié)束其ZillowOffers業(yè)務(wù)，并將裁掉25%的公司員工(約2000名員工)。這家炒房公司的困境就是因為其用于預(yù)測房價的機器學(xué)習(xí)算法中的錯誤率所導(dǎo)致。

　　ZillowOffers是一個程序，該公司通過該程序?qū)δ骋环慨a(chǎn)給出現(xiàn)金報價，而該報價則是基于“Zestimate房產(chǎn)估價軟件”的機器學(xué)習(xí)算法而得出的房屋價值。其想法是對這些房產(chǎn)進(jìn)行翻新，然后迅速賣出。但Zillow公司的一位發(fā)言人告訴美國有線電視新聞網(wǎng)(CNN)，該算法的錯誤率中位數(shù)為1.9%，而對于未上市房屋的錯誤率可能更高，高達(dá)6.9%。

　　美國有線電視新聞網(wǎng)報道稱，Zillow公司自2018年4月推出ZillowOffers以來，通過此項業(yè)務(wù)購買了27000套房屋，但到2021年9月底僅售出17000套。新冠疫情和家庭裝修勞動力短缺等黑天鵝事件也導(dǎo)致了該算法的準(zhǔn)確率出現(xiàn)問題。

　　Zillow公司表示，該算法導(dǎo)致公司無意中以高于當(dāng)前預(yù)計的未來售價購買房屋，從而導(dǎo)致2021年第三季度的庫存房屋跌價為3.04億美元。

　　在該消息發(fā)布后，Zillow公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官RichBarton在與投資人舉行的電話會議上表示，或許可以對該算法進(jìn)行調(diào)整，但最終其風(fēng)險太大。

　　因超出電子表格的數(shù)據(jù)限制，英國丟失了數(shù)千個新冠病毒病例

　　2020年10月，負(fù)責(zé)統(tǒng)計新冠病毒新增感染病歷的英國政府機構(gòu)“英國公共衛(wèi)生部”(PHE)透露，在9月25日至10月2日期間，有近16000例冠狀病毒病例沒有上報。其罪魁禍?zhǔn)资鞘裁?MicrosoftExcel表格中的數(shù)據(jù)限制。

　　英國公共衛(wèi)生部使用自動化流程將新冠病毒陽性實驗室結(jié)果以CSV文件形式轉(zhuǎn)入Excel模板中，然后用于報告儀表板和接觸人追蹤。不幸的是，Excel電子表格的每個工作表最多允許有1048576行和16384列。此外，“英國公共衛(wèi)生部”按列而不是按行列出感染病例。當(dāng)這些病例超過16384列的限制時，Excel表格會切斷底部的15841條記錄。

　　這個“小故障”并沒有影響接受病毒檢測的個人收到他們的結(jié)果，但這確實阻礙了接觸者追蹤工作，使英國國家衛(wèi)生署(NHS)更難找到和通知與病毒感染者密切接觸的個人。英國公共衛(wèi)生部(PHE)臨時首席執(zhí)行官邁克爾·布羅迪在10月4日的一份聲明中表示，英國國家衛(wèi)生署的測試和追蹤部門和英國公共衛(wèi)生部已迅速解決了這一問題，并已將所有未解決病例立即轉(zhuǎn)移到英國國家衛(wèi)生署的測試和追蹤部門的接觸者追蹤系統(tǒng)中。

　　英國公共衛(wèi)生部實施了“快速緩解措施”，將大文件進(jìn)行拆分，并對所有系統(tǒng)進(jìn)行了全面的端到端審查，以防止未來發(fā)生類似事件。

　　醫(yī)療服務(wù)算法未能標(biāo)記黑人患者

　　2019年，發(fā)表在《科學(xué)》雜志上的一項研究顯示，美國各地的醫(yī)院和保險公司使用一種醫(yī)療服務(wù)預(yù)測算法來找出需要加入“高風(fēng)險護(hù)理管理”計劃的患者，但這種算法不太可能單獨挑出黑人患者。

　　高風(fēng)險護(hù)理管理計劃可為慢性病患者提供訓(xùn)練有素的護(hù)理人員和初級護(hù)理監(jiān)測，以防止出現(xiàn)嚴(yán)重的并發(fā)癥。但該算法更有可能將這些項目推薦給白人患者，而不是黑人患者。

　　該項研究發(fā)現(xiàn)，這一算法使用醫(yī)療支出作為確定某人是否需要醫(yī)療服務(wù)的指標(biāo)。但據(jù)《科學(xué)美國人》(ScientificAmerican)雜志報道，病情較重的黑人患者的醫(yī)療費用與更健康的白人的醫(yī)療費用相當(dāng)，這意味著即使黑人患者的醫(yī)療需求更高，但他們的風(fēng)險評分也會較低。

　　該項研究的研究人員表示，可能有幾個因素在起作用。首先，有色人種更有可能收入較低，即使有保險，也可能使他們不太可能獲得醫(yī)療服務(wù)。隱性偏見也可能導(dǎo)致有色人種接受到更低質(zhì)量的醫(yī)療服務(wù)。

　　盡管該項研究沒有提及這一算法或開發(fā)者的名字，但研究人員告訴《科學(xué)美國人》雜志，他們正在與開發(fā)者合作解決這一問題。

　　經(jīng)數(shù)據(jù)集訓(xùn)練的微軟聊天機器人發(fā)表種族主義推文

　　2016年3月，微軟了解到，使用推特平臺交流信息作為機器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可能會產(chǎn)生令人沮喪的結(jié)果。

　　微軟在社交媒體平臺上推出了一款人工智能聊天機器人，被稱為Tay。微軟公司將其稱為一個“對話理解”的實驗。他們的想法是，該聊天機器人將扮演一個十幾歲的少女，結(jié)合使用機器學(xué)習(xí)和自然語言處理技術(shù)，可通過推特平臺與他人進(jìn)行交流。微軟將一些匿名的公共數(shù)據(jù)和喜劇演員預(yù)先編寫的材料植入該機器人中，然后讓它通過社交網(wǎng)絡(luò)上的交流來學(xué)習(xí)和發(fā)展。

　　在16小時內(nèi)，該聊天機器人發(fā)布了95000多條推文，這些推文迅速呈現(xiàn)出公然的種族主義、厭惡女性和反猶太主義。微軟迅速暫停了該服務(wù)以進(jìn)行調(diào)整，并最終停止了這一服務(wù)。

　　“我們對Tay無意識發(fā)出的冒犯性和傷害性推文深表歉意，這些推文并不代表我們的身份或我們的立場，也不代表我們設(shè)計該機器人的方式?！痹诖耸录l(fā)生后，微軟研究與孵化部(時任微軟醫(yī)療部門公司副總裁)公司副總裁PeterLee在微軟官方博客上的一篇文章中寫道。

　　李指出，微軟公司于2014年在中國推出了Tay的前身微軟小冰(Xiaoice)，在Tay推出前的兩年內(nèi)，微軟小冰已成功與4000多萬人進(jìn)行了對話。令微軟公司沒有考慮到的是，一群推特用戶會立即開始向Tay發(fā)出種族主義和厭惡女性的言論。該機器人迅速從這些材料中進(jìn)行學(xué)習(xí)，然后將這些內(nèi)容整合到自己的推文中。

　　“盡管我們已經(jīng)為多種類型的系統(tǒng)濫用行為做好了準(zhǔn)備，但我們還是對這一特定的冒犯行為犯了嚴(yán)重的疏忽。因此，Tay在推特上發(fā)布了這些非常不恰當(dāng)和應(yīng)受譴責(zé)的文字和圖片?！盠ee寫道。

　　亞馬遜公司的人工智能招聘工具只推薦男性

　　與許多大公司一樣，亞馬遜公司也渴望使用一些工具，能幫助其人力資源部門篩選一些職位申請，以找到最佳的應(yīng)聘者。2014年，亞馬遜公司開始開發(fā)人工智能招聘軟件來解決這一問題。但只存在一個問題：該系統(tǒng)非常偏愛男性應(yīng)聘者。2018年，路透社報道稱，亞馬遜公司終止了該項目。

　　亞馬遜公司的系統(tǒng)會給應(yīng)聘者打出從1到5的星級評分。但該系統(tǒng)核心的機器學(xué)習(xí)模型是基于提交給亞馬遜公司的10年簡歷數(shù)據(jù)進(jìn)行訓(xùn)練的——其中大部分是男性簡歷。由于是基于這些訓(xùn)練數(shù)據(jù)，因此，該系統(tǒng)便使那些包含“女性”一詞的簡歷處于不利地位，甚至?xí)鼓切﹣碜耘哟髮W(xué)的應(yīng)聘者獲得更低的評分。

　　當(dāng)時，亞馬遜公司表示，亞馬遜的招聘人員從未使用該工具來評估應(yīng)聘者。

　　亞馬遜公司曾試圖修改該工具以使其保持公平，但最終認(rèn)定公司無法保證這一工具不會學(xué)習(xí)到其他歧視性的候選人篩選方式，然后終止了該項目。

　　美國塔吉特公司(Target)的分析工作侵犯了隱私

　　2012年，零售巨頭塔吉特公司的一個分析項目已顯示出，企業(yè)可以從其數(shù)據(jù)中了解多少客戶信息。據(jù)《紐約時報》報道，2002年，塔吉特公司的銷售部門開始考慮如何判斷某一顧客是否懷孕。這一想法導(dǎo)致啟動了一個預(yù)測分析項目，該項目導(dǎo)致公司無意中向一名少女的家人透露了她懷孕的消息。反過來，這也導(dǎo)致各種文章和營銷博客引用該事件作為一個建議，以避免發(fā)生這一“令人恐怖的情況”。

　　塔吉特公司的營銷部門想要找出懷孕的顧客，因為在人生中的某些時期(尤其是懷孕時期)，人們極有可能徹底改變自己的購買習(xí)慣。如果塔吉特公司可以在這一時期接觸到這些顧客，例如，可以培養(yǎng)這些客戶的新購物行為，讓他們來塔吉特公司購買雜貨、服裝或其他商品。

　　與所有其他大型零售商一樣，塔吉特公司一直在通過購物者代碼、信用卡、調(diào)查等方式收集顧客數(shù)據(jù)。它將這些數(shù)據(jù)與其購買的人口數(shù)據(jù)和第三方數(shù)據(jù)整合在一起。對所有這些數(shù)據(jù)進(jìn)行處理后，塔吉特公司的分析團(tuán)隊能夠確定，通過對公司售出的大約25種產(chǎn)品一起進(jìn)行分析，可以生成一個“懷孕預(yù)測”分?jǐn)?shù)。然后，營銷部門可以針對高評分顧客提供優(yōu)惠券和發(fā)送營銷信息。

　　進(jìn)一步的研究表明，研究顧客的生育狀況可能會讓其中一些顧客感到恐怖。據(jù)《紐約時報》報道，該公司并沒有放棄自己的定向市場營銷工作，但他們確實開始混入一些他們知道孕婦不會購買的商品的廣告(包括在尿布廣告旁邊出現(xiàn)割草機廣告)，以使顧客覺得這些廣告組合很隨機。