2017 年，《經濟學人》宣稱，數據已經超越石油成為世界上最有價值的資源。從那以后，這種說法一直在重復。各個行業的企業一直并將繼續在數據和分析領域進行大量投入。但就像石油一樣，數據和分析領域也有其陰暗面。
根據《2022 年首席信息官狀況》報告，35% 的 IT 領導者表示，數據和業務分析領域將在今年推動其公司進行最大的 IT 投資。20% 的 IT 領導者表示，機器學習/人工智能將推動企業進行最大的 IT 投資。從機器學習算法驅動的業務舉措和從分析工作中獲取的洞察力可為企業帶來競爭優勢，但一些錯誤可能會使企業在聲譽、收入甚至生命方面付出高昂的代價。
了解你的數據以及其中所包含的信息，這很重要，了解你使用的工具、了解你的數據以及牢記自己企業的價值觀也很重要。
以下是過去十年中一些在分析和人工智能領域備受矚目的錯誤，以說明哪些方面可能會出現問題。
人工智能算法可識別所有東西，但不包括新冠病毒
自新冠疫情開始以來，許多企業都在試圖利用機器學習算法來幫助醫院更快地診斷或分診患者。但據英國國家數據科學和人工智能中心“圖靈研究所”(Turing Institute) 稱，預測工具幾乎沒有帶來多少影響。
《麻省理工科技評論》(MIT Technology Review) 記錄了許多失敗案例，其中大部分失敗案例源于工具訓練或測試方式的錯誤。使用錯誤標記的數據或使用來自未知來源的數據是常見的問題起因。
劍橋大學機器學習技術研究員德里克德里格斯 (Derek Driggs) 和他的同事在《自然-機器智能》(Nature Machine Intelligence) 刊物上發表了一篇論文，探討了使用深度學習模型來診斷病毒。該論文明確指出，這一技術不適合臨床使用。例如，德里格斯的團隊發現他們自己的模型存在缺陷，因為該模型是基于一個數據集來訓練的，而該數據集包括躺臥患者的掃描圖和站立患者的掃描圖。躺臥患者更有可能患有重病，因此，該算法學會了根據掃描圖中患者的身體位置來識別新冠病毒風險。
一個類似的例子是使用含有健康兒童胸部掃描圖的數據集進行訓練的一個算法。該算法學會了如何識別兒童，而不是識別高�；颊�。
由于購房算法的災難性錯誤，Zillow 公司損失了數百萬美元，并大幅裁員
2021 年 11 月，在線房地產公司 Zillow 告訴股東，公司將在未來幾個季度結束其 Zillow Offers 業務，并將裁掉 25% 的公司員工(約 2000 名員工)。這家炒房公司的困境就是因為其用于預測房價的機器學習算法中的錯誤率所導致。
Zillow Offers 是一個程序，該公司通過該程序對某一房產給出現金報價，而該報價則是基于“Zestimate 房產估價軟件”的機器學習算法而得出的房屋價值。其想法是對這些房產進行翻新，然后迅速賣出。但 Zillow 公司的一位發言人告訴美國有線電視新聞網 (CNN)，該算法的錯誤率中位數為 1.9%，而對于未上市房屋的錯誤率可能更高，高達 6.9%。
美國有線電視新聞網報道稱，Zillow 公司自 2018 年 4 月推出 Zillow Offers以來，通過此項業務購買了 27000 套房屋，但到 2021 年 9 月底僅售出 17000 套。新冠疫情和家庭裝修勞動力短缺等黑天鵝事件也導致了該算法的準確率出現問題。
Zillow 公司表示，該算法導致公司無意中以高于當前預計的未來售價購買房屋，從而導致 2021 年第三季度的庫存房屋跌價為 3.04 億美元。
在該消息發布后，Zillow 公司聯合創始人兼首席執行官里奇巴頓 (Rich Barton) 在與投資人舉行的電話會議上表示，或許可以對該算法進行調整，但最終其風險太大。
因超出電子表格的數據限制，英國丟失了數千個新冠病毒病例
2020 年 10 月，負責統計新冠病毒新增感染病歷的英國政府機構“英國公共衛生部”(PHE) 透露，在 9 月 25 日至 10 月 2 日期間，有近 16000 例冠狀病毒病例沒有上報。其罪魁禍首是什么?Microsoft Excel 表格中的數據限制。
英國公共衛生部使用自動化流程將新冠病毒陽性實驗室結果以 CSV 文件形式轉入 Excel 模板中，然后用于報告儀表板和接觸人追蹤。不幸的是，Excel 電子表格的每個工作表最多允許有 1048576 行和 16384 列。此外，“英國公共衛生部”按列而不是按行列出感染病例。當這些病例超過 16384 列的限制時，Excel 表格會切斷底部的 15841 條記錄。
這個“小故障”并沒有影響接受病毒檢測的個人收到他們的結果，但這確實阻礙了接觸者追蹤工作，使英國國家衛生署 (NHS) 更難找到和通知與病毒感染者密切接觸的個人。英國公共衛生部 (PHE) 臨時首席執行官邁克爾布羅迪在 10 月 4 日的一份聲明中表示，英國國家衛生署的測試和追蹤部門和英國公共衛生部已迅速解決了這一問題，并已將所有未解決病例立即轉移到英國國家衛生署的測試和追蹤部門的接觸者追蹤系統中。
英國公共衛生部實施了“快速緩解措施”，將大文件進行拆分，并對所有系統進行了全面的端到端審查，以防止未來發生類似事件。
醫療服務算法未能標記黑人患者
2019 年，發表在《科學》雜志上的一項研究顯示，美國各地的醫院和保險公司使用一種醫療服務預測算法來找出需要加入“高風險護理管理”計劃的患者，但這種算法不太可能單獨挑出黑人患者。
高風險護理管理計劃可為慢性病患者提供訓練有素的護理人員和初級護理監測，以防止出現嚴重的并發癥。但該算法更有可能將這些項目推薦給白人患者，而不是黑人患者。
該項研究發現，這一算法使用醫療支出作為確定某人是否需要醫療服務的指標。但據《科學美國人》(Scientific American) 雜志報道，病情較重的黑人患者的醫療費用與更健康的白人的醫療費用相當，這意味著即使黑人患者的醫療需求更高，但他們的風險評分也會較低。
該項研究的研究人員表示，可能有幾個因素在起作用。首先，有色人種更有可能收入較低，即使有保險，也可能使他們不太可能獲得醫療服務。隱性偏見也可能導致有色人種接受到更低質量的醫療服務。
盡管該項研究沒有提及這一算法或開發者的名字，但研究人員告訴《科學美國人》雜志，他們正在與開發者合作解決這一問題。
經數據集訓練的微軟聊天機器人發表種族主義推文
2016 年 3 月，微軟了解到，使用推特平臺交流信息作為機器學習算法的訓練數據可能會產生令人沮喪的結果。
微軟在社交媒體平臺上推出了一款人工智能聊天機器人，被稱為 Tay。微軟公司將其稱為一個“對話理解”的實驗。他們的想法是，該聊天機器人將扮演一個十幾歲的少女，結合使用機器學習和自然語言處理技術，可通過推特平臺與他人進行交流。微軟將一些匿名的公共數據和喜劇演員預先編寫的材料植入該機器人中，然后讓它通過社交網絡上的交流來學習和發展。
在 16 小時內，該聊天機器人發布了 95000 多條推文，這些推文迅速呈現出公然的種族主義、厭惡女性和反猶太主義。微軟迅速暫停了該服務以進行調整，并最終停止了這一服務。
“我們對 Tay 無意識發出的冒犯性和傷害性推文深表歉意，這些推文并不代表我們的身份或我們的立場，也不代表我們設計該機器人的方式。”在此事件發生后，微軟研究與孵化部(時任微軟醫療部門公司副總裁)公司副總裁彼得李 (Peter Lee) 在微軟官方博客上的一篇文章中寫道。
李指出，微軟公司于 2014 年在中國推出了 Tay 的前身微軟小冰 (Xiaoice)，在 Tay 推出前的兩年內，微軟小冰已成功與 4000 多萬人進行了對話。令微軟公司沒有考慮到的是，一群推特用戶會立即開始向 Tay 發出種族主義和厭惡女性的言論。該機器人迅速從這些材料中進行學習，然后將這些內容整合到自己的推文中。
“盡管我們已經為多種類型的系統濫用行為做好了準備，但我們還是對這一特定的冒犯行為犯了嚴重的疏忽。因此，Tay 在推特上發布了這些非常不恰當和應受譴責的文字和圖片。”李寫道。
亞馬遜公司的人工智能招聘工具只推薦男性
與許多大公司一樣，亞馬遜公司也渴望使用一些工具，能幫助其人力資源部門篩選一些職位申請，以找到最佳的應聘者。2014 年，亞馬遜公司開始開發人工智能招聘軟件來解決這一問題。但只存在一個問題：該系統非常偏愛男性應聘者。2018 年，路透社報道稱，亞馬遜公司終止了該項目。
亞馬遜公司的系統會給應聘者打出從 1 到 5 的星級評分。但該系統核心的機器學習模型是基于提交給亞馬遜公司的 10 年簡歷數據進行訓練的其中大部分是男性簡歷。由于是基于這些訓練數據，因此，該系統便使那些包含“女性”一詞的簡歷處于不利地位，甚至會使那些來自女子大學的應聘者獲得更低的評分。
當時，亞馬遜公司表示，亞馬遜的招聘人員從未使用該工具來評估應聘者。
亞馬遜公司曾試圖修改該工具以使其保持公平，但最終認定公司無法保證這一工具不會學習到其他歧視性的候選人篩選方式，然后終止了該項目。
美國塔吉特公司 (Target) 的分析工作侵犯了隱私
2012 年，零售巨頭塔吉特公司的一個分析項目已顯示出，企業可以從其數據中了解多少客戶信息。據《紐約時報》報道，2002 年，塔吉特公司的銷售部門開始考慮如何判斷某一顧客是否懷孕。這一想法導致啟動了一個預測分析項目，該項目導致公司無意中向一名少女的家人透露了她懷孕的消息。反過來，這也導致各種文章和營銷博客引用該事件作為一個建議，以避免發生這一“令人恐怖的情況”。
塔吉特公司的營銷部門想要找出懷孕的顧客，因為在人生中的某些時期(尤其是懷孕時期)，人們極有可能徹底改變自己的購買習慣。如果塔吉特公司可以在這一時期接觸到這些顧客，例如，可以培養這些客戶的新購物行為，讓他們來塔吉特公司購買雜貨、服裝或其他商品。
與所有其他大型零售商一樣，塔吉特公司一直在通過購物者代碼、信用卡、調查等方式收集顧客數據。它將這些數據與其購買的人口數據和第三方數據整合在一起。對所有這些數據進行處理后，塔吉特公司的分析團隊能夠確定，通過對公司售出的大約 25 種產品一起進行分析，可以生成一個“懷孕預測”分數。然后，營銷部門可以針對高評分顧客提供優惠券和發送營銷信息。
進一步的研究表明，研究顧客的生育狀況可能會讓其中一些顧客感到恐怖。據《紐約時報》報道，該公司并沒有放棄自己的定向市場營銷工作，但他們確實開始混入一些他們知道孕婦不會購買的商品的廣告(包括在尿布廣告旁邊出現割草機廣告)，以使顧客覺得這些廣告組合很隨機。
