2017年，《經濟學人》宣布，數據已成為世界上最有價值的資源，而不是石油。從那以后，各個行業的企業一直并將繼續在數據和分析方面投入巨資，但與石油一樣，數據和分析也有其陰暗面。

《2023年CIO狀況報告》的數據顯示，34%的IT領導者表示，數據和業務分析將推動其企業今年的最大IT投資。26%的IT領導者表示，ML/AI將推動最大的IT投資。從ML算法驅動的分析和行動中獲得的見解可以為企業帶來競爭優勢，但錯誤可能會給聲譽、收入甚至生命帶來代價。

了解你的數據及其告訴你的信息很重要，同時，了解你的工具、了解你的數據并牢記你企業的價值觀也很重要。

以下是過去十年的幾個備受矚目的數據分析和AI領域中發生的錯誤，以說明可能會出什么問題。

Gannett利用AI撰寫的體育方面的文章出現錯誤

2023年8月，報業連鎖店Gannett宣布將暫停使用一種名為LedeAI的AI工具，此前AI撰寫的幾篇新聞稿因重復、糟糕和缺乏關鍵細節而在網上瘋傳。

美國有線電視新聞網舉了一個例子，由互聯網檔案館的Wayback Machine保存，它的開頭是：“沃辛頓基督徒在周六的一場俄亥俄州男孩足球比賽中以2：1擊敗了韋斯特維爾北部。”

CNN在其他Gannett當地報紙上發現了LedeAI寫的類似故事，包括路易斯維爾信使日報、今日佛羅里達州亞利桑那州中心和密爾沃基日報哨兵報。

在這些故事在社交媒體上遭到嚴厲嘲諷后，Gannett選擇暫停在所有使用LedeAI服務的當地市場使用LedeAI。

在給CNN的一份聲明中，LedeAI的CEO杰伊·奧爾雷德表達了歉意，并承諾將全天候努力糾正這些問題。

ITutorGroup利用AI進行招聘時AI因年齡原因拒絕申請者

2023年8月，輔導公司iTutorGroup同意支付36.5萬美元了結美國平等就業機會委員會(EEOC)提起的訴訟。聯邦機構表示，該公司為中國的學生提供遠程輔導服務，使用AI招聘軟件，自動拒絕55歲及以上的女性申請者和60歲及以上的男性申請者。

平等就業機會委員會表示，該軟件已自動拒絕了200多名符合條件的申請者。

“年齡歧視是不公正和非法的，”平等就業機會委員會主席夏洛特·A·伯羅斯在一份聲明中說。“即使技術使歧視行為自動化，雇主仍負有責任。”

ITutorGroup否認有任何不當行為，但確實決定了結這起訴訟。作為和解和同意法令的一部分，它同意采取新的反歧視政策。

ChatGPT讓法庭案件產生幻覺

大型語言模型在2023年取得的進展，引發了人們對AIGC在幾乎每個行業的變革潛力的廣泛興趣。OpenAI的ChatGPT一直處于這股興趣激增的中心，預示著富于創造力的AI將如何在幾乎商業的每一個角落顛覆工作性質。

但這項技術在能夠可靠地接管大多數業務流程之前還有很長的路要走，律師史蒂文·A·施瓦茨在2023年發現自己在使用ChatGPT研究哥倫比亞航空公司Avianca訴訟的先例后，遇到了美國地區法官P.Kevin Castel的麻煩。

施瓦茨是Levidow，Levidow&Oberman律師事務所的律師，他使用OpenAIAIGC聊天機器人找到了之前的案例，以支持Avianca員工羅伯托·馬塔在2019年因受傷而提起的訴訟。唯一的問題是?在案情摘要中提交的案件中，至少有六起不存在。在5月份提交的一份文件中，卡斯特爾法官指出，施瓦茨提交的案件包括假姓名和案卷編號，以及虛假的內部引用和引用。施瓦茨的伴侶彼得·洛杜卡是馬塔的記錄律師，并在案情摘要上簽字，這讓他自己也處于危險之中。

在一份宣誓書中，施瓦茨向法庭表示，這是他第一次使用ChatGPT作為法律研究來源，他“沒有意識到其內容可能是虛假的。”他承認，他沒有證實AI聊天機器人提供的消息來源。他還表示，他“非常后悔利用產生式AI來補充本文所進行的法律研究，在沒有對其真實性進行絕對核實的情況下，今后永遠不會這樣做。”

2023年6月，卡斯特爾法官對施瓦茨和洛杜卡處以5000美元的罰款。在6月份的另一項裁決中，卡斯特爾法官駁回了馬塔對Avianca的訴訟。

AI算法可以識別除新冠肺炎以外的所有東西

自新冠肺炎疫情爆發以來，許多企業尋求應用機器學習(ML)算法來幫助醫院更快地診斷或分流患者。但根據英國國家數據科學和AI中心圖靈研究所的說法，預測工具幾乎沒有作用。

《麻省理工學院技術評論》記錄了一系列的失敗，其中大部分源于工具訓練或測試方式的錯誤。使用錯誤標簽的數據或來自未知來源的數據是常見的罪魁禍首。

劍橋大學的機器學習研究員Derek Driggs和他的同事在《自然機器智能》雜志上發表了一篇論文，探索了深度學習模型在診斷病毒方面的使用。本文認為該技術不適合臨床應用。例如，Driggs的團隊發現他們自己的模型是有缺陷的，因為它是在一個數據集上訓練的，該數據集包括掃描時躺著的患者和站著的患者的掃描結果。躺著的患者更有可能患上重病，所以算法學會了根據掃描中人的位置來識別冠狀病毒感染的風險。

一個類似的例子包括一個用數據集訓練的算法，該數據集包括對健康兒童的胸部掃描。該算法學會了識別兒童，而不是高?；颊?。

Zillow減記數百萬美元，因利用算法購房造成的災難而大幅裁員

2021年11月，在線房地產市場Zillow告訴股東，將在未來幾個季度結束Zillow提供的業務，并裁員25%-約2000名員工。房屋翻轉單元的困境是它用來預測房價的機器學習算法錯誤率的結果。

Zillow Offers是一個項目，通過該項目，該公司根據從機器學習算法得出的房屋價值的“Z估計”，對房產進行現金報價。他們的想法是對房產進行翻新，并迅速將其轉手。但Zillow的一位發言人告訴CNN，該算法的錯誤率中值為1.9%，對于非市場房屋來說，錯誤率可能要高得多，高達6.9%。

美國有線電視新聞網報道，自2018年4月推出以來，Zillow通過Zillow優惠購買了2.7萬套住房，但截至2021年9月底僅售出1.7萬套。新冠肺炎疫情和房屋翻修勞動力短缺等黑天鵝事件導致了該算法的準確性問題。

Zillow表示，該算法導致其無意中以高于目前對未來售價的估計的價格購買了房屋，導致2021年第三季度的庫存減記3.04億美元。

在宣布這一消息后與投資者舉行的電話會議上，Zillow聯合創始人兼首席執行官里奇·巴頓表示，或許可以調整算法，但最終風險太大。

醫療保健算法未能標記黑人患者

2019年，發表在《科學》雜志上的一項研究顯示，全美醫院和保險公司用來識別需要高風險護理管理計劃的患者的醫療保健預測算法，挑出黑人患者的可能性要小得多。

高風險護理管理方案為慢性病患者提供訓練有素的護理人員和初級保健監測，以努力預防嚴重并發癥。但該算法更有可能推薦白人患者參加這些項目，而不是黑人患者。

研究發現，該算法使用醫療支出作為確定個人醫療需求的指標。但根據科學美國人的數據，病情較重的黑人患者的醫療成本與較健康的白人患者的成本持平，這意味著即使他們的需求更大，他們獲得的風險分數也更低。

這項研究的研究人員表示，可能有幾個因素起到了作用。首先，有色人種更有可能收入較低，即使在有保險的情況下，這也可能使他們更難獲得醫療保健。隱含的偏見也可能導致有色人種接受質量較低的護理。

雖然這項研究沒有透露算法或開發者的名字，但研究人員告訴《科學美國人》，他們正在與開發者合作解決這種情況。

DataSet訓練微軟聊天機器人發出種族主義推文

2016年3月，微軟了解到，使用Twitter互動作為機器學習算法的訓練數據可能會產生令人沮喪的結果。

微軟在社交媒體平臺上發布了AI聊天機器人Tay。該公司將其描述為“對話理解”的一次實驗。當時的想法是，聊天機器人將扮演少女的角色，并通過機器學習和自然語言處理相結合的方式通過Twitter與個人互動。微軟為它播種了匿名的公共數據和一些喜劇演員預先編寫的材料，然后讓它自由發揮，從它在社交網絡上的互動中學習和進化。

在16個小時內，聊天機器人發布了超過9.5萬條推文，這些推文迅速變成了公開的種族主義、厭女者和反猶太主義者。微軟很快暫停了這項服務，進行了調整，并最終取消了這項服務。

事件發生后，微軟研究與孵化公司副總裁(時任微軟醫療保健公司副總裁)彼得·李在微軟官方博客上發帖稱：“我們對泰的無意識冒犯和傷害性推文深表歉意，這些推文并不代表我們是誰，我們代表的是什么，也不代表我們是如何設計泰伊的。”

Lee指出，Tay的前任小冰，由微軟于2014年在中國發布，在Tay發布之前的兩年里，已經成功地與4000多萬人進行了對話。微軟沒有考慮到的是，一群Twitter用戶會立即開始向Tay發布種族主義和厭惡女性的言論。機器人很快就從這些材料中吸取了教訓，并將其納入了自己的推文。

盡管我們已經為許多類型的濫用系統做好了準備，但我們對這次特定的攻擊進行了嚴重的疏忽。因此，泰在推特上發布了極其不恰當和應受譴責的文字和圖片。

亞馬遜AI招聘工具僅推薦男性

像許多大公司一樣，亞馬遜渴望能夠幫助其人力資源部門篩選出最佳應聘者的工具。2014年，亞馬遜開始研發AI招聘軟件來實現這一目標。只有一個問題：這一制度大大偏愛男性候選人。2018年，路透社爆出亞馬遜放棄該項目的消息。

亞馬遜的系統給應聘者打出了從1到5的星級。但系統核心的機器學習模型是根據提交給亞馬遜的10年簡歷進行訓練的，其中大部分是男性簡歷。作為培訓數據的結果，該系統開始懲罰簡歷中包含“女性”一詞的短語，甚至降低了全女子大學的候選人的等級。

當時，亞馬遜表示，亞馬遜招聘人員從未使用過該工具來評估應聘者。

該公司試圖對該工具進行編輯，使其保持中立，但最終決定不能保證不會學習其他一些歧視性的排序候選人的方法，并終止了該項目。

Target的分析侵犯了隱私

2012年，零售業巨頭塔吉特(Target)的一個分析項目展示了公司可以從數據中了解到多少客戶信息。據《紐約時報》報道，塔吉特的市場部在2002年開始考慮如何確定客戶是否懷孕。這一系列調查導致了一個預測性分析項目，眾所周知，該項目將導致這家零售商無意中向一名十幾歲女孩的家人透露她懷孕了。這反過來會導致各種文章和營銷博客將這一事件作為避免“令人毛骨悚然的因素”的建議的一部分。

塔吉特的市場部想要識別懷孕的人，因為在生活中的某些時期--尤其是懷孕--人們最有可能從根本上改變他們的購買習慣。例如，如果塔吉特能夠在這段時間接觸到客戶，它就可以培養這些客戶的新行為，讓他們轉向塔吉特購買食品雜貨、服裝或其他商品。

像所有其他大型零售商一樣，塔吉特一直在通過購物者代碼、信用卡、調查等方式收集客戶數據。它將這些數據與人口統計數據和它購買的第三方數據混合在一起。通過對所有這些數據的分析，Target的分析團隊確定了Target銷售的大約25種產品，這些產品可以一起分析，以生成“懷孕預測”分數。然后，營銷部門可以通過優惠券和營銷信息瞄準得分較高的客戶。

進一步的研究將揭示，研究客戶的生殖狀況可能會讓其中一些客戶感到毛骨悚然。根據《泰晤士報》的報道，該公司并沒有放棄定向營銷，但確實開始在他們知道孕婦不會購買的東西的廣告中加入——包括割草機廣告和尿布廣告——讓消費者感覺廣告組合是隨機的。