AI也有偏見，我們該如何信任它們？

1970年，愛德華·肖特利夫（Edward H. Shortliffe）在斯坦福大學的嘗試室里起頭著手編寫一個Lisp程序。這個名為MYCIN的系統經由過程一系列的長短問題幫忙大夫判定病人是否患有遺傳性血液疾病，并按照病人體重建議抗生素用量。作為汗青上最早的專家系統之一，MYCIN的準確率僅為65%，相較血液科醫師80%的準確率相去甚遠，并且因為程序過于復雜，最終也沒有投入利用。

2019年，150名受試者來到UCLA的VCLA中間，不雅看Baxter機械人打開附有平安鎖的藥瓶。隨后，Baxter標的目的此中一些受試者詮釋了本身是若何打開藥瓶的，剩下的人沒有獲得任何詮釋。最后，嘗試者標的目的所有人提問：您在多大水平上相信這個機械人會開藥瓶？

在曩昔的半個宿世紀里，機械的計較與儲存能力突飛大進，我們可以輕松地在計較機上運行像MYCIN一樣相對簡單的系統，甚至可以練習深度神經收集、撐持標的目的量機（Support Vector Machine）等加倍復雜的模子達到接近專業大夫的診斷程度，或是讓機械人完當作相對復雜的邃密動作。

可是，AI系統的機能晉升也帶來了新的問題：若是這些系統進入我們的糊口，您會信賴它們作出的決議嗎？

為何要詮釋AI？

^{AI如日中天，我們為什么要停下來思慮怎么詮釋它？}

2016年5月，ProPublica發布了一篇名為《機械成見》的調查陳述，聚焦一個名為COMPAS的AI系統。COMPAS被普遍應用于美國司法量刑。它基于已有的犯罪記實，測驗考試展望被告被再次拘系的概率，得出一個1到10分之間的分數——分數越高，它建議的量刑越重，以期更有用地懲辦潛在的再犯。

ProPublica闡發了18000多人的COMPAS分數和犯罪記實，發現黑人與白人的分數分布較著分歧——在犯罪汗青、再拘系記實、春秋、性別都不異的前提下，黑人被告獲得更高COMPAS分數的概率高于白人被告45%。別的，有48%在兩年內被再次拘系的白人被告的COMPAS分數被低估，幾乎是黑人被告的兩倍。因為數據來自具有布局性不公的情況（既有司法系統傾標的目的于區別看待分歧人種），COMPAS的（輕率）決議也受此影響。然而，因為COMPAS是一個黑箱系統，法官只能看到分數，對內部的決議計劃機制全無所聞，導致他們無法有用評估系統的建議。另一篇調查陳述更是指出，COMPAS的精確率半斤八兩于幾乎沒有刑事司法專業常識的人。

無獨有偶，2015年，有效戶發現谷歌的圖像識別系統將本身的黑人伴侶標識表記標幟為“大猩猩”，在推特上引起軒然大波。直到2018年，谷歌仍然沒有完全修復這一縫隙，只是將靈長類的標簽從系統中移除，并稱“圖像識別手藝還不當作熟”。同樣是2015年，紐約西奈山病院用70萬病人的數據練習了一個名為“深度病人”的深度神經收集，用以輔助醫療診斷。“深度病人”對精力割裂癥的展望出乎料想地精確，但沒有大夫知道為什么，天然也無法應用于本身的臨床診斷；當它被用于闡發病院以外的X光片時，系統準確率莫名呈現了大幅下降。

“數據不會扯謊。”但這毫不意味著我們不需要細心審閱它們，或是賜與基于數據之上的AI系統無前提的信賴。肖特利夫的MYCIN系統素質上是一個決議計劃樹，屬于“透明”的模子——我們可以畫出從數據輸入起頭完整的決議計劃過程，從而評估MYCIN的決議。深度神經收集的機能遠遠優于決議計劃樹，但它是一個“黑箱”——我們幾乎不成能切當地知道它在算什么。機能與可詮釋性似乎此消彼長。

對一位只追求準確率和機能的算法工程師來說，黑箱AI未必不受待見：一個可以或許精確展望95%的事務的黑箱系統，必定比另一個準確率只有65%、更透明的系統好。可是，當工程師需要調整系統內部“零件”的時辰（好比修復谷歌圖像識別系統），黑箱會讓這項使命無比艱難：到底是哪一步犯錯了？是用于練習的數據有問題，仍是模子自己的機能不足，或是損掉函數（loss function）有待改良？置身黑箱之外的工程師很難提綱契領地指出病灶。

我們中的大大都人也許少少有機遇當作為工程師、法官、大夫，但這不故障黑箱AI對我們的糊口造當作影響。與我們的一廂情愿相反，不敷透明的AI系統非但沒有比人類更客不雅、公道、切確，反而加深了既存的成見和不公道，對數字平易近本家兒和根基人權組成威脅，而對這些系統的節制、介入和審計也更為堅苦。當我們無法解讀AI作出的決議計劃，對它將來的預期不外是空言無補，信賴也無從談起。

可詮釋AI（Explainable AI，即XAI）想要解決的恰是這類問題。XAI認為，經由過程詮釋AI系統的決議計劃過程，人類可以或許更好地輿解它的機制、優錯誤謬誤、潛在影響等特征，從而更有用地展望系統的行為，達到慢慢成立信賴關系的結果。若是AI革命不成避免，至少一個可被詮釋的系統可以或許更好地融入極新的算法社會契約——例如伊亞德·拉萬（Iyad Rahwan）提出的社會回環（Society-in-the-loop）——與人類共保存，而不必當作為敵對的關系。

我需要一個詮釋

可詮釋AI畢竟是為人辦事的（比如高階編程說話是為了人類設計的，不然機械之間的“交流”大可以用機械編碼之類人類無法等閑讀寫的“說話”）。所以“詮釋性”也是相對人而言的。關于黑箱AI系統，什么樣的詮釋才是好的詮釋？心理學家和哲學家早就起頭分頭研究，但各不相謀。

詮釋經常需要闡述特定的因果關系或因果模式，例如“我不吃杏仁，因為我對堅果過敏”。這樣的詮釋很是貼切（沒有轉移話題），直接了然（不存在輪回論證），邏輯嚴密。有的現象卻很難用通俗的因果關系詮釋——請試著回覆，“我擲了一次骰子，為什么朝上的一面是3？”當然，您可以引用物理法例來詮釋擲骰子的具體過程，但我可能一頭霧水。為了避免這樣的尷尬，您也許會說起相關的（非因果的）概念，好比“隨機性”，或是用類比等手法讓您的詮釋更輕易被聽眾接管（好比上一段的第一句話）。一般而言，因果關系在詮釋中占有不成擺蕩的地位，但不是獨一的手段。

^{-Zoe? van Dijk-}

既然詮釋自己可以有各類形式，為了篩選出最好的可詮釋AI，我們為什么不直接問：您理解這個系統在做什么嗎？相關的心理學研究也簡直利用了近似的方式來揣度人們是否可以或許經由過程描述性詮釋理解某一概念。它們發現，客不雅上，當受試者對某一概念有更好的理解時，他們能經由過程本家兒不雅的直覺感受到本身的認知前進，比如“茅塞頓開”。

然而，耶魯大學的列昂尼德·羅森布里特（Leonid Rozenblit）和弗蘭克·凱爾（Frank Keil）提出的“詮釋深度的錯覺”（Illusion of Explanatory Depth）仿佛當頭棒喝。羅森布里特和凱爾讓受試者起首評價本身對某一東西（好比拉鏈）的理解，然后具體地詮釋這個東西的工作機制，并再次評價本身的對它的理解。他們發現，比擬一起頭，試圖詮釋后的受試者對本身理解的評價較著下滑，仿佛俄然意識到本身其實一知半解。這就是“詮釋深度的錯覺”。這種錯覺影響著所有人（包羅小孩子），而且只感化于詮釋性的常識。完全相反的環境也不少見：人們會自稱不睬解一個動力系統，卻能諳練地利用它。

另一方面，規范（normative）詮釋在哲學（尤其是科學哲學）中發揚光大。規范詮釋有意忽略小我身分，好比認知能力，而是存眷“應有”的理解。是以，規范理解可以被視為一種基準，用來闡發哪些信息該當被包含在詮釋里，以及受眾會有何種水平的理解。更進一步地說，好的（規范）詮釋該當從理解的目標出發，基于受眾與黑箱AI的關系給出分歧的詮釋。顯然，修補系統縫隙的工程師和審核系統公道性的法官所需的理解是分歧的。我們可以合理假設前者具有足夠的手藝常識布景，也許將計較模子可視化就供給了足夠好的詮釋。后者需要的是更抽象的文字詮釋，好比“其他前提不變，COMPAS系統展望黑人被告和白人被告被再次拘系的概率分歧。”兩種都是好的（規范）詮釋，一旦交換卻可能當作為各自的雞肋。

規范詮釋看似加倍直截了當，但在現實應用中還沒有切當實現或評估的共識。描述性詮釋似乎也不甚完美。時至今日，我們仍未整合描述性詮釋和規范詮釋，關于詮釋的研究和可詮釋AI還在齊頭并進。

有了可詮釋的AI就萬事大吉嗎？

2017年起頭，美國國防高級研究打算署（DARPA）投資了一系列XAI的項目，包羅UCLA的VCLA中間的研究項目。2018年，ACM本家兒辦了第一屆FAT*會議，存眷AI系統的公道性、問責制和透明度。同年，AAAI與ACM配合舉辦第一屆AIES（人工智能、倫理與社會）會議。谷歌、微軟等科技公司也陸續介入XAI的研發。各界對于XAI的存眷促當作了很多“拆穿”黑箱AI的測驗考試，從DeepMind提出的機械心智理論（Machine Theory of Mind），到將黑箱神經收集轉化為“透明”的布爾電路（Boolean circuit），再到LIME（Local Interpretable Model-Agnostic Explanation）等經由過程近似黑箱模子提取主要特征的方式。固然XAI今朝詮釋的對象本家兒如果工程師等研發人員，可是在將來，我們將會看到更多面標的目的公共的XAI，好比標的目的您詮釋若何開藥瓶的Baxter。

XAI并不是終點；它最多算一個起點，而我們還有很多亟待解決的問題。起首，對黑箱AI的詮釋可以被悄無聲氣地竄改，可以完全驢唇不對馬嘴，并且很難察覺。哈佛大學的希瑪賓度·拉卡拉朱（Himabindu Lakkaraju）和她的學生們發現，只需在模子上動一些簡單的四肢舉動，就能讓它濫用COMPAS數據集里的種族信息決議量刑，但一旦LIME來“觀察”，它立即擺出無辜的嘴臉，完全不露餡。這就意味著，即使有XAI為東西，我們對AI的信賴也不該當盲目地依靠系統的靠得住性和（概況上）信息的透明性，理智與批判性思慮將非分特別主要。

其次，針對AI的條例的擬定相對滯后于研發和應用。XAI的呈現將會讓這個問題加倍復雜——因為黑箱AI難以捉摸，且只有少數人具備解讀/點竄的能力，研發機構不必過度擔憂本身的科研當作果泄露（除非算法模子被一鍋端）。若是面標的目的用戶和公家的詮釋當作為需求、甚至必需，既有的AI系統——無論透明與否——都有可能面對一系列的風險，包羅常識產權（操縱反標的目的工程重建系統）和系統平安（惡意的匹敵進犯）。信賴與保密兩者的張力之下，XAI該當供給的詮釋的具體內容尚無定論。

再者，成見和不公不會因為詮釋自己而消逝；恰好相反，詮釋會表露更多一向以來潛行在我們四周的倫理問題。ProPublica對COMPAS的調查使人不禁發出疑問：系統性的種族成見事實在何種水平上滲入了美國曩昔十年間的量刑？跟著XAI的前進，一個個黑箱AI的廬山真臉孔逐漸顯露在我們面前，不難想象此中有像COMPAS一樣的“幫兇”。我們可否經由過程公開會商解決布局性問題、完美問責制，這將是對AI和人類社會配合的挑戰。

^參考文獻

^{Choi, A., Shi, W., Shih, A., & Darwiche, A. (2019). Compiling Neural Networks into Tractable Boolean Circuits. AAAI Spring Symposium on Verification of Neural Networks (VNN), Stanford, CA.}

^{Defense Advanced Research Projects Agency. (n.d.). Explainable Artificial Intelligence (XAI). Retrieved from https://www.darpa.mil/program/explainable-artificial-intelligence}

^{Edmonds, M., Gao, F., Liu, H., Xie, X., Qi, S., Rothrock, B., Zhu, Y., Wu, Y. N, Hongjing, L., & Zhu, S. (2019). A tale of two explanations: Enhancing human trust by explaining robot behavior. Science Robotics, 4(37). https://doi.org/10.1126/scirobotics.aay4663}

^{Keil, F. (2006). Explanation and understanding. Annual Review of Psychology, 57.}

^{Larson, J., Angwin, J., Kirchner, L., & Mattu, S. (2019, March 9). How We Analyzed the COMPAS Recidivism Algorithm. Retrieved from https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm}

^{Miotto, R., Li, L., Kidd, B. A., & Dudley J. T. (2016). Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records. Nature Scientific Reports, 6(1), 26094.}

^{Rabinowitz, N.C., Perbet, F., Song, H.F., Zhang, C., Eslami, S.M., & Botvinick, M.M. (2018). Machine Theory of Mind. ArXiv, abs/1802.07740.}

^{Rahwan, I. (2018). Society-in-the-loop: programming the algorithmic social contract. Ethics and Information Technology, 20(1), 5–14. https://doi.org/10.1007/s10676-017-9430-8}

^{Rozenblit, L., & Keil, F. (2002). The misunderstood limits of folk science: an illusion of explanatory depth. Cognitive Science, 26(5), 521–562. https://doi.org/10.1207/s15516709cog2605_1}

^{Slack, D., Hilgard, S., Jia, E., Singh, S., & Lakkaraju, H. (2020, Feb 3). Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods [Paper presentation]. AAAI/ACM Conference on AI, Ethics, and Society 2020, New York, NY. https://doi.org/10.1145/3375627.3375830}

^{Yu, V. L., Fagan, L. M., Wraith, S. M., Clancey, W. J., Scott, A. C., Hannigan, J., Blum, R. L., Buchanan, B. G., & Cohen, S. N. Antimicrobial Selection by a Computer: A Blinded Evaluation by Infectious Diseases Experts (1979). JAMA, 242(12), 1279–1282. http://doi.org/10.1001/jama.1979.03300120033020}

^{Yong, E. (2018, January 29). A Popular Algorithm Is No Better at Predicting Crimes Than Random People. Retrieved from https://www.theatlantic.com/technology/archive/2018/01/equivant-compas-algorithm/550646/}

^{作者：amecolli|封面：Ines Cui}

^{編纂：EON|排版：小葵花}