?interpretable

interpretable發(fā)音

英：[?n't?:pr?t?bl]　　美：[?n't?:pr?t?bl]

英：　　美：

interpretable中文意思翻譯

adj. 可說(shuō)明的；可解釋的；可翻譯的

interpretable常見(jiàn)例句

1 、Your should interpret what I said in my sense of the word, not in yours.───你應該按我的意思來(lái)解釋我所說(shuō)的話(huà)，而不是按你的意思.........

2 、How do you interpret his refusal to see me?───你是怎樣解釋他拒絕看我的？

3 、The predetermined mandatory order, organization or position of symbols in a computer instruction, data or word, data transmission message, etc. The order is mandatory so that the computer can understand and interpret the information.───對計算機的指令、數據或字以及數據傳輸所預先確定的且必須遵循的各種符號的次序、結構或位置。次序必須遵循，否則計算機不能理解和解釋信息。

4 、Title： Is It Possible to Interpret the Ontology of Marxian Philosophy?───關(guān)鍵詞：存在論解讀;形而上學(xué);存在;人道主義

5 、If I interpret your letter right, you want to resign.───如果我沒(méi)理解錯你這封信的話(huà)，你是想要辭職。

6 、Different people might interpret events differently.───不同的人對事件的理解也可能不同。

7 、Assist shop personnel to interpret drawings.───協(xié)助工廠(chǎng)相關(guān)人員理解圖紙;

8 、Because he thinks that man will interpret the omen to suit himself.───因為存在主義者認為，人將對那兆頭進(jìn)行解釋?zhuān)员闶怪m合自己。

9 、You can interpret the term in several ways.───你可以對這個(gè)術(shù)語(yǔ)作很多的解釋。

10 、Well, I can interpret it for you.───不要緊，我可以給你翻譯。

11 、She interpret his silence as arrogance.───她把他的沉默解釋為傲慢。

12 、Double quotes in Perl serve to interpret everything between them.───Perl中的雙引號用于解釋雙引號之間的任何內容。

13 、I'm not quite sure how to interpret that question.───對于怎樣解釋這個(gè)問(wèn)題我不十分有把握。

14 、Do not try to interpret specification from a requirements document.───不要嘗試根據要求文檔來(lái)解釋規范。

15 、Well, that was certainly not my interpretation.─── 好吧 顯然我不是這么理解的

16 、Good speaker should interpret his point clearly.───優(yōu)秀的講演者應該清晰地闡明自己的觀(guān)點(diǎn)。

17 、Listen to the address and interpret it from Chinese into English.───呂福源部長(cháng)在亞歐高層經(jīng)濟論壇上的講話(huà)

18 、You need to be very careful how you interpret the title or you may find the programme is not quite what you expected!───你需要仔細地弄清哪個(gè)專(zhuān)業(yè)才是自己需要的，否則，你找到的專(zhuān)業(yè)可能并不那么符合你的期盼。

19 、To interpret utterances by lip reading.───唇讀通過(guò)觀(guān)察口形來(lái)理解話(huà)

20 、I'm not interested in your interpretation of my notes.─── 我可不在意你怎么解讀我的術(shù)前記錄

21 、In VAX/VMS, breaking a command string into its elements to interpret it.───在DEC操作系統VAX/VMS中，將一個(gè)命令串分成有關(guān)的幾部分來(lái)解釋它。

22 、You interpret the meaning of incoming sensory information.───你來(lái)解析接受到的感關(guān)信息的意義。

23 、Listen to the passage and interpret it from Chinese into English.───加強“綠色控制”，促進(jìn)協(xié)調發(fā)展

24 、But that's a lie. It's an interpretation.─── 不過(guò)那是個(gè)謊言 這只是一種解釋

25 、Can you interpret the passage?───你能解釋這一段嗎？

26 、Don't interpret it without real understanding when you study a foreign language.───學(xué)習外國語(yǔ)切莫望文生義。

27 、Interpret Scripture Christologically and evangelically.───以基督為中心//福音性。

28 、The role of the historian is less to discover and catalog document than to interpret and explain them.───歷史學(xué)家在發(fā)現并給文獻編目方面的作用不及在翻譯并解釋文獻方面的作用。

29 、IOC employed an exclusively British jury of referees and officials to regulate the venues and interpret the rules.───國際奧委會(huì )雇用了清一色的英國裁判和官中員來(lái)協(xié)調場(chǎng)地和解釋規則。

30 、Can you interpret the import of what he remarked at the end of the meeting ?───你能把他在會(huì )議結尾時(shí)講話(huà)的含義解釋一下嗎?

31 、Looking for a way to interpret the MS data from your last proteomic experiment?───在尋找一種將你的蛋白質(zhì)實(shí)驗數據轉換為MS數據的翻譯工具嗎？

32 、Your job is to analyze and interpret, not praise or blame.───你的工作是要去分析與詮釋?zhuān)琴潛P或譴責。

33 、Not interpretable or recognized in the system in which it occurs.───在所在的系統中是不可解釋的或不能識別的。

34 、Could you interpret what he just said to me?───你可以把他剛說(shuō)的給我翻譯一下嗎?

35 、Can you interpret it for me?───你能幫我翻譯一下嗎？

36 、Loss of the ability to interpret sensory stimuli, such as sounds or images.───失認，辨識不能失去辨別感覺(jué)刺激，如聲音或圖象的能力

37 、For so I must interpret still.───為此，我要這樣想。

38 、Where we disagree is on the interpretation of these facts.─── 我們持不同意見(jiàn)的是對這個(gè)現象的解讀

39 、Sovereign CDSs are in any case harder to interpret than corporate CDSs.───主權信用違約掉期在任何情況下都比公司信用違約掉期更加難以解讀。

40 、Fact: We can crawl dynamic URLs and interpret the different parameters.───事實(shí)：我們可以抓取動(dòng)態(tài)**和解釋不同的參數。

41 、Listen to the talk and interpret it from Chinese into English.───中國利用外資呈十大趨勢

42 、The software, a special version of Microsoft's new Windows XP operating system, can interpret those pen strokes.───內置的軟件是微軟新版視窗xp的一種特殊版，它可以翻譯筆寫(xiě)的內容。

43 、If beauty means something, yet we must not seek to interpret the meaning.───如果美有某種意義的話(huà)，我們千萬(wàn)不要設法去闡明它的意義。

44 、To interpret simultaneously is extremely difficult.───同聲翻譯是極困難的。

45 、Miss Liu, could you interpret this sentence for me?───劉**，你能幫我翻譯一下這句話(huà)嗎?

46 、DNS server unable to interpret format.───dns 服務(wù)器無(wú)法解釋格式。

47 、Also, a client SOAP stack might interpret one-way messages differently.───同樣,客戶(hù)端堆?？赡軙?huì )通過(guò)不同的方式來(lái)解釋單向消息。

48 、And that has proved to be very successful in determining interpretable DNA profiles from samples from Ground Zero[14]," he said.───事實(shí)證明，這在確認從零點(diǎn)廢墟搜集來(lái)的標本中的可識DNA特征時(shí)非常成功，”他說(shuō)。

49 、To interpret at the UN is a difficult task.───在聯(lián)合國做口譯是件難 度很大的差事.

50 、Note-taking is very important when you interpret a long talk.───口譯大段談話(huà)時(shí)，記好筆記很重要。

51 、He only spoke Chinese so someone had to interpret.───他只會(huì )說(shuō)中文，所以得有人翻譯。

52 、Another problem of communication lies with managers who interpret and explain plans to subordinates.───另一個(gè)落在管理者身上的相互聯(lián)系的問(wèn)題是對下級人員解釋和說(shuō)明計劃。

53 、Andrea: Interpret the character as you see it.───以自己的理解來(lái)詮釋角色。

54 、KHALSA, the most effective process to interpret deluxe living.───卡爾沙,豪華生活的經(jīng)典詮釋.....

55 、Americans abroad sometimes find local eye behaviors hard to interpret.───出國在外的美國人有時(shí)發(fā)現很難解釋當地人的眼神。

56 、Can you interpret this for me?───你能為我解釋一下嗎?

57 、I need an interpreter for her class.─── 我需要一個(gè)人在她的課上做翻譯

58 、Can you interpret the meaning of these passages?───你能解釋一下這幾篇文章的意思嗎?

59 、How do you interpret this poem?───你怎樣解釋這首詩(shī)呢?

60 、At the other extreme are religious extremists who interpret religion so rigidly that they fail to be true to Islamic ideals.───另外，也有一些宗教極端分子非常狹隘地詮釋回教，完全不忠于回教真正追求的理想。

61 、The students were asked to interpret the poem.───學(xué)生們被要求詮釋那首詩(shī)的意義。

62 、was through the help of an interpreter.─── 是通過(guò)一個(gè)翻譯員的幫助下了解的

63 、You can interpret this term in many ways.───你可以對這個(gè)術(shù)語(yǔ)作多種解釋。

64 、They can be hard for newcomers to interpret, but then, they’re not for newcomers.───對于新手用戶(hù)，它們可能難以理解，因其不是為新手準備的。

65 、Philosophers interpret the world in a myriad of ways.───哲學(xué)家們以各種各樣的方式解釋世界。

66 、You can't interpret it for what you want it to be.─── 你不能憑借意愿來(lái)選擇鑒定

67 、To interpret(utterances) by lip reading.───唇讀通過(guò)觀(guān)察口形來(lái)理解（話(huà)）

68 、But topology is no queerer than the physical world as we now interpret it.───但是拓撲學(xué)并不比我們目前所能理解的物質(zhì)世界更奇特。

69 、Interpret Scripture literally and grammatically.───[1] 按字意和文法解釋《圣經(jīng)》。

70 、At best, philosophers can merely interpret life, themselves and texts.───哲學(xué)家至多只能解釋人生，解釋自己，解釋文本。

71 、In today's lecture I'd like to interpret this problem broadly rather than in depth.───在今天的講課中我想把這個(gè)問(wèn)題闡述得廣泛些而不是深入透徹些。

72 、Interpret output as containing VT100 commands. For console-based programs.───05解析包含VT100命令集的輸出，針對基本的控制臺程序。

73 、The pitfall is that the results will be difficult to interpret.───困難在于試驗的結果將是難以解釋的。

74 、On the one hand, one may interpret this as reflecting the success of RDT.───一方面，一個(gè)人也許解釋此作為反射RDT的成功。

75 、FasTracKids China reserves the right to interpret all figures above.───天才寶貝中國保留對以上數據的解釋權。

76 、She couldn't speak much English so her children had to interpret for her.───她講不了幾句英語(yǔ)，所以她的孩子們得給她翻譯。

77 、He spoke good Italian, and promised to interpret for us.───他意大利語(yǔ)說(shuō)的很好,并且答應給我們做口譯。

78 、You have to understand, I can't interpret it.─── 你們必須理解 我不能詮釋它

79 、Well, the interpretation of laws can be perplexing, like the interpretation of sausages.─── 對法律的解讀的確有時(shí)令人困惑 就像對香腸的解讀一樣

80 、Most interpret the information from the victims as chimerical thinking.───大多數來(lái)自于受害者的解釋是被當作空想。

81 、He was beginning to be able to interpret the erratic gestures of her left arm.───他開(kāi)始能夠弄清楚她不規則地揮動(dòng)左臂的含義。

82 、Yet people still seem to be unsure how to interpret it.───但對其如何界定人們似乎還不大有把握。

83 、Interpret real time data to determine the current position of the well.───完成現場(chǎng)實(shí)時(shí)數據解釋以確定井的當前位置。

84 、To acquire or interpret data from a storage device, from a data medium, or from another source.───從存儲設備、數據媒體或其它信息源中獲取數據或對數據作出解釋的過(guò)程。

85 、Residence times have also been used to characterize the fluidized bed and to interpret conversion data.───停留時(shí)間分布模型也早已被用來(lái)表示流化床的特征和說(shuō)明轉化率數據。

86 、I class it as my interpretation,as a photographer, my interpretation of the seaside postcard.─── 作為攝影師 這些作品包含了我的理解 我對海灘明信片的理解

87 、How do you interpret this sentence?───你如何解釋這一句？

88 、They are endeavoring to interpret their roles with the theater's unique style .───他們將竭力塑造出的人物形象,使得呈現在觀(guān)眾面前的《北街南院》更具人藝風(fēng)情。

89 、If the server and the host interpret '00' as two different dates, you'll wind up with data matching wrong dates.───如果服務(wù)器與主機把00解釋成兩個(gè)不同的日期，那么你將被與錯誤日期相匹配的數據搞得緊張兮兮。

90 、If I interpret your letter right, you are ignominiously married.───如果我對你的來(lái)信理解正確的話(huà)，你已不顧廉恥地嫁了人。

機器學(xué)習模型可解釋的重要及必要性

機器學(xué)習模型可解釋的重要及必要性

不管你是管理自己的資金還是客戶(hù)資金，只要你在做資產(chǎn)管理，每一步的投資決策都意義重大，做技術(shù)分析或基本面分析的朋友很清楚地知道每一個(gè)決策的細節，但是通過(guò)機器學(xué)習、深度學(xué)習建模的朋友可能就會(huì )很苦惱，因為直接產(chǎn)出決策信號的模型可能是個(gè)黑盒子，很難明白為什么模型會(huì )產(chǎn)出某一個(gè)信號，甚至很多保守的私募基金把模型的可解釋性放入了事前風(fēng)控。其實(shí)，模型的可解釋性是很容易做到的，難點(diǎn)在于研究員是否對模型有深入的思考和理解。

介紹

機器學(xué)習領(lǐng)域在過(guò)去十年中發(fā)生了顯著(zhù)的變化。從一個(gè)純粹的學(xué)術(shù)和研究領(lǐng)域方向開(kāi)始，我們已經(jīng)看到了機器學(xué)習在各個(gè)領(lǐng)域都有著(zhù)廣泛的應用，如零售，技術(shù)，醫療保健，科學(xué)等等。在21世紀，數據科學(xué)和機器學(xué)習的重要目標已經(jīng)轉變?yōu)榻鉀Q現實(shí)問(wèn)題，自動(dòng)完成復雜任務(wù)，讓我們的生活變得更加輕松，而不僅僅是在實(shí)驗室做實(shí)驗發(fā)表論文。機器學(xué)習，統計學(xué)或深度學(xué)習模型工具已基本成型。像Capsule Networks這樣的新模型在不斷地被提出，但這些新模型被工業(yè)采用卻需要幾年時(shí)間。因此，在工業(yè)界中，數據科學(xué)或機器學(xué)習的主要焦點(diǎn)更多在于應用，而不是理論。這些模型可以在正確數據上有效應用來(lái)解決現實(shí)問(wèn)題是至關(guān)重要的。

機器學(xué)習模型本質(zhì)上就是一種算法，該算法試圖從數據中學(xué)習潛在模式和關(guān)系，而不是通過(guò)代碼構建一成不變的規則。所以，解釋一個(gè)模型是如何在商業(yè)中起作用總會(huì )遇到一系列挑戰。在某些領(lǐng)域，特別是在金融領(lǐng)域，比如保險、銀行等，數據科學(xué)家們通常最終不得不使用更傳統更簡(jiǎn)單的機器學(xué)習模型（線(xiàn)性模型或決策樹(shù)）。原因是模型的可解釋性對于企業(yè)解釋模型的每一個(gè)決策至關(guān)重要。然而，這常常導致在性能上有所犧牲。復雜模型像如集成學(xué)習和神經(jīng)網(wǎng)絡(luò )通常表現出更好更精準的性能(因為真實(shí)的關(guān)系在本質(zhì)上很少可以通過(guò)線(xiàn)性劃分的)，然而，我們最終無(wú)法對模型決策做出合適的解釋。為了解決和探討這些差距，本文中，我會(huì )重點(diǎn)解釋模型可解釋性的重要及必要性。

動(dòng)機

作為一名在企業(yè)工作的數據科學(xué)家并時(shí)常指導他人，我發(fā)現數據科學(xué)仍然常常被視為一個(gè)黑盒，它能用“魔法”或“煉金術(shù)”提供人們想要的東西。然而，嚴酷的現實(shí)是，如果不對模型進(jìn)行合理足夠的解釋?zhuān)F實(shí)世界的項目很少成功。如今，數據科學(xué)家通過(guò)構建模型并為業(yè)務(wù)提供解決方案。企業(yè)可能不知道模型實(shí)現的復雜細節，卻要依靠這些模型做出決策，他們確實(shí)有權提出這樣的問(wèn)題：“我怎樣才能相信你的模型？”或“你的模型是如何決策的”？”回答這些問(wèn)題是數據科學(xué)實(shí)踐者和研究人員數年來(lái)一直在嘗試的事情。

數據科學(xué)家知道，模型解釋性與模型性能之前有一個(gè)權衡。在這里，模型性能不是運行時(shí)間或執行性能，而是模型在做出預測時(shí)的準確度。有幾種模型（包括簡(jiǎn)單的線(xiàn)性模型甚至基于樹(shù)的模型），他們的預測的原理很好直觀(guān)理解，但是需要犧牲模型性能，因為它們的產(chǎn)生的結果偏差或者方差很高（欠擬合：線(xiàn)性模型），或者容易過(guò)擬合（基于樹(shù)的模型）。更復雜的模型，如集成模型和近期快速發(fā)展的深度學(xué)習通常會(huì )產(chǎn)生更好的預測性能，但被視為黑盒模型，因為要解釋這些模型是如何真正做出決策是一件非常困難的事情。

雖然有些人說(shuō)，知道模型性能好就行了，為什么還要知道它背后的原理呢？ 然而，作為人類(lèi)，大多數決策基于邏輯和推理。 因此，人工智能（AI）作出決策的模式無(wú)疑會(huì )受到懷疑。 在很多現實(shí)情況下，有偏差的模型可能會(huì )產(chǎn)生真正的負面影響。 這包括預測潛在的犯罪、司法量刑、信用評分、欺詐發(fā)現、健康評估、貸款借款、自動(dòng)駕駛等，其中模型的理解和解釋是最重要的。 數據科學(xué)家、作家Cathy O’ Neil在她的著(zhù)名著(zhù)作《Weapons of Math Destruction》中也強調了這一點(diǎn)。

著(zhù)名學(xué)者和作家凱特克勞福德在NIPS 2017主題演講《The Trouble with Bias》中談到了偏差在機器學(xué)習中的影響以及它對社會(huì )的影響。

有興趣的讀者也可以看看她在紐約時(shí)報的著(zhù)名文章《 Artificial Intelligence’s White Guy Problem》，向我們展示了機器學(xué)習應用的案例，包括圖像分類(lèi)、犯罪風(fēng)險預測、交付服務(wù)可用性等等，這些應用對黑人極不親善。 如果我們想利用機器學(xué)習來(lái)解決這些問(wèn)題，所有這些真實(shí)世界的場(chǎng)景都在告訴我們模型解釋是多么的重要。

在過(guò)去的一年里，我在解決行業(yè)問(wèn)題的同時(shí)也看到了對模型解釋的需求，同時(shí)我也在寫(xiě)我的新書(shū)《Practical Machine Learning with Python2》。在這段時(shí)間里，我有機會(huì )與DataScience.com的優(yōu)秀員工進(jìn)行互動(dòng)，他們非常清楚在機器學(xué)習模型中人類(lèi)可解釋性的必要性和重要性。他們也一直在積極研究解決方案，并開(kāi)發(fā)了流行的python框架Skater。后續我們將深入研究Skater，并在本系列文章中做一些實(shí)際的模型解釋。

理解模型解釋

機器學(xué)習（尤其是深度學(xué)習）僅在最近幾年才得到廣泛的行業(yè)采用。因此，模型解釋作為一個(gè)概念仍然主要是理論和主觀(guān)的。

任何機器學(xué)習模型都有一個(gè)響應函數，試圖映射和解釋自（輸入）變量和因（目標或響應）變量之間的關(guān)系和模式。

模型解釋試圖理解和解釋響應函數做出的這些決定。模型解釋的關(guān)鍵在于透明度以及人們理解模型決策的容易程度。模型解釋的三個(gè)最重要的方面解釋如下。

什么主導了模型預測？我們應該找出特征的相互作用，以了解在模型的決策策略中哪些特征可能是重要的。這確保了模型的公平性。

為什么模型做出某個(gè)特定決策？我們還應該能夠驗證為什么某些關(guān)鍵特征在預測期間推動(dòng)某個(gè)模型所做出的某些決定。這確保了模型的可靠性。

我們如何相信模型預測？我們應該能夠評估和驗證任何數據點(diǎn)以及模型如何作出決策。對于模型按預期運行的直接利益相關(guān)者來(lái)說(shuō)，這應該是可證明的，并且易于理解。這確保了模型的透明度。

可解釋性是指人（包括機器學(xué)習中的非專(zhuān)家）能夠理解模型在其決策過(guò)程中所做出的選擇（怎么決策，為什么決策和決策了什么）。

在模型比較時(shí)，除了模型的性能，如果一個(gè)模型的決策比另一個(gè)模型的決策更容易被人類(lèi)理解，則說(shuō)該模型比另一個(gè)模型具有更好的可解釋性。

模型解釋的重要性

在解決機器學(xué)習問(wèn)題時(shí)，數據科學(xué)家通常傾向于注意模型性能指標，如準確性、精確度和召回率等（毫無(wú)疑問(wèn)，這很重要?。?。但是，度量標準只能說(shuō)明模型預測性決策的一部分內容。隨著(zhù)時(shí)間的推移，由于環(huán)境中各種因素造成的模型概念漂移，性能可能會(huì )發(fā)生變化。因此，了解什么促使模型作出某些決定是極為重要的。

我們中的一些人可能會(huì )認為模型已經(jīng)工作得很好了，為什么還要深入挖掘呢？一定要記住，當解決現實(shí)世界中的數據科學(xué)問(wèn)題時(shí)，為了讓企業(yè)相信你的模型預測和決策，他們會(huì )不斷提問(wèn)“我為什么要信任你的模型？”，這非常合理。如果一個(gè)人患有癌癥或糖尿病，如果一個(gè)人可能對社會(huì )構成風(fēng)險，或者即使客戶(hù)流失，您是否會(huì )滿(mǎn)意于只是預測和做出決定（如何）的模型？也許另外一種會(huì )更好，如果我們可以更多地了解模型的決策過(guò)程（為什么以及如何），我們可能更喜歡它。這為我們提供了更多的透明度，說(shuō)明為什么模型會(huì )做出某些決定，在某些情況下可能會(huì )出錯，并且隨著(zhù)時(shí)間的推移它可以幫助我們在這些機器學(xué)習模型上建立一定的信任度。

這一部分關(guān)鍵的一點(diǎn)是，現在是時(shí)候停止將機器學(xué)習模型視為黑盒子，不僅嘗試和分析數據，而且還要分析模型如何做出決策。實(shí)際上，走向這條道路的一些關(guān)鍵步驟是由著(zhù)名論文《Why Should I Trust You？》（解釋了任意分類(lèi)器的預測）”開(kāi)始的，由MT Ribeiro，S. Singh和C. Guestrin在SIGKDD 2016上介紹了LIME（Local Interpretable Model-Agnostic Explanations）（局部可解釋模型 - 不可知論解釋?zhuān)┑母拍睢?/p>

他們在論文中提到了一些值得記住的關(guān)鍵點(diǎn)。

然而，理解預測背后的原因在評估信任方面非常重要，如果計劃基于預測采取行動(dòng)，或者選擇是否部署新模型，則對模型的信任是至關(guān)重要的。 無(wú)論人類(lèi)是直接使用機器學(xué)習分類(lèi)器作為工具還是在其他產(chǎn)品中部署模型，仍然存在一個(gè)至關(guān)重要的問(wèn)題：如果用戶(hù)不信任模型或預測，他們將不會(huì )使用它。

這是我們在本文中多次討論的內容，也是決定數據科學(xué)項目在業(yè)界成功與否的關(guān)鍵因素之一。這就推動(dòng)了模型解釋的必要性和重要性。

模型解釋方法的標準

對于模型解釋方法的分類(lèi)有特定的標準。在Christoph Molnar的“Interpretable Machine Learning，Making Guide for Making Black Box Models Explainable”中提到了一個(gè)很好的指導標準：

內在或事后？?jì)仍诮忉屝允顷P(guān)于利用機器學(xué)習模型的，它本質(zhì)上是解釋性的(像線(xiàn)性模型、參數模型或基于樹(shù)的模型)。事后解釋性意味著(zhù)選擇和訓練一個(gè)黑盒模型（集成方法或神經(jīng)網(wǎng)絡(luò )）并在訓練后應用可解釋性方法（特征重要性，部分依賴(lài)關(guān)系圖）。我們將在我們的系列文章中更多地關(guān)注事后模型可解釋的方法。

是針對某個(gè)模型的還是通用的？特定于模型的解釋工具對固有模型解釋方法非常具體，這些解釋方法完全取決于每個(gè)模型的能力和特征。這可以是系數，p值，與回歸模型相關(guān)的AIC分數，決策樹(shù)的規則等等。通用的模型解釋方法還是依賴(lài)于事后對模型的分析，可用于任何機器學(xué)習模型。通常通過(guò)分析特征輸入和輸出對來(lái)運行。根據定義，這些方法無(wú)法訪(fǎng)問(wèn)任何模型內部，如權重，約束或假設。

本地還是全局？這種解釋的分類(lèi)會(huì )談到解釋方法是解釋單個(gè)預測還是整個(gè)模型行為？或者如果范圍介于兩者之間？我們將盡快討論更多關(guān)于局部和全局的解釋。

這并不是對可解釋方法進(jìn)行分類(lèi)的一套完整的標準，因為這仍然是一個(gè)新興的領(lǐng)域，但這可以是一個(gè)很好的標準，可以在多種方法之間進(jìn)行比較和對比。

模型解釋的范圍

我們如何界定解釋的范圍和界限？一些有用的方面可以是模型的透明度，公平性和可靠性。本地還是全局模型解釋是定義模型解釋范圍的明確方法。

全局解釋性

這就是要試圖理解“模型如何做出預測？”和“模型的子集如何影響模型決策？”。為了一次理解和解釋整個(gè)模型，我們需要全局解釋。全局可解釋性是指能夠基于完整數據集上的依賴(lài)（響應）變量和獨立（預測）特征之間的條件相互作用來(lái)解釋和理解模型決策。試圖理解特征的相互作用和重要性，往往是理解全局解釋的好的一步。當然，在嘗試分析交互時(shí)，在超過(guò)兩個(gè)或三個(gè)維度后對特征進(jìn)行可視化變得非常困難。因此，經(jīng)常查看可能會(huì )影響全局知識模型預測的模塊化部分和特征子集，對全局解釋是有所幫助的。完整的模型結構知識，假設和約束是全局解釋所必需的。

局部解釋性

這就是要了解“為什么模型會(huì )為單個(gè)實(shí)例做出特定決策？”以及“為什么模型會(huì )為一組實(shí)例做出特定決策？”。對于局部的可解釋性，我們不關(guān)心模型的內在結構或假設，我們把它當作一個(gè)黑箱子。為了理解單個(gè)數據點(diǎn)的預測決策，我們專(zhuān)門(mén)關(guān)注該數據點(diǎn)，并在該點(diǎn)附近的特征空間中查看局部子區域，并嘗試根據此局部區域了解該點(diǎn)的模型決策。局部數據分布和特征空間可能表現完全不同，并提供更準確的解釋而不是全局解釋。局部可解釋模型 - 不可知論解釋?zhuān)↙IME）框架是一種很好的方法，可用于模型不可知的局部解釋。我們可以結合使用全局解釋和局部解釋來(lái)解釋一組實(shí)例的模型決策。

模型透明度

這就是要了解“從算法和特征中創(chuàng )建模型的過(guò)程如何？”。我們知道，典型的機器學(xué)習模型都是關(guān)于利用一個(gè)算法在數據特征之上構建一個(gè)表示，將輸入映射到潛在的輸出(響應)。模型的透明性可以嘗試理解模型如何構建的更多技術(shù)細節，以及影響其決策的因素。這可以是神經(jīng)網(wǎng)絡(luò )的權值，CNN濾波器的權值，線(xiàn)性模型系數，節點(diǎn)和決策樹(shù)的分割。然而，由于企業(yè)對這些技術(shù)細節可能并不十分熟悉，試圖用不可知的局部和全局解釋方法來(lái)解釋模型決策有助于展示模型的透明度。

結論

模型可解釋是一個(gè)對現實(shí)世界機器學(xué)習項目非常重要的一件事情。讓我們試著(zhù)去研究人類(lèi)可解釋的機器學(xué)習，讓每個(gè)人都打開(kāi)機器學(xué)習模型的黑箱，并幫助人們增加對模型決策的信任。

寫(xiě)在最后：模型解釋性很重要，這能夠加深我們對模型的信心，尤其是在金融市場(chǎng)中，當模型持續回撤時(shí)，信心比黃金還重要。之前有一個(gè)私募團隊使用了StockRanker策略，但是遲遲不肯上實(shí)盤(pán)，后來(lái)在弄清楚模型的理論原理和每一步細節、處理流程后，終于有信心上實(shí)盤(pán)，實(shí)盤(pán)前期遇到回撤也能明白是正常情況，并非模型預測失效，扛住前期的回撤后策略?xún)糁甸_(kāi)始上升。因此，機器學(xué)習模型可解釋很重要，模型也是可以解釋的，只是需要研究員付出更多的心血

可解釋性相關(guān)研究

在深度學(xué)習的廣袤領(lǐng)域，尤其是圖像分類(lèi)中，區分雪地狼與草地哈士奇的微妙差異往往被歸咎于背景，這凸顯了深度模型可解釋性的嚴峻挑戰。驅動(dòng)可解釋性研究的火花，如同醫學(xué)和法律領(lǐng)域的決策支持，以及模型學(xué)習者對有效性自我解釋的追求。來(lái)自中國人民大學(xué)AI·M3實(shí)驗室的趙金明與胡景文兩位學(xué)者，他們的研究重心在于情感識別，但其貢獻遠不止于此。

深度探索的領(lǐng)域包括語(yǔ)義特征學(xué)習，盡管模型試圖捕捉詞義和詞性，但往往受限于其理解能力。同時(shí)，可視化方法如LSTMVis和Seq2Seq-Vis雖直觀(guān)，卻局限于定性分析，無(wú)法提供量化評估。更為嚴峻的考驗來(lái)自挑戰集和對抗樣本，它們用于測試模型對特定語(yǔ)言現象的處理和魯棒性。

解釋模型的嘗試包括直接生成和利用部分輸入，但標注數據的缺失和缺乏推理過(guò)程揭示，構成了它們的短板。核心挑戰包括理論基礎的缺乏，可視化解釋的不可靠性，以及驗證體系的不完善。未來(lái)，深度學(xué)習呼喚更強的可解釋性，構建高質(zhì)量的挑戰集顯得尤為重要。

關(guān)于注意力機制，其解釋性備受爭議，盡管美觀(guān)，但其忠實(shí)度和輸入顯著(zhù)性方法的主觀(guān)性都引發(fā)質(zhì)疑。"Towards Faithfully Interpretable NLP Systems"提出了faithfulness這一新概念，強調評估的聚焦點(diǎn)應在于推理過(guò)程而非單純解釋質(zhì)量。評估方法中，區分忠實(shí)度和似然性，排除人為因素，以及區分固有可解釋性主張，是當前的關(guān)鍵任務(wù)。

盡管積分梯度、注意力機制（如LSTM注意力權重）和LIME等方法廣泛應用，它們各自的局限仍然存在。DuTrust數據集的提出，旨在評價(jià)模型的魯棒性和可解釋性，尤其關(guān)注忠實(shí)性和似然性。這個(gè)數據集通過(guò)五個(gè)收集階段，包括單、多和模糊情感實(shí)例，通過(guò)對抗樣本生成和人工標注進(jìn)行深度剖析，采用F1-Score、New_P（可能有誤）和MAP等指標進(jìn)行評估。

在CHN情感數據集上，LSTM、ERNIE和SKEP模型的性能分析顯示，模型的準確性和似然性密切相關(guān)，復雜度對MAP有顯著(zhù)影響，而SKEP在忠實(shí)性上有顯著(zhù)提升。然而，深度學(xué)習模型的魯棒性和可解釋性仍有待提升，自動(dòng)生成數據的局限性仍然存在，大模型對上下文的理解能力也是一大挑戰。

參考文獻:

論文鏈接1

Belinkov & Glass (2019)

Bastings & Filippova (2020)

Jacovi & Goldberg (2020)

Sundararajan

Ankur Taly & Qiqi Yan. "Axiomatic Attribution for Deep Networks." ICML 2017.

"Why Should I Trust You?" (2016). arXiv:1602.04938 [cs, stat].

DuTrust: A Sentiment Analysis Dataset for Trustworthiness (2021). arXiv:2108.13140 [cs].

深度學(xué)習的神秘面紗下，可解釋性研究正逐步揭開(kāi)，每一次嘗試都在推動(dòng)技術(shù)進(jìn)步與理論融合，期待在未來(lái)的探索中，我們能更好地理解和掌握這些復雜模型的秘密。