1、callbacks

callbacks發(fā)音

英：　　美：

callbacks中文意思翻譯

常用釋義：回撥：從一個(gè)位置或情況回到之前的位置或情況的行為或實(shí)例：被解雇的汽車(chē)工人的回撥。

n.回調函數；回叫信號（callback的復數）

callbacks雙語(yǔ)使用場(chǎng)景

1、Born in an unusual background, the defects of the system design resulted in excessively issued Books with few callbacks.───由于其產(chǎn)生于特定背景之下，制度設計的缺陷致使換地權益書(shū)發(fā)放量大，回收量少。

2、Of course, the worst case is to fall back to using threads for blocking actions that really cannot be converted into asynchronous callbacks.───當然，最壞的情形是回退到使用線(xiàn)程來(lái)進(jìn)行阻塞操作，因為這些操作確實(shí)無(wú)法轉換成異步回調。

3、XT allows callbacks to static methods of any class in the classpath at the time of XSL processing.───XT允許回調在XSL處理期間訪(fǎng)問(wèn)處于classpath中的任何類(lèi)的靜態(tài)方法。

4、It's up to a handler to register callbacks for these events and then perform some kind of logic on the data from these events.───注冊這些事件的回調并隨后對來(lái)自這些事件的數據執行某種邏輯都由handler來(lái)完成。

5、No JMX callbacks are required.───不需要進(jìn)行JMX回調。

6、It consists of many callbacks.───它由許多回調組成。

7、Virtual members perform better than callbacks and events, but do not perform better than non-virtual methods.───虛成員的性能高于回調和事件，但是不比非虛方法高。

8、Callbacks never run in parallel.───回調永遠不能并行運行。

9、Matt's examples also show an easy to way use snippets of Ruby code as callbacks for the Objective-C application.───Matt的示例也展示了一種簡(jiǎn)便的方法，在Objective-C應用中使用一小段Ruby代碼來(lái)作為回調。

callbacks相似詞語(yǔ)短語(yǔ)

1、veal scallopini recipe───小牛肉扇貝

2、let is call───我們打電話(huà)吧

3、genetically modified crops───轉基因作物

4、agora video call───現在視頻通話(huà)

5、dialogically synonym───對話(huà)同義詞

6、call forwarding───電話(huà)轉接；呼叫轉送；呼叫轉移

7、elastically deformed───彈性變形

8、hemerocallis bulb───萱草

9、conference calls───n.電話(huà)會(huì )議( conference call的名詞復數 )

10、calligraphy alphabet───書(shū)法字母表

2、變分自編碼器（VAE）目前存在哪些問(wèn)題，發(fā)展方向是什么？

變分自編碼器（VAE）與生成對抗網(wǎng)絡(luò )（GAN）一樣，是無(wú)監督學(xué)習最具前景的方法之一。本文中，牛津大學(xué)統計系在讀博士 Adam Kosiorek 從原理上向我們介紹了 VAE 目前面臨的挑戰。同時(shí)，文中也提出了對于該方法的幾種改進(jìn)方向。

隱變量模型

假設你希望通過(guò)一個(gè)定義在 x∈RD 上的概率分布來(lái)對整個(gè)世界建模，其中 p（x）表示 x 可能處于的狀態(tài)。這個(gè)世界可能非常復雜，我們無(wú)法知道 p（x）的具體形式。為了解決這個(gè)問(wèn)題，我們引入另一個(gè)變量 z∈Rd 來(lái)描述 x 的背景信息。例如 x 是一個(gè)圖像，那么 z 就可以記錄關(guān)于圖像中可見(jiàn)物體的出現、數量、類(lèi)型，以及畫(huà)面的背景和光影條件的信息。這個(gè)新的變量使得我們可以將 p（x）表示為一個(gè)無(wú)限混合模型。

這是一個(gè)混合模型，因為對于 z 的任意可能取值，都引入另一個(gè)條件分布，并通過(guò) z 的概率進(jìn)行加權，最終得到 p（x）。

在這樣的設定下，「給定 x 的觀(guān)測值，隱變量 z 是什么」就成了一個(gè)非常有趣的問(wèn)題。

也就是說(shuō)，我們希望知道后驗分布 p(z∣x)。但是，z 和 x 之間可以呈現高度的非線(xiàn)性關(guān)系（比如，由一個(gè)多層神經(jīng)網(wǎng)絡(luò )實(shí)現），而且，D——我們觀(guān)測值的維度，和 d——隱變量的維度，也可能非常大。由于邊緣分布和后驗分布都需要對（1）式積分求值，我們認為它們都是無(wú)法計算的。

我們可以通過(guò)蒙特卡羅抽樣，根據 p(x)≈1M∑Mm=1p(x∣z(m))p(x)≈1M∑m=1Mp(x∣z(m)), z(m)～p(z) 來(lái)估計（1）式，但由于 z 的空間可能非常大，我們可能需要上百萬(wàn)個(gè) z 的樣本，來(lái)得到一個(gè)可靠的估計。

在訓練一個(gè)概率模型的時(shí)候，我們可以使用參數分布 - 它的參數由一個(gè)參數為θ∈Θ的神經(jīng)網(wǎng)絡(luò )來(lái)確定?，F在，我們就可以使用極大似然估計來(lái)學(xué)習得到這些參數。

這里的問(wèn)題是，我們無(wú)法最大化（1）式，因為我們無(wú)法估計它。為了解決這個(gè)問(wèn)題，我們可以求助于重要抽樣（importance sampling）。當我們需要對原始（名義分布）概率密度分布（pdf）估算一個(gè)期望值時(shí)，IS 使得我們可以從另一個(gè)不同的概率分布（建議分布）中抽樣，然后將這些樣本對名義分布求期望。用 q?(z∣x) 表示我們的建議分布 - 其中的參數由參數為 ?∈Φ的神經(jīng)網(wǎng)絡(luò )確定。我們可以得到：

根據重要性抽樣的文獻可知，最優(yōu)的建議分布，與名義分布乘以某個(gè)函數成比例，其中這個(gè)函數的期望是我們希望估計的。在我們的設定下，「某個(gè)函數」就是 p（x|z）。根據貝葉斯定理，p(z∣x)=p(x∣z)p(z)/p(x)，我們可以看到，最優(yōu)建議分布與后驗分布成比例，顯然，后驗分布無(wú)法求解。

變分自編碼器的誕生

幸運的是，事實(shí)上我們可以一箭雙雕：通過(guò)一個(gè)學(xué)習到的建議分布來(lái)近似估計后驗分布，我們可以有效的得到邊緣分布 pθ(x) 的估計。在這里，我們無(wú)意間得到了一個(gè)自編碼的設定。為了學(xué)習我們的模型，我們需要：

pθ(x,z) - 生成模型，其中包含：

pθ(x∣z) - 一個(gè)概率形式的解碼器，以及

p(z) - 一個(gè)定義在隱變量上的先驗分布

q?(z∣x) - 一個(gè)概率形式的編碼器

為了近似估計后驗分布，我們可以利用建議分布和后驗分布之間的 KL 散度（可以理解為兩個(gè)概率分布之間的距離），而且我們可以最小化這個(gè)結果。

這個(gè)時(shí)候，我們面臨的新問(wèn)題就是：為了計算 KL 散度，我們需要知道后驗分布。并非沒(méi)有可能，只要利用一點(diǎn)點(diǎn)代數運算，我們就能得到可以計算的目標函數。

我在第二行展開(kāi)了對數項，在第三行使用了貝葉斯定理以及 pθ(x) 和 z 是獨立的事實(shí)。最后一行中的 L(x;θ,?) 是對數概率分布 pθ(x) 的下界 - 即通常所說(shuō)的證據下界（ELBO）。我們通過(guò)整理可以得到：

只需要一個(gè)從建議分布中抽得的樣本，我們就可以得到近似估計：

我們通過(guò)尋找最大化 ELBO 的?和θ（通常使用隨機梯度下降）來(lái)訓練模型：

通過(guò)最大化 ELBO，我們或（1）最大化邊緣分布，或（2）最小化 KL 散度，或同時(shí)完成。需要注意，ELBO 的近似估計是 f(x)=1、重要性權重為 w(x)=pθ(x,z)q?(z∣x) 的重要性抽樣的期望的對數形式。

這個(gè)估計量有什么問(wèn)題？

如果你足夠仔細的看重要性抽樣，就能發(fā)現，對建議分布的支撐應該比對名義分布的支撐更廣泛——應該同時(shí)避免估計量方差無(wú)限大和數值的不穩定性。在這里，最好是來(lái)優(yōu)化 KL(p∣∣q) 的倒數——因為它有模式平均性質(zhì)，而不是優(yōu)化 KL（q∣∣p），來(lái)試圖通過(guò)模式 q 去匹配找到一個(gè)最好的模式 p。這意味著(zhù)我們需要從真實(shí)的后驗分布中進(jìn)行抽樣，而這是很困難的。作為替代，我們可以使用 ELBO 的 IS 估計，作為重要性加權自編碼器（IWAE）。這里的想法很簡(jiǎn)單：我們從建議分布中抽取 k 個(gè)樣本，并從中計算出平均概率比，這里的每一個(gè)樣本也叫「粒子」。

已經(jīng)證明，這個(gè)估計量是在優(yōu)化修正后的 KL 散度 KL(qIS∣∣pIS)，其中 qIS 和 pIS 的定義分別是：

盡管和原始分布看似接近，但 qIS 和 pIS 允許 q 和 p 中存在預想以外的小的變動(dòng)。原始論文中證明，優(yōu)化這個(gè)下界可以得到更好的生成模型。同時(shí)它也給出了一個(gè)近似后驗分布 q 的熵更大的估計（更寬，更離散），并成功的超越了原始 KL 散度的模式匹配方法。還有一個(gè)有趣的結果，如果我們令粒子 K 的數量趨于無(wú)窮，我們就可以不需要推斷模型 q。

IWAE（第一行）和 VAE（第二行）中 z 的后驗分布。圖像從 IWAE 論文中復現得到。

IWAE 有什么問(wèn)題？

重要性加權 ELBO，或 IWAE，推廣了原始的 ELBO：對于 K=1，我們有 LK=L1=L。同時(shí)有 logp(x)≥Ln+1≥Ln≥L1。換言之，我們用來(lái)估計 LK 的粒子越多，它的結果就會(huì )越接近數據真實(shí)對數概率分布——即「界限越緊」。這意味著(zhù)和原始 ELBO 的梯度相比，通過(guò)對 IWAE 求微分得到的梯度估計量可以幫助我們找到一個(gè)更好的梯度方向。除此之外，隨著(zhù) K 的增加，梯度估計量的方差會(huì )相應收縮。

對于生成模型這些點(diǎn)非常好，但面對建議分布的時(shí)候，就會(huì )出現問(wèn)題。隨著(zhù) K 的增大，建議分布中參數的梯度的大小會(huì )趨于 0，而且比方差收斂得還要快。

令Δ(?) 表示我們優(yōu)化的目標函數（即 ELBO）在?上的梯度的小批量估計。如果定義參數更新的信號-噪聲比（SNR）如下：

其中 E 和 V 分別表示期望和方差?？梢钥闯鰧τ?pθ，SNR 隨著(zhù) K 增加而增加，但對于 q?，SNR 隨著(zhù) K 增加而減小。這里的結論很簡(jiǎn)單：我們使用的粒子越多，我們的推斷模型效果就會(huì )越差。如果我們關(guān)心的是表示學(xué)習，我們就會(huì )遇到問(wèn)題了。

更好的估計量

正如我們在最近的論文《Tighter Variational Bounds are Not Necessarily Better》中證明的，我們可以得到比 IWAE 更好的結果。思路是在推斷和生成模型中使用不同的目標，通過(guò)這種方法，我們可以保證兩個(gè)目標中都得到小方差非零梯度，最終得到更好的模型。

不同的訓練目標在訓練時(shí)期中信號-噪聲比

在上圖中，我們比較了建議分布 q?的參數?z 在更新中的 SNR。SNR 最高的 VAE 通過(guò)最優(yōu)化 L1 來(lái)訓練。SNR 最低的 IWAE 則通過(guò)最優(yōu)化 L64。中間的三條曲線(xiàn)使用的是不同的組合：生成模型中使用的 L64，推斷模型中使用的則是 L8 或 L1。在當前指標下，它們效果雖然沒(méi)有 VAE 好，但訓練出的建議分布和生成模型都比使用 VAE 或 IWAE 得到的好。

這里有一個(gè)令人驚訝的副作用：使用我們新的估計量訓練的模型比使用 IWAE 本身訓練的模型達到了更高的 L64 界限。為什么會(huì )這樣？通過(guò)研究有效樣本量（ESS）和數據的邊緣概率分布的對數，似乎是最優(yōu)化 L1，導致了性質(zhì)最好的建議分布但是性質(zhì)最差的生成模型。如果我們將一個(gè)好的建議分布和一個(gè)可以得出好的生成模型的目標結合在一起，我們應該可以得到這個(gè)目標的一個(gè)方差更小的估計，甚至因此可以得到更好的模型。請在這里查看我們論文的詳情。

論文：Tighter Variational Bounds are Not Necessarily Better

論文地址：https://arxiv.org/abs/1802.04537

摘要：我們同時(shí)在理論和經(jīng)驗上證明，使用更緊的信息下界（ELBO）可能并不利于通過(guò)減少梯度估計量的信號-噪聲比來(lái)學(xué)習推斷網(wǎng)絡(luò )的過(guò)程。我們的結果對目前廣為應用的暗含假設：「更緊的 ELBO 是聯(lián)立模型學(xué)習和推斷攤銷(xiāo)模式中更合適的變分目標」提出了質(zhì)疑。根據我們的研究，我們提出了三個(gè)新的算法：偏重要性加權自編碼器（PIWAE）、多層重要性加權自編碼器（MIWAE）以及聯(lián)合重要性加權自編碼器（CIWAE）；在這三個(gè)算法中，標準的重要性自編碼器（IWAE）都可以作為一個(gè)特殊情況。我們證明了這三個(gè)自編碼器都可以在 IWAE 的基礎上取得效果提升——即使我們使用的是 IWAE 中的目標來(lái)測試效果。進(jìn)一步來(lái)說(shuō)，和 IWAE 相比，PIWAE 可以同時(shí)提升推斷網(wǎng)絡(luò )和生成網(wǎng)絡(luò )的效果。