1、generative

generative發(fā)音

英：[?d?en?r?t?v]　　美：[?d?en?r?t?v]

英：　　美：

generative中文意思翻譯

常用釋義：有生產(chǎn)力的

adj.生殖的；生產(chǎn)的；有生殖力的；有生產(chǎn)力的

generative常用詞組：

generative grammar───生成文法；衍生語(yǔ)法

generative mechanism───生成機制；衍生機構

generative process───生成過(guò)程；衍生過(guò)程

generative雙語(yǔ)使用場(chǎng)景

1、While Generative Semantics is no longer regarded as a viable grammatical model, it is important in a number of ways.───盡管生成語(yǔ)義學(xué)已不再被視為一個(gè)可行的語(yǔ)法模型，但它仍然在許多方面顯露出它的重要性。

2、Increasing the generative chemical reaction parameter increases the surface heat transfer rate and decreases the surface mass transfer rate.───增大生成化學(xué)反應會(huì )增加表面熱傳遞而減少質(zhì)量傳遞。

3、no microbody in the generative cell but many microbodies were present in the tube cell cytoplasm.───生殖細胞內不具微體，而管細胞的細胞質(zhì)有較多的微體。

4、Mr Zittrain calls it "generative" : people can tinker with it, creating new services and elbowing existing ones aside.───紫泉先生稱(chēng)之為“生產(chǎn)性”：人們可以對他進(jìn)行小修小補，建立新的服務(wù)讓現有的靠邊站。

5、The Singapore Exchange is under-leveraged compared with its peers, and is highly cash generative.───新交所的杠桿率低于同行，而且現金生成能力很強。

6、Chomsky's generative grammar further excludes social and cultural elements out of the linguistic research.───喬姆斯基的生成語(yǔ)法更是將語(yǔ)言的社會(huì )和文化因素排除在語(yǔ)言學(xué)研究之外。

7、many proposals originally disputed by generative semanticists have since appeared in the interpretivist literature.───此后，生成語(yǔ)義學(xué)家最初提出的許多建議都出現在解釋主義文獻中。

8、A generative value is a quality or attribute that must be generated, grown, cultivated, nurtured.───就是一種需要被產(chǎn)生、成長(cháng)、培養與呵護的特質(zhì)或屬性。

9、But it is only by building a new foundation that we will once again harness that incredible generative capacity of the American people.───但這需要我們建立一個(gè)新的基礎才能使得美國人民的無(wú)窮的創(chuàng )造力得以施展。

generative相似詞語(yǔ)短語(yǔ)

1、federative───adj.聯(lián)合的；聯(lián)邦性的

2、generalise───vt.概括；歸納；普及；vi.推廣；籠統地講；概括（等于generalize）

3、generate───vt.使形成；發(fā)生；生殖；產(chǎn)生物理反應

4、generalize───vt.概括；推廣；使...一般化；vi.形成概念

5、degenerative───adj.（疾?。夯?，變性的；退化的，變壞的

6、penetrative───adj.滲透的；有穿透力的；徹骨的

7、regenerative───adj.再生的，更生的；更新的

8、enervative───退化的

9、venerative───崇敬的

2、【模型解讀】歷數GAN的5大基本結構

首發(fā)于微信公眾號《有三AI》

模型解讀歷數GAN的5大基本結構

生成對抗網(wǎng)絡(luò )是近幾年來(lái)無(wú)監督學(xué)習領(lǐng)域里最大的進(jìn)展，被譽(yù)為下一代深度學(xué)習，不管是研究熱度還是論文數量，已經(jīng)逼近甚至超越傳統判別式的CNN架構。

這一次我們簡(jiǎn)單介紹一下生成對抗網(wǎng)絡(luò )的主流模型結構，從一個(gè)生成器一個(gè)判別器到多個(gè)生成器多個(gè)判別器。

作者 | 言有三

編輯 | 言有三

我們這一期文章不打算從頭開(kāi)始講述GAN，所以如果大家沒(méi)有相關(guān)基礎的，就先看一下我們上一期GAN的介紹。

技術(shù)綜述有三說(shuō)GANs（上）​

一個(gè)基本的用于生成圖像的GAN的結構就是這樣的。

Generator就是生成器，它輸入噪聲，輸出產(chǎn)生的圖像。通常噪聲就是一個(gè)一維的向量，經(jīng)過(guò)reshape為二維圖像，然后利用若干個(gè)反卷積層來(lái)學(xué)習上采樣。

如全卷積的DCGAN模型[1]，輸入就是1*100的向量，然后經(jīng)過(guò)一個(gè)全連接層學(xué)習，reshape到4*4*1024的張量，再經(jīng)過(guò)4個(gè)上采樣的反卷積網(wǎng)絡(luò )，生成64*64的圖。

Discrimator就是普通的CNN分類(lèi)器，輸入真實(shí)樣本或者生成的假樣本進(jìn)行分類(lèi)，在DCGAN中也是4個(gè)卷積層。

采用多個(gè)判別器[2]的好處帶來(lái)了類(lèi)似于boosting的優(yōu)勢，訓練一個(gè)過(guò)于好的判別器，會(huì )損壞生成器的性能，這是GAN面臨的一個(gè)大難題。如果能夠訓練多個(gè)沒(méi)有那么強的判別器，然后進(jìn)行boosting，可以取得不錯的效果，甚至連dropout技術(shù)都可以應用進(jìn)來(lái)。

多個(gè)判別器還可以相互進(jìn)行分工，比如在圖像分類(lèi)中，一個(gè)進(jìn)行粗粒度的分類(lèi)，一個(gè)進(jìn)行細粒度的分類(lèi)。在語(yǔ)音任務(wù)中，各自用于不同聲道的處理。

一般來(lái)說(shuō)，生成器相比判別器要完成的任務(wù)更難，因為它要完成數據概率密度的擬合，而判別器只需要進(jìn)行判別，導致影響GAN性能的一個(gè)問(wèn)題就是模式坍塌，即生成高度相似的樣本。

采用多個(gè)生成器單個(gè)判別器的方法，可以有效地緩解這個(gè)問(wèn)題。

從上圖結構可以看出，多個(gè)生成器采用同樣的結構，在網(wǎng)絡(luò )的淺層還共享權重。

在利用GAN進(jìn)行半監督的圖像分類(lèi)任務(wù)時(shí)，判別器需要同時(shí)擔任兩個(gè)角色，即判別生成的假樣本，以及預測類(lèi)別，這對判別器提出了較高的要求。通過(guò)增加一個(gè)分類(lèi)器可以分擔判別器的工作量，即將捕捉樣本和標簽的條件分布這一任務(wù)交給生成器和分類(lèi)器，而判別器只專(zhuān)注于區分真實(shí)樣本和生成的樣本。

這一類(lèi)結構以Triple Generative Adversarial Nets為代表，下圖是它的網(wǎng)絡(luò )結構。

多個(gè)生成器和多個(gè)判別器就又有幾種。

5.1 級聯(lián)結構[5]

早期以DCGAN為代表的網(wǎng)絡(luò )生成的圖片分辨率太低，質(zhì)量不夠好，都不超過(guò)100×100，在32×32或者64×64左右。這是因為難以一次性學(xué)習到生成高分辨率的樣本，收斂過(guò)程容易不穩定。

類(lèi)似的問(wèn)題在圖像分割，目標檢測中都存在。在目標檢測中，級聯(lián)網(wǎng)絡(luò )被廣泛使用，即采用從粗到精的方法依次改進(jìn)檢測器的性能。在圖像分割中進(jìn)行上采樣時(shí)也采用學(xué)習小倍率的放大而不是大倍率的方法，如利用兩個(gè)2倍上采樣替換一個(gè)4倍的上采樣，不僅可以增強網(wǎng)絡(luò )的表達能力，還降低了學(xué)習難度。

基于此，金字塔GAN結構被提出并廣泛使用，它參考圖像領(lǐng)域里面的金字塔結構由粗到精一步一步生成圖像，并添加殘差進(jìn)行學(xué)習。

上圖就是它的結構，從低分辨率z3開(kāi)始，逐級提升，最終生成I0，這是一個(gè)金字塔形狀的結構，以下符號較多用圖片代替。

5.2 并行與循環(huán)結構[6]

GAN有一大應用就是風(fēng)格化，實(shí)現兩個(gè)域之間的風(fēng)格互換，以CycleGAN[6]為典型代表。它包含了多個(gè)生成器和多個(gè)判別器。Cycle的典型結構如下：

X和Y分別表示兩個(gè)域的圖像，可知這里存在兩個(gè)生成器G和F，分別用于從X到Y的生成和Y到X到生成，包含兩個(gè)判別器，分別是Dx和Dy。而損失本身也增加了一個(gè)循環(huán)損失，感興趣讀者可以去細讀文章。

另外在cross domain學(xué)習中也常用到多判別器多生成器多結構，分別學(xué)習不同的域。而且各個(gè)域的判別器和生成器通常會(huì )共享一些權重，如下圖是CoGAN[7]的網(wǎng)絡(luò )結構。

另外還有一些零零散散的結構，比如3D GAN，RNN GAN，由于都是上面這幾類(lèi)的變種，不再統一介紹。

[1] Radford A, Metz L, Chintala S, et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[J]. international conference on learning representations, 2016.

[2] Durugkar I P, Gemp I, Mahadevan S, et al. Generative Multi-Adversarial Networks[J]. international conference on learning representations, 2017.

[3] Ghosh A, Kulharia V, Namboodiri V P, et al. Multi-Agent Diverse Generative Adversarial Networks[J]. computer vision and pattern recognition, 2018: 8513-8521.

[4] Chongxuan L I, Xu T, Zhu J, et al. Triple Generative Adversarial Nets[J]. neural information processing systems, 2017: 4088-4098.

[5] Denton E L, Chintala S, Szlam A, et al. Deep generative image models using a Laplacian pyramid of adversarial networks[J]. neural information processing systems, 2015: 1486-1494.

[6] Zhu J, Park T, Isola P, et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[J]. international conference on computer vision, 2017: 2242-2251.

[7] Liu M, Tuzel O. Coupled Generative Adversarial Networks[J]. neural information processing systems, 2016: 469-477.

本系列的完整目錄：

模型解讀從LeNet到VGG，看卷積+池化串聯(lián)的網(wǎng)絡(luò )結構

模型解讀network in network中的1*1卷積，你懂了嗎

模型解讀GoogLeNet中的inception結構，你看懂了嗎

模型解讀說(shuō)說(shuō)移動(dòng)端基準模型MobileNets

模型解讀pooling去哪兒了？

模型解讀resnet中的殘差連接，你確定真的看懂了？

模型解讀“不正經(jīng)”的卷積神經(jīng)網(wǎng)絡(luò )

模型解讀“全連接”的卷積網(wǎng)絡(luò )，有什么好？

模型解讀從“局部連接”回到“全連接”的神經(jīng)網(wǎng)絡(luò )

模型解讀深度學(xué)習網(wǎng)絡(luò )只能有一個(gè)輸入嗎

模型解讀從2D卷積到3D卷積，都有什么不一樣

模型解讀淺析RNN到LSTM