1、skip connection

skip connection發(fā)音

英：　　美：

skip connection中文意思翻譯

常見(jiàn)釋義：

跳過(guò)連接

skip connection雙語(yǔ)使用場(chǎng)景

1、If you already have an existing DB2 database, skip this step and proceed directly to step 3 to start configuring your database connection.───如果已經(jīng)有一個(gè)DB 2數據庫，那么可以忽略這一步，直接進(jìn)入步驟3，開(kāi)始配置數據庫連接。

skip connection相似詞語(yǔ)短語(yǔ)

1、skip───vi.跳躍；跳繩；遺漏；跳讀；vt.跳過(guò)；遺漏；n.跳躍；跳讀；n.(Skip)人名；(英)斯基普

2、carf connection───carf連接

3、connection───n.連接；關(guān)系；人脈；連接件

4、click skip───單擊“跳過(guò)”

5、connection speed───連接速度

6、kennel connection───犬舍連接

7、frame skip───跳幀

8、skip about───跳過(guò)

9、connection point───接點(diǎn)

2、如何理解自動(dòng)化機器學(xué)習？

過(guò)去十年，谷歌在人工智能領(lǐng)域的重重突破，有很大一部分和 Quoc Le 有關(guān)。這位出生在越南的谷歌研究員像是一個(gè)人工智能的信徒，堅信機器學(xué)習能夠解決一切讓人煩惱的問(wèn)題，即使存在失敗的可能性，他也樂(lè )在其中。AutoML 則是他最新的研究方向，也是被認為將改變整個(gè)深度學(xué)習發(fā)展進(jìn)程的技術(shù)。正如此，我們希望從和 Le 的采訪(fǎng)中探尋圍繞在 AutoML 的真相和未來(lái)。

在這場(chǎng)一個(gè)小時(shí)的采訪(fǎng)里，筆者印象最深刻的是下面的兩句話(huà)：1. 我們做到了自動(dòng)化機器學(xué)習，之后就只是規?；膯?wèn)題。2. 我預計未來(lái)兩年內，至少在計算機視覺(jué)領(lǐng)域內，最好的網(wǎng)絡(luò )會(huì )是 AutoML 生成的，而不是人工設計的。

作為谷歌大腦的創(chuàng )始成員和 AutoML 的締造者之一，Quoc Le 算得上是人工智能研究領(lǐng)域的原住民了。

2011 年在斯坦福大學(xué)讀博時(shí)，Le 和他的老師吳恩達以及谷歌大腦的研究人員一起，基于千萬(wàn)張 YouTube 圖像開(kāi)發(fā)了一個(gè)能夠識別貓的無(wú)監督學(xué)習系統；2014 年，他將深度學(xué)習技術(shù)應用在自然語(yǔ)言理解任務(wù)上，提出了能將文本轉換為向量表征、基于循環(huán)神經(jīng)網(wǎng)絡(luò )的 Seq2Seq 學(xué)習模型，將機器翻譯的前沿水平又向前推進(jìn)了一步。這為谷歌之后在自然語(yǔ)言機器翻譯方面的突破奠定了基礎。

自 2014 年以來(lái)，Le 開(kāi)始將目光轉向了自動(dòng)化機器學(xué)習（AutoML）。構建機器學(xué)習模型的過(guò)程需要反復的人工調整：研究者會(huì )在初始的模型上嘗試不同的架構和超參數，在數據集上評估模型的表現，再回頭進(jìn)行修改；這個(gè)過(guò)程會(huì )反復進(jìn)行，直到達到最優(yōu)。

Le 認為可以把它想成是一個(gè)試錯問(wèn)題，繼而通過(guò)機器學(xué)習解決：「可以看看強化學(xué)習以及機器學(xué)習下圍棋的方式，基本上就是試錯?！?/p>

2016 年，Le 與一位谷歌研究者合作發(fā)表了一篇開(kāi)創(chuàng )性的論文《Neural Architecture Search with Reinforcement Learning》。其核心思想類(lèi)似于搭建積木：機器從一個(gè)定義空間中選取自己所需的組件來(lái)構建神經(jīng)網(wǎng)絡(luò )，然后使用一種試錯技術(shù)，也就是—強化學(xué)習—來(lái)提升其準確度。這種方法得到了令人驚喜的結果，機器所生成的模型的表現可媲美人工調節的最佳模型。

Le 的研究成果催生了 Google Cloud AutoML，能讓機器學(xué)習知識有限的開(kāi)發(fā)者也能訓練出高質(zhì)量的模型。不出所料，AutoML 迅速成為了今年最熱門(mén)的研究主題之一，科技巨頭與創(chuàng )業(yè)公司紛紛跟隨谷歌的腳步，投入這項新技術(shù)。

Google Cloud 在今年年初發(fā)布了 AutoML 視覺(jué)，之后又發(fā)布了 AutoML 翻譯和語(yǔ)言

機器之心近日視頻采訪(fǎng)了 Quoc Le 博士。這位謙遜的 36 歲越南裔人工智能專(zhuān)家談到了他的靈感來(lái)源、AutoML 背后的技術(shù)和前方的道路及其在機器學(xué)習領(lǐng)域內扮演的重要新角色。這位站在許多變革性技術(shù)背后的人有怎樣的見(jiàn)解呢？請看后文。為了簡(jiǎn)潔和明晰，采訪(fǎng)內容進(jìn)行過(guò)適當編輯。

在即將于 11 月 9 日 于加利福尼亞州圣何塞舉辦的 AI Frontiers 會(huì )議上，Quoc Le 將發(fā)表主題為「使用機器學(xué)習自動(dòng)化機器學(xué)習」的演講，特別將關(guān)注神經(jīng)架構搜索和自動(dòng)數據增強 AutoAugment。

靈感

您在何時(shí)開(kāi)始想要設計一種新的神經(jīng)架構搜索方法？是什么啟發(fā)了你？

那是在大概 2014 年的樣子，這個(gè)過(guò)程隨時(shí)間逐漸發(fā)生的。我是一位機器學(xué)習工程師。當你一直以來(lái)都在做神經(jīng)網(wǎng)絡(luò )方面的工作時(shí)，你會(huì )意識到很多工作都需要人工調整，也就是人們說(shuō)的「超參數」——神經(jīng)網(wǎng)絡(luò )的層數、學(xué)習率、網(wǎng)絡(luò )中所使用的層的類(lèi)型。AI 研究者往往會(huì )根據某些原則開(kāi)始調整，然后這些原則會(huì )隨時(shí)間變得不那么有效，他們再?lài)L試不同的策略。

我關(guān)注了 ImageNet 競賽中的某些進(jìn)展，也見(jiàn)證了谷歌的 Inception 網(wǎng)絡(luò )的發(fā)展。我便開(kāi)始思考我想做些什么，但那時(shí)的想法還不清晰。我喜歡卷積網(wǎng)絡(luò )，但我不喜歡一個(gè)關(guān)于卷積網(wǎng)絡(luò )的事實(shí)：卷積網(wǎng)絡(luò )中的權重并不彼此共享。所以我就想，也許我應該開(kāi)發(fā)一種全新的機制，能真正學(xué)會(huì )如何在神經(jīng)網(wǎng)絡(luò )中共享權重。

隨著(zhù)我的工作推進(jìn)，我對此的直觀(guān)理解也越來(lái)越多，我開(kāi)始發(fā)現：研究者們所做的事情是將一些已有的構建模塊組合到一起，然后嘗試它們的效果。他們看到準確度有一定提升。然后就說(shuō)：「很好，也許我剛引入了一個(gè)好想法。試試看保留我剛剛引入的好東西，但用某些新東西替換舊有的部分會(huì )怎樣呢？」他們就這樣繼續這一過(guò)程，這個(gè)領(lǐng)域的專(zhuān)家可能會(huì )嘗試數百種架構。

在 2016 年左右，我當時(shí)在思考如果這個(gè)過(guò)程需要如此之多的試錯，那我們就應該使用機器學(xué)習來(lái)自動(dòng)化，因為機器學(xué)習本身也是基于試錯的?？梢钥纯磸娀瘜W(xué)習以及機器學(xué)習下圍棋的方式，基本上就是試錯。

我研究了做成這件事將需要多少真正的計算資源。我的想法是，如果是一個(gè)人類(lèi)，那可能會(huì )需要一百個(gè)網(wǎng)絡(luò )來(lái)試錯，因為人類(lèi)已經(jīng)有大量直覺(jué)知識和大量訓練了。如果你使用算法來(lái)做這件事，那你的速度可能會(huì )慢上一兩個(gè)數量級。我認為實(shí)際上慢一兩個(gè)數量級也不算太差，而且我們已經(jīng)有充足的計算資源來(lái)做這件事了。所以我決定與一位培訓生（Barret Zoph，現在已是谷歌大腦的一位研究者）一起啟動(dòng)這個(gè)項目。

我之前沒(méi)想到這會(huì )如此地成功。我當時(shí)認為我們能做到的最佳結果可能是人類(lèi)水平的 80%。但這位培訓生非常優(yōu)秀，他實(shí)際上做到了與人類(lèi)媲美的水平。

許多人告訴我：「你花費了如此之多資源，就只為達到了人類(lèi)水平？」但我從這個(gè)實(shí)驗中看到的是現在我們可以做到自動(dòng)化機器學(xué)習。這只是一個(gè)規模問(wèn)題。所以如果你的規模更大，你就能得到更好的結果。我們繼續開(kāi)展了第二個(gè)項目，采用了甚至更大的規模并在 ImageNet 上進(jìn)行了研究，然后開(kāi)始得到了真正非常出色的結果。

您有這個(gè)想法有告訴 Jeff Dean 嗎？他是什么反應？

嗯，他非常支持。實(shí)際上我也想感謝 Jeff Dean 在這個(gè)想法的初期所提供的幫助。

我記得在 2014 年，有一次和 Jeff 吃了一頓午餐，他也分享了非常類(lèi)似的看法。他認為如果仔細了解那時(shí)候的深度學(xué)習研究者所做的事情，就會(huì )發(fā)現他們當時(shí)會(huì )花大量時(shí)間來(lái)在超參數等方面調整架構。我們認為一定存在一種自動(dòng)化這一過(guò)程的方法。Jeff 喜歡擴展和自動(dòng)化困難的東西，這是大多數科技人員不愿做的事情。Jeff 給我提供了鼓勵，我也最終決定去做這個(gè)。

谷歌 AI 負責人 Jeff Dean

神經(jīng)架構搜索與您之前的研究有何不同？

這不同于我之前在計算機視覺(jué)領(lǐng)域的工作。這段研究經(jīng)歷源自一個(gè)想法，并且也在隨時(shí)間成長(cháng)。我也有過(guò)一些錯誤想法。比如，我曾想自動(dòng)化和重建卷積，但那是個(gè)錯誤的直覺(jué)想法。也許我應該接受卷積，然后使用卷積來(lái)構建其它東西？這對我來(lái)說(shuō)是一個(gè)學(xué)習過(guò)程，但不算太壞。

技術(shù)

研究者或工程師需要哪些種類(lèi)的組件來(lái)構建神經(jīng)網(wǎng)絡(luò )模型？

因應用各異，確實(shí)會(huì )有所不同，所以我們先來(lái)看看計算機視覺(jué)領(lǐng)域——即使是在計算機視覺(jué)領(lǐng)域內也有很多事物。通常而言，卷積網(wǎng)絡(luò )會(huì )有一個(gè)圖像輸入，有一個(gè)卷積層，然后一個(gè)池化層，之后還有批歸一化。然后還有激活函數，你還可以決定連接到新的層的 skip connection 等等。

在卷積模塊內，你還有很多其它選擇。比如在卷積中，你必須決定過(guò)濾器的大?。?x1? 3x3? 5x5? 你還必須決定池化和批量大小的規格。至于 skip connection，你可以選擇從第一層到第十層，也可以選擇從第一層到第二層。所以需要做的決定非常多，也就存在大量可能的架構?？赡苄砸苍S能達到數萬(wàn)億，但人類(lèi)現在只會(huì )檢查這些可能中的一小部分。

一種常見(jiàn)的卷積架構

您的第一篇 AutoML 相關(guān)論文是《Neural Architecture Search (NAS) with Reinforcement Learning（使用強化學(xué)習的神經(jīng)架構搜索）》。自那以后，您的團隊已經(jīng)采用了進(jìn)化算法并開(kāi)始使用漸進(jìn)式神經(jīng)架構搜索。您能詳細談?wù)勥@些改進(jìn)背后的思路嗎？

在原來(lái)的論文中，我們是從強化學(xué)習開(kāi)始的，因為我們直覺(jué)上認為這類(lèi)似于人類(lèi)的處理方法，也就是可以使用試錯。但我很好奇，所以我說(shuō)：「好吧，試試進(jìn)化方法怎么樣？」我們做了很多實(shí)驗并取得了一些成功，并且認識到這個(gè)過(guò)程可以使用進(jìn)化來(lái)完成，所以我們修改了核心算法。

更大的一個(gè)改變是使用了 ENAS（高效神經(jīng)架構搜索）。過(guò)去，當你生成了大量架構時(shí)，每個(gè)架構的訓練和評估都相對于前一代是獨立的。所以一般不會(huì )共享任何先驗知識或信息。假設說(shuō)你確實(shí)開(kāi)發(fā)了一種共享機制，你可以從之前訓練的網(wǎng)絡(luò )繼承某些權重，然后就可以更快速地訓練。所以我們就這樣做了。

基本而言，我們的想法就是創(chuàng )造一個(gè)包含了所有可能性的巨型網(wǎng)絡(luò )，然后在該網(wǎng)絡(luò )中搜索一條路徑（以最大化在驗證集上的預期獎勵），這就是所要尋找的架構。某些權重會(huì )在下一次實(shí)驗中得到重復使用。所以會(huì )有很多權重共享。因為這種方法，我們實(shí)際上能實(shí)現很多個(gè)數量級的加速。原始的 NAS（神經(jīng)架構搜索）算法要更靈活得多，但成本太高了。ENAS 基本上是一種更快的新算法，但限制也更多一點(diǎn)。

原始的 NAS 算法可以生成更優(yōu)的架構以及更好的超參數、更好的數據增強策略、更好的激活函數、更好的初始化等等。目前我們只成功將這種新的 ENAS 算法用在了架構方面，還沒(méi)用到數據增強以及優(yōu)化方面。

您的意思是其它參數是人類(lèi)決定的？

我們將架構搜索和數據增強確定為人類(lèi)專(zhuān)家很難設計的兩個(gè)關(guān)鍵領(lǐng)域。所以一旦你做對了這兩件事，就能實(shí)現大量成果。其余的只用常見(jiàn)的優(yōu)化技術(shù)和標準的實(shí)踐方法即可。我們只關(guān)注能提供最大效益的組件的自動(dòng)化。

ENAS 是一個(gè)很近期的進(jìn)展。盡管我們還在做大量黑箱中的實(shí)驗，但這個(gè)研究方向進(jìn)展很快。

我聽(tīng)說(shuō)有一家創(chuàng )業(yè)公司正使用一種名叫生成式合成（generative synthesis）的技術(shù)。另外還有使用 GAN 的？不同的搜索算法各有哪些優(yōu)缺點(diǎn)？

我不確定有誰(shuí)真在用 GAN 來(lái)做架構生成。我認為這是可能的，但我不是很了解。

進(jìn)化和強化學(xué)習具有相似的通用性，但同樣，如果你不做任何假設，它們的速度會(huì )非常慢。所以人們發(fā)展出了漸進(jìn)式神經(jīng)架構搜索的思想，即先搜索一個(gè)小組件，然后再不斷增添。我認為這是一個(gè)非常好的想法。

神經(jīng)架構搜索概況

說(shuō)到 ENAS，基本而言核心思想就是權重共享。你想開(kāi)發(fā)一個(gè)大架構，然后找到一條路徑。ENAS 基于一些其它思想，比如 one-shot architecture search，也就是構建多個(gè)模型，然后想辦法在它們之間共享權重。我認為強化學(xué)習和進(jìn)化方法的優(yōu)勢是它們非常靈活。它們可用于機器學(xué)習流程中任何組件的自動(dòng)化。但它們也成本高昂。ENAS 和漸進(jìn)式架構搜索等大多數針對特定方面的算法都會(huì )有某些前提假設，所以它們的通用性和靈活性更差，但它們一般速度更快。我對 GAN 方面不太了解。我認為人們會(huì )使用 GAN 來(lái)生成更好的圖像，但我不認為人們會(huì )使用 GAN 來(lái)生成更好的架構。

遷移學(xué)習在 AutoML 技術(shù)中扮演怎樣的角色？

遷移學(xué)習有兩種類(lèi)型。第一種是架構遷移學(xué)習，比如找到一個(gè)在圖像識別數據集上的好架構之后再遷移用于目標檢測。另一種遷移學(xué)習是權重遷移學(xué)習——如果你在公共數據集上訓練你的網(wǎng)絡(luò )，你會(huì )得到一個(gè)結果，然后再在你自己的數據集上再訓練該網(wǎng)絡(luò )。

讓我們假設這樣的情況：我們想做鮮花檢測。ImageNet 有大約 100 萬(wàn)張圖像，包含花的圖像有大約 1000 張。你可以根據 ImageNet 找到最佳的架構，然后復用這些權重；或者你可以直接取一個(gè) Inception V3 這樣的先進(jìn)模型，然后在 ImageNet 上訓練，再在花上遷移學(xué)習，之后復用其權重。SOTA 方法是只遷移權重，因為大多數人都不做架構生成。你必須先讓你的 Inception V3 或 ResNet 在 ImageNet 上訓練。完成這個(gè)訓練之后，你再做微調。

我想說(shuō)的是，實(shí)際上你既需要架構遷移學(xué)習，也需要權重遷移學(xué)習；兩者可以通過(guò)如下方式結合起來(lái)：

• 結合方法一：首先做架構遷移學(xué)習，然后再做權重遷移學(xué)習。

• 結合方法二：直接在你的數據集上進(jìn)行架構搜索，并在 ImageNet 上做權重遷移學(xué)習。

• 結合方法三：直接使用 ResNet 和權重遷移學(xué)習。這是當前最佳的方法。

• 結合方法〇：只在你的目標數據集上進(jìn)行架構搜索，不做遷移學(xué)習。

因數據集不同，適用的結合方法也不同，因為有的數據集更大，有的則更小。不同的結合方式是在數據集的不同側面發(fā)揮作用。

我預測未來(lái)幾年，組合方法〇（即純粹的架構搜索）將能得到質(zhì)量更好的網(wǎng)絡(luò )。我們在這一領(lǐng)域做了大量研究，我們知道這種方法實(shí)際上更好。

Quoc Le 在接受機器之心視頻采訪(fǎng)期間進(jìn)行板書(shū)

麻省理工學(xué)校和上海交通大學(xué)的一篇研究論文提出了一種路徑層面的網(wǎng)絡(luò )到網(wǎng)絡(luò )變換（arXiv: 1806.02639），您怎么看？

這是個(gè)很棒的思路。在我決定研究架構搜索時(shí)我就想過(guò)嘗試這一思路：首先從一個(gè)優(yōu)良的初始架構開(kāi)始，然后修改再修改，總是盡力做到越來(lái)越好。但我感覺(jué)這有點(diǎn)點(diǎn)胸無(wú)大志，我希望能做些更雄心勃勃的事情！

寫(xiě)論文的一大好處是當我們發(fā)表時(shí)，我們會(huì )發(fā)現很多人都有一樣的哲學(xué)思想。而且他們確實(shí)對這些算法進(jìn)行了修改，我們實(shí)際上也能從這些研究思想中學(xué)到東西，幫助改進(jìn)我們自己的研究。

AutoML 的哪些部分仍需人類(lèi)干預？

我們還必須做一些設計搜索空間的工作。在架構搜索方面，可以使用進(jìn)化、強化學(xué)習或這種高效的算法。但我們也必須定義一個(gè)卷積網(wǎng)絡(luò )或全連接網(wǎng)絡(luò )的構建模塊所處的空間。有些決定還是必須人來(lái)做，因為目前 AutoML 的計算能力有限。我們并不能直接搜索一切，因為那樣的話(huà)搜索空間就太大了。因為這樣的原因，我們必須設計一個(gè)帶有所有可能性的更小的搜索空間。

深度學(xué)習仍然是一種黑箱技術(shù)。AutoML 能幫助用戶(hù)更好地理解模型嗎？

我們能得到一些見(jiàn)解。比如，這樣的搜索過(guò)程會(huì )生成很多看起來(lái)類(lèi)似的架構。你可以檢查這些架構，然后識別出特定的模式。你也可以得出一些直覺(jué)理解，幫助你了解哪種架構對你的數據集而言最好。比如在 ImageNet 上，由 AutoML 發(fā)現的網(wǎng)絡(luò )的層中通常都有多個(gè)分支（不同于每層僅有一個(gè)或少量分支的更傳統的網(wǎng)絡(luò )）。在分支的層面上看，很難解釋發(fā)生了什么。

在 ImageNet 中，目標和圖像的尺寸各有不同。有時(shí)候巨大醒目的目標出現在圖像正中，有時(shí)候圖像中的目標非常小，比如一個(gè)小零件。所以你會(huì )有不同大小的過(guò)濾器。通過(guò)組合不同的分支，能得到更好的結果。我們會(huì )繼續研究這個(gè)問(wèn)題。

AutoML 的挑戰和未來(lái)

您認為 AutoML 研究目前所面臨的最大難題是什么？

我認為未來(lái)兩年中最大的難題將是如何讓搜索更高效，因為我認為很多人都不想使用一百個(gè) GPU 來(lái)解決某個(gè)小數據集的問(wèn)題。所以尋找能在降低成本的同時(shí)又不影響質(zhì)量的方法會(huì )成為一個(gè)非常重大的問(wèn)題。

第二個(gè)大難題是如何降低設計搜索空間所需的人力工作。因為現在的搜索空間中具有某些先驗的知識，所以即使我們宣稱(chēng)我們用 AutoML 做一切工作，特定的先驗知識元素仍會(huì )進(jìn)入搜索空間。我認為這還不夠理想，我也想研究這個(gè)問(wèn)題。

但我可以告訴你，AutoML beta 版的質(zhì)量已經(jīng)很好了，谷歌云的人也很滿(mǎn)意。我不能說(shuō)產(chǎn)品的細節，但我認為質(zhì)量已經(jīng)很好。而且接受情況也很棒。

參閱機器之心文章：https://www.jiqizhixin.com/articles/2018-02-06-23

在 AutoML 的魯棒性提升方面是否還有機會(huì )？

一般而言，當我們做 AutoML 時(shí)，我們會(huì )有另外一個(gè)驗證數據集。這樣我們就可以不斷在那個(gè)數據集上進(jìn)行驗證來(lái)評估質(zhì)量。魯棒性實(shí)際上已經(jīng)是 AutoML 的目標函數的一部分?，F在在添加約束方面，事實(shí)證明 AutoML 有能力做到，比如制作對對抗噪聲更魯棒的模型，或將其它外部約束條件添加進(jìn) AutoML 中。這是一種非常棒的能力，因為很多時(shí)候當你有新的約束條件時(shí)，人類(lèi)很難找到將其植入到模型中的方法。但是 AutoML 可以使用一個(gè)獎勵函數作為準確度和魯棒性之間的權衡。然后進(jìn)化，最后會(huì )找到一個(gè)在準確度和穩健性之間有良好權衡的模型。

說(shuō)個(gè)案例。我們之前有位研究者在研究如何設計出更好的網(wǎng)絡(luò )來(lái)防御對抗樣本。我們在 CIFAR-10 上進(jìn)行了小規模的實(shí)驗。他找到了一個(gè)對對抗攻擊非常穩健的網(wǎng)絡(luò )，由于之前最佳。這個(gè)結果非常好，能做到這一點(diǎn)的原因是人類(lèi)很難直觀(guān)地想出一種防御攻擊的方法。但 AutoML 不在乎，它只是嘗試了一些網(wǎng)絡(luò )，然后其中一個(gè)網(wǎng)絡(luò )不知怎的本身就具有防御攻擊的機制。

有辦法有效地比較目前市面上的這些各不相同的 AutoML 解決方案嗎？

可以做到。只要你有一個(gè)任務(wù)，你就應該單獨創(chuàng )建一個(gè)數據集。你將其輸入 AutoML，然后它會(huì )得出某些預測模型，然后你在你的測試集上評估這些預測模型——這個(gè)測試集應該被看作是你的基準集。在基準集上的準確度是衡量模型表現的好標準。我不能過(guò)多地評論我們的方法與市面上其它方法的比較情況，但我認為人們都可以自己去看去比較。

您認為 AutoML 能夠生成下一代顛覆性網(wǎng)絡(luò )架構嗎，類(lèi)似 Inception 或 ResNet？

我認為它已經(jīng)做到了。我們近期使用了架構搜索來(lái)尋找可用于移動(dòng)手機的更好的網(wǎng)絡(luò )。這是一個(gè)很艱難的領(lǐng)域，很多人都在研究。超過(guò) MobileNet v2 是很困難的，這是現在的行業(yè)標準。我們生成了一個(gè)顯著(zhù)更優(yōu)的網(wǎng)絡(luò )，在移動(dòng)手機上同樣速度下好 2%。

而這僅僅是個(gè)開(kāi)始。我認為這樣的事還會(huì )繼續發(fā)生。我預計未來(lái)兩年內，至少在計算機視覺(jué)領(lǐng)域內，最好的網(wǎng)絡(luò )會(huì )是生成的，而不是人工設計的。

您怎么看待圍繞 AutoML 的炒作？

我很難評論圍繞 AutoML 的炒作，但當我看到很多人都想使用機器學(xué)習時(shí)，我認為在幫助機器學(xué)習更廣泛可用方面還存在很大的能做出成績(jì)的空間。特定的技術(shù)可能比其它一些技術(shù)炒得更兇，但我認為隨著(zhù)時(shí)間推移，我們能帶來(lái)影響的領(lǐng)域將非常廣闊。

很少有研究者能在機器學(xué)習領(lǐng)域多次取得突破。您是如何維持自己的創(chuàng )造力的？

首先，出色的研究者有很多，他們都非常有創(chuàng )造力，工作非常出色，所以我并不特殊。對于我自己，我有一些我一直很好奇并想要解決的問(wèn)題，而且我非常熱愛(ài)解決這些問(wèn)題。我只是跟隨著(zhù)自己的好奇心并為世界帶來(lái)了積極的影響。這是好奇心與毅力的結合。我也會(huì )在周末踢足球，而且我愛(ài)好園藝。我不知道這是否有助于我的研究工作，但這確實(shí)能幫助我放松身心。

我不得不問(wèn)：您如何應對失??？

如果你熱愛(ài)，那你就會(huì )堅持不懈去追尋，對吧？我非常熱愛(ài)機器學(xué)習。教機器如何學(xué)習是一種做計算機編程的新方法：不用再寫(xiě)程序了，可以教機器來(lái)做。我從根本上喜歡這個(gè)概念。所以即便遭遇失敗時(shí)，我也樂(lè )在其中！