?leaderboard

leaderboard發(fā)音

英：['li:d?rb?:d]　　美：['li:d?rb?:d]

英：　　美：

leaderboard中文意思翻譯

n. 領(lǐng)先選手排名板；指顯示比賽中領(lǐng)先選手的名字和位置的板；尤指高爾夫巡回賽

怎么參加Kaggle比賽？

有個(gè)很好的例子是 Kaggle Dogs vs. Cats challenge：

目標很簡(jiǎn)單：對輸入圖像分類(lèi)為狗或貓。這對我們來(lái)說(shuō)非常容易——人腦可以輕松分辨出這兩種家庭寵物的差異。

但是，對于一臺電腦來(lái)說(shuō)呢？這就沒(méi)那么簡(jiǎn)單了。電腦能看到的只是一個(gè)巨大的充滿(mǎn) 0 和 1 的矩陣。我們如何在這些圖像中學(xué)習相應的模式，從而分辨貓和狗？2014 年發(fā)布這個(gè)挑戰時(shí)，它受到了大家的歡迎。這對于研究人員和工程師來(lái)說(shuō)是個(gè)挑戰。它獲得了大量的關(guān)注，因為這個(gè)問(wèn)題看似非常容易。此外，誰(shuí)不喜歡看這些可愛(ài)的小動(dòng)物呢？超過(guò) 200 支隊伍參與了這場(chǎng)挑戰，他們嘗試了數百種算法及其變型，耗費了數千小時(shí)的計算時(shí)間。

那么今天呢？如果使用從預訓練的卷積神經(jīng)網(wǎng)絡(luò )中提取的特征，我們可以在這個(gè)挑戰中獲得第二名的好成績(jì)。而且，最棒的事情是，如果使用微軟的 DSVM（預下載了所有必備的計算機視覺(jué)和深度學(xué)習庫），我們可以在 22 分鐘的時(shí)間內獲得第二名！代碼地址是：http://pyimg.co/5jhwg讓我們啟動(dòng) Ubuntu DSVM 實(shí)例，計時(shí)開(kāi)始！

通過(guò)特征提取進(jìn)行遷移學(xué)習

通常而言，我們將卷積神經(jīng)網(wǎng)絡(luò )視為端到端的圖像分類(lèi)器：

我們向網(wǎng)絡(luò )輸入圖像圖像經(jīng)正向傳播通過(guò)網(wǎng)絡(luò )在網(wǎng)絡(luò )的末尾獲得最終的分類(lèi)概率

但是，并沒(méi)有「規則」表明我們必須讓圖像在整個(gè)網(wǎng)絡(luò )中正向傳播。相反，我們可以終止任何一層網(wǎng)絡(luò )（例如激活層或池化層）的傳播過(guò)程，在這一位置提取網(wǎng)絡(luò )的值，然后使用提取的值作為特征向量。讓我們用 Simonyan 和 Zisserman 提出的 VGG16 架構舉個(gè)例子：

上圖左側是原始的 VGG16 的架構，它可以輸出 1000 個(gè) ImageNet 類(lèi)別標簽的概率。

為了將網(wǎng)絡(luò )編程一個(gè)特征提取器，我們可以在概念上「移除」網(wǎng)絡(luò )的全連接層，相反，返回最終池化層（上圖右側）的輸出——這個(gè)輸出將作為我們的特征向量。

由于在 ImageNet 數據集上訓練的 CNN 傾向于學(xué)習大量的判別過(guò)濾器，我們通?？梢栽谖唇?jīng)訓練的數據集上使用這些預訓練的網(wǎng)絡(luò )——我們把這個(gè)過(guò)程成為遷移學(xué)習。

我們可以將在 ImageNet 數據集中訓練的 CNN 的知識進(jìn)行遷移，將所學(xué)的知識編碼為特征向量，然后在這些特征向量的基礎上訓練一個(gè)簡(jiǎn)單的機器學(xué)習模型（例如 Logistic 回歸分類(lèi)器、線(xiàn)性 SVM 等）。

下載 Kaggle：Dogs vs. Cat 數據集

為了了解整個(gè)過(guò)程的工作流程，請確保已下載：

Jupyter Notebook，它包含了本文的封面Kaggle Dogs vs. Cats 數據集

為了簡(jiǎn)單起見(jiàn)，我們不會(huì )將測試集提交給評價(jià)服務(wù)器。相反，只需下載「train.zip」文件即可。注意：如果你嘗試使用「test1.zip」，我們將無(wú)法從文件路徑中提取類(lèi)別標簽。請不要下載「test1.zip」。在你下載「train.zip」之后，將其解壓，然后你就會(huì )得到一個(gè)名為「train」的目錄，其中有 25000 張關(guān)于貓和狗的、JPG 格式的圖片。從這里開(kāi)始，我們就可以應用遷移學(xué)習了。

DSVM上的遷移學(xué)習

為保證你能跟上進(jìn)度，請確保你已下載與本文相關(guān)的 Jupyter Notebook。第一個(gè)步驟是抓取 Kaggle Dogs. vs. Cats 數據集中所有 25000 張圖像的路徑（見(jiàn) cell 3）：

Dogs vs. Cats 數據集中文件的名稱(chēng)都諸如「cat.153.jpg」或「dog.4375.jpg」——因為類(lèi)別標簽已經(jīng)寫(xiě)在了文件名中，所以我們可以很容易地提取它們（見(jiàn) cell 4）

為了執行特征提取，我們需要一個(gè)預訓練的網(wǎng)絡(luò )——ResNet50 是一個(gè)不錯的選擇（見(jiàn) cell 5）。請注意，我們利用 忽略了所有的全連接層，這讓我們能夠輕松執行特征提取。

在我們擁有所有的圖像路徑后，我們需要對它們逐一進(jìn)行循環(huán)，并建立批量，讓它們通過(guò)網(wǎng)絡(luò )進(jìn)行特征提取。

在本節中，介紹整個(gè)的循環(huán)太過(guò)復雜（請參閱我們的 Jupyter Notebook，其中有完整的文件代碼），不過(guò)其中最重要的代碼片段節選如下：

對于每個(gè)批量的圖像，我們將其傳遞給神經(jīng)網(wǎng)絡(luò )，然后將最大池化層的輸出作為我們的特征。我們將最大池化層的輸出壓縮成 2048-d 的特征向量。這些特征以數據矩陣的形式堆疊在一起，因此我們可以在這些特征上訓練模型。

對于 25000 張圖像，整個(gè)數據矩陣占用大約 204MB 的 RAM，即使是最小規模的機器也可以輕松管理。

整個(gè)特征提取過(guò)程使用了 Ubuntu DSVM（同樣我們不需要手動(dòng)配置或構建，這節省了大量的時(shí)間），共耗時(shí) 22 分 48 秒。

考慮到我們提取的特征，我們使用 75% 的數據作為訓練集，使用 25%作為測試集，訓練了一個(gè) Logistic 回歸分類(lèi)器（網(wǎng)格搜索適當的參數）：

訓練模型僅用時(shí) 36s

所以，我們是如何做到的？

通過(guò)評估我們的 Logistic 回歸分類(lèi)器，我們發(fā)現我們的模型在測試集上達到了98.8896％的準確率：

這個(gè)準確率足以在 Kaggle Dogs vs. Cat 競賽中獲得第二名：

不過(guò)，這種比較并不是完全公平，因為我們沒(méi)有在 Kaggle 競賽提供的測試集中評估（取而代之，我們生成了我們自己的測試集）并將結果提交給評估服務(wù)器（因為這不在本入門(mén)教程的范圍之內） ，但我認為你應該理解了我要表達的意思。 在不到 25 分鐘的計算時(shí)間內，我們可以使用：

微軟的 Ubuntu DSVM遷移學(xué)習/特征提取

建立一個(gè)模型，從而在這個(gè)挑戰中提供具有強大競爭力的準確率。

請自如地使用本文的代碼，將其作為你自己深度學(xué)習項目的起點(diǎn)。

怎么參加Kaggle比賽？

Kaggle比賽是機器學(xué)習愛(ài)好者的樂(lè )園，很多人從小白變成大牛就是從這里學(xué)到了很多實(shí)戰項目經(jīng)驗。Kaggle中的項目一般來(lái)源于工業(yè)界，有著(zhù)實(shí)際的需求。具有一定的挑戰性，獎金豐富誘人，值得一試。下面重點(diǎn)寫(xiě)一下如何去參加一場(chǎng)kaggle比賽：

1.申請kaggle賬號

圖1-1Kaggle官網(wǎng)

圖1-2 注冊Kaggle賬號

2.進(jìn)入頁(yè)面后點(diǎn)擊competitions

3.Kaggle比賽時(shí)效

進(jìn)入后可以看到三個(gè)標簽，分別是：

Entered Competitions， Active Competitions， Completed Competitions

他們分別代表已經(jīng)參加的比賽，未參加還沒(méi)有結束的比賽，已經(jīng)結束的比賽。

圖3-1Entered Competitions

圖3-2Active Competitions

圖3-3Completed Competitions

4.以TGS Salt Identification Challenge競賽為例（點(diǎn)擊對應賽事即可查看）

進(jìn)入后頁(yè)面如下：

圖4-1

5. 競賽頁(yè)面布局介紹

圖5-1

可以看到大體有7個(gè)板塊，分別為:

Overview, Data ,Kernels ,Discussion ,Leaderboard ,Rules ,Team

然后一個(gè)一個(gè)來(lái)看他們的縱向板塊，首先是

①Overviews：

圖5-2

Overview有4個(gè)縱向板塊：

Description:對比賽背景的一些介紹

Evaluation:評價(jià)訓練模型性能的標準

Prizes:獎池介紹

Timelines:比賽的時(shí)間軸，何時(shí)報名，何時(shí)結束，何時(shí)頒獎等等

②Data:

圖5-3

圖5-4

圖5-5

預覽窗口是為了讓我們不需要下載數據集也可以看到里面的數據具體是什么樣子，只需要點(diǎn)擊Data source里羅列的數據即可，預覽效果如圖5-5。

圖5-6

圖5-7

③kernels：

圖5-8

kernels主要分為3個(gè)模塊：

Public,Yourwork,Favorites

Public：這里是所有愿意公開(kāi)的代碼展示，點(diǎn)擊名稱(chēng)即可進(jìn)去參觀(guān)他人的代碼，進(jìn)入后如圖5-9所示，可以看到多個(gè)選項，通過(guò)點(diǎn)擊Notebook和 Code選項可以查看他的代碼，點(diǎn)擊output可以看到他最后的輸出，點(diǎn)擊Comments可以看到一些評論。

圖5-9

Yourwork：你上傳的代碼

Favorites：你喜歡的

④Discussion

圖5-10

這個(gè)版塊主要是一些話(huà)題討論

⑤Leaderboard

圖5-11

從這里可以看到參加比賽的隊伍目前的排名

⑥Rules

圖5-12

這個(gè)版塊主要介紹的是比賽的一些規則。

⑦Team

圖5-13

在這個(gè)版塊來(lái)創(chuàng )建你自己的參賽隊伍

6.最后來(lái)介紹一下如何上傳自己的代碼

圖6-1

點(diǎn)擊submit Predictions即可進(jìn)入下面界面：

圖6-2

在這里即可提交你的預測結果文件。

以上這些便是參加kaggle比賽的詳細介紹了，快去大展身手吧~