1、dense block

dense block發(fā)音

英：　　美：

dense block中文意思翻譯

常見(jiàn)釋義：

致密塊體

dense block雙語(yǔ)使用場(chǎng)景

1、Due to dense structure, high tensile strength, excellent wear-ability, anti-crack and corrosion resistance against acid and alkali, it can be used as integral anti-corrosion coat and block coat.───由于其結構致密，具有較高的抗拉強度且耐磨、抗裂、抗酸堿腐蝕性能優(yōu)異，宜用于防腐蝕整體面層和塊材面層的鋪砌材料。

2、Features: Balanced Portfolio with a relatively dense mesh belt mesh can block the leakage of small objects, network with strong, high tensile strength.───特點(diǎn)：組合平衡型網(wǎng)帶具有比較細密的網(wǎng)眼，可擋住細小物體的滲漏，網(wǎng)帶牢固，抗拉強度高。

3、Traditionally, an SRAM chip is made more dense by shrinking its basic building block, often referred to as a cell.───從傳統上而言，SRAM芯片通過(guò)縮小基本構建單元，來(lái)制造得更加緊密。

dense block相似詞語(yǔ)短語(yǔ)

1、dense layer───[醫]致密層

2、dense shrub───茂密灌木

3、trade block───貿易集團

4、mesial dense───每月密集

5、dense forest───茂密的森林

6、block───n.塊；街區；大廈；障礙物；adj.成批的，大塊的；交通堵塞的；vt.阻止；阻塞；限制；封蓋；n.(Block)人名；(英、法、德、西、葡、芬、羅)布洛克

7、dense population───稠密的人口

8、dense───adj.稠密的；濃厚的；愚鈍的

9、dense fog───濃霧（零級能見(jiàn)度）; 大霧; 迷霧

2、DenseNet詳解

作為CVPR2017年的Best Paper, DenseNet 脫離了 加深網(wǎng)絡(luò )層數(ResNet) 和 加寬網(wǎng)絡(luò )結構(Inception)來(lái)提升網(wǎng)絡(luò )性能的定式思維 ,從特征的角度考慮,通過(guò) 特征重用和旁路(Bypass)設置 ,既大幅度減少了網(wǎng)絡(luò )的參數量,又在一定程度上緩解了gradient vanishing問(wèn)題的產(chǎn)生.結合信息流和特征復用的假設,DenseNet當之無(wú)愧成為2017年計算機視覺(jué)頂會(huì )的年度最佳論文.

卷積神經(jīng)網(wǎng)絡(luò )在沉睡了近20年后,如今成為了深度學(xué)習方向最主要的網(wǎng)絡(luò )結構之一.從一開(kāi)始的只有五層結構的LeNet, 到后來(lái)?yè)碛?9層結構的VGG, 再到首次跨越100層網(wǎng)絡(luò )的Highway Networks與ResNet, 網(wǎng)絡(luò )層數的加深成為CNN發(fā)展的主要方向之一.

隨著(zhù)CNN網(wǎng)絡(luò )層數的不斷增加, gradient vanishing和model degradation問(wèn)題 出現在了人們面前, BatchNormalization的廣泛使用在一定程度上緩解了gradient vanishing的問(wèn)題 ,而 ResNet和Highway Networks通過(guò)構造恒等映射設置旁路,進(jìn)一步減少了gradient vanishing和model degradation的產(chǎn)生 .Fractal Nets通過(guò)將不同深度的網(wǎng)絡(luò )并行化,在獲得了深度的同時(shí)保證了梯度的傳播,隨機深度網(wǎng)絡(luò )通過(guò)對網(wǎng)絡(luò )中一些層進(jìn)行失活,既證明了ResNet深度的冗余性,又緩解了上述問(wèn)題的產(chǎn)生. 雖然這些不同的網(wǎng)絡(luò )框架通過(guò)不同的實(shí)現加深的網(wǎng)絡(luò )層數,但是他們都包含了相同的核心思想,既將feature map進(jìn)行跨網(wǎng)絡(luò )層的連接.

何愷明在提出ResNet時(shí)做出了這樣的假設:若某一較深的網(wǎng)絡(luò )多出另一較淺網(wǎng)絡(luò )的若干層有能力學(xué)習到恒等映射,那么這一較深網(wǎng)絡(luò )訓練得到的模型性能一定不會(huì )弱于該淺層網(wǎng)絡(luò ).通俗的說(shuō)就是如果對某一網(wǎng)絡(luò )中增添一些可以學(xué)到恒等映射的層組成新的網(wǎng)路,那么最差的結果也是新網(wǎng)絡(luò )中的這些層在訓練后成為恒等映射而不會(huì )影響原網(wǎng)絡(luò )的性能.同樣DenseNet在提出時(shí)也做過(guò)假設:與其多次學(xué)習冗余的特征,特征復用是一種更好的特征提取方式.

ResNet的一個(gè)最主要的優(yōu)勢便是梯度可以流經(jīng)恒等函數來(lái)到達靠前的層.但恒等映射和非線(xiàn)性變換輸出的疊加方式是相加, 這在一定程度上破壞了網(wǎng)絡(luò )中的信息流.

為了進(jìn)一步優(yōu)化信息流的傳播,DenseNet提出了圖示的網(wǎng)絡(luò )結構

如圖所示,第i層的輸入不僅與i-1層的輸出相關(guān),還有所有之前層的輸出有關(guān).記作:

由于在DenseNet中需要對不同層的feature map進(jìn)行cat操作,所以需要不同層的feature map保持相同的feature size,這就限制了網(wǎng)絡(luò )中Down sampling的實(shí)現.為了使用Down sampling,作者將DenseNet分為多個(gè)Denseblock,如下圖所示:

在同一個(gè)Denseblock中要求feature size保持相同大小,在不同Denseblock之間設置transition layers實(shí)現Down sampling, 在作者的實(shí)驗中transition layer由BN + Conv(1×1) ＋2×2 average-pooling組成.

在Denseblock中,假設每一個(gè)非線(xiàn)性變換H的輸出為K個(gè)feature map, 那么第i層網(wǎng)絡(luò )的輸入便為K 0 +(i-1)×K, 這里我們可以看到DenseNet和現有網(wǎng)絡(luò )的一個(gè)主要的不同點(diǎn):DenseNet可以接受較少的特征圖數量作為網(wǎng)絡(luò )層的輸出,如下圖所示

原因就是在同一個(gè)Denseblock中的每一層都與之前所有層相關(guān)聯(lián),如果我們把feature看作是一個(gè)Denseblock的全局狀態(tài),那么每一層的訓練目標便是通過(guò)現有的全局狀態(tài),判斷需要添加給全局狀態(tài)的更新值.因而每個(gè)網(wǎng)絡(luò )層輸出的特征圖數量K又稱(chēng)為Growth rate,同樣決定著(zhù)每一層需要給全局狀態(tài)更新的信息的多少.我們之后會(huì )看到,在作者的實(shí)驗中只需要較小的K便足以實(shí)現state-of-art的性能.

雖然DenseNet接受較少的k,也就是feature map的數量作為輸出,但由于不同層feature map之間由cat操作組合在一起,最終仍然會(huì )是feature map的channel較大而成為網(wǎng)絡(luò )的負擔.作者在這里使用1×1 Conv(Bottleneck)作為特征降維的方法來(lái)降低channel數量,以提高計算效率.經(jīng)過(guò)改善后的非線(xiàn)性變換變?yōu)锽N-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3),使用Bottleneck layers的DenseNet被作者稱(chēng)為DenseNet-B.在實(shí)驗中,作者使用1×1卷積生成channel數量為4k的feature map.

為了進(jìn)一步優(yōu)化模型的簡(jiǎn)潔性,我們同樣可以在transition layer中降低feature map的數量.若一個(gè)Denseblock中包含m個(gè)feature maps,那么我們使其輸出連接的transition layer層生成⌊θm⌋個(gè)輸出feature map.其中θ為Compression factor, 當θ=1時(shí),transition layer將保留原feature維度不變.

作者將使用compression且θ=0.5的DenseNet命名為DenseNet-C, 將使用Bottleneck和compression且θ=0.5的DenseNet命名為DenseNet-BC

由于DenseNet對輸入進(jìn)行cat操作,一個(gè)直觀(guān)的影響就是每一層學(xué)到的feature map都能被之后所有層直接使用,這使得特征可以在整個(gè)網(wǎng)絡(luò )中重用,也使得模型更加簡(jiǎn)潔.

從上圖中我們可以看出DenseNet的參數效率:左圖包含了對多種DenseNet結構參數和最終性能的統計,我們可以看出當模型實(shí)現相同的test error時(shí),原始的DenseNet往往要比DenseNet-BC擁有2-3倍的參數量.中間圖為DenseNet-BC與ResNet的對比,在相同的模型精度下,DenseNet-BC只需要ResNet約三分之一的參數數量.右圖為1001層超過(guò)10M參數量的ResNet與100層只有0.8M參數量的DenseNet-BC在訓練時(shí)的對比,雖然他們在約相同的訓練epoch時(shí)收斂,但DenseNet-BC卻只需要ResNet不足十分之一的參數量.

解釋DenseNet為何擁有如此高性能的另一個(gè)原因是 網(wǎng)絡(luò )中的每一層不僅接受了原始網(wǎng)絡(luò )中來(lái)自loss的監督 ,同時(shí)由于 存在多個(gè)bypass與shortcut,網(wǎng)絡(luò )的監督是多樣的 .Deep supervision的優(yōu)勢同樣在deeply-supervised nets (DSN)中也被證實(shí).(DSN中每一個(gè)Hidden layer都有一個(gè)分類(lèi)器,強迫其學(xué)習一些有區分度的特征).與DSN不同的是,DenseNet擁有單一的loss function, 模型構造和梯度計算更加簡(jiǎn)易.

在設計初,DenseNet便被設計成讓一層網(wǎng)絡(luò )可以使用所有之前層網(wǎng)絡(luò )feature map的網(wǎng)絡(luò )結構,為了探索feature的復用情況,作者進(jìn)行了相關(guān)實(shí)驗.作者訓練的L=40,K=12的DenseNet,對于任意Denseblock中的所有卷積層,計算之前某層feature map在該層權重的絕對值平均數.這一平均數表明了這一層對于之前某一層feature的利用率,下圖為由該平均數繪制出的熱力圖:

從圖中我們可以得出以下結論:

a) 一些較早層提取出的特征仍可能被較深層直接使用

b) 即使是Transition layer也會(huì )使用到之前Denseblock中所有層的特征

c) 第2-3個(gè)Denseblock中的層對之前Transition layer利用率很低,說(shuō)明transition layer輸出大量冗余特征.這也為DenseNet-BC提供了證據支持,既Compression的必要性.

d) 最后的分類(lèi)層雖然使用了之前Denseblock中的多層信息,但更偏向于使用最后幾個(gè)feature map的特征,說(shuō)明在網(wǎng)絡(luò )的最后幾層,某些high-level的特征可能被產(chǎn)生.

作者在多個(gè)benchmark數據集上訓練了多種DenseNet模型,并與state-of-art的模型(主要是ResNet和其變種)進(jìn)行對比:

由上表我們可以看出,DenseNet只需要較小的Growth rate(12,24)便可以實(shí)現state-of-art的性能,結合了Bottleneck和Compression的DenseNet-BC具有遠小于ResNet及其變種的參數數量,且無(wú)論DenseNet或者DenseNet-BC,都在原始數據集和增廣數據集上實(shí)現了超越ResNet的性能.

DenseNet詳解