?Curle

Curle發(fā)音

英：　　美：

Curle中文意思翻譯

n. 柯?tīng)?姓氏)

C++用libcurl庫GET網(wǎng)頁(yè)（比如baidu.com）并將獲取到的網(wǎng)頁(yè)內容保存到本地文件夾中

#include

#include "curl/curl.h"

#pragma comment(lib, "ws2_32.lib")

#pragma comment ( lib, "libcurl.lib" )

#pragma comment ( lib, "ws2_32.lib" )

#pragma comment ( lib, "winmm.lib" )

#pragma comment ( lib, "wldap32.lib" )

//這是libcurl接收數據的回調函數，相當于recv的死循環(huán)

//其中stream可以自定義數據類(lèi)型，這里我傳入的是文件保存路徑

static size_t write_callback( void *ptr, size_t size, size_t nmemb, void *stream )

{

int len = size * nmemb;

int written = len;

FILE *fp = NULL;

if ( access( (char*)stream, 0 ) == -1 )

{

fp = fopen( (char*) stream, "wb" );

}

else

{

fp = fopen( (char*) stream, "ab" );

}

if (fp)

{

fwrite( ptr, size, nmemb, fp );

}

return written;

}

int GetUrl( const char *url, char *savepath )

{

CURL *curl;

CURLcode res;

struct curl_slist *chunk = NULL;

curl = curl_easy_init();

if ( curl ) {

curl_easy_setopt( curl, CURLOPT_VERBOSE, 0L );

curl_easy_setopt( curl, CURLOPT_URL, url );

//指定回調函數

curl_easy_setopt( curl, CURLOPT_WRITEFUNCTION, write_callback);

//這個(gè)變量可作為接收或傳遞數據的作用

curl_easy_setopt( curl, CURLOPT_WRITEDATA, savepath );

res = curl_easy_perform( curl );

if (res == CURLE_OK)

{

return 1;

}

return 0;

}

}

int main( void )

{

if ( GetUrl( "t.sina.com.cn", "c:/1.txt" ) )

{

printf( "OK" );

}

return 0;

}

Linux系統中的curl命令使用教程

命令：curl

在Linux中curl是一個(gè)利用URL規則在命令行下工作的文件傳輸工具，可以說(shuō)是一款很強大的http命令行工具。它支持文件的上傳和下載，是綜合傳輸工具，但按傳統，習慣稱(chēng)url為下載工具。

語(yǔ)法：# curl [option] [url]

常見(jiàn)參數：

-A/--user-agent 設置用戶(hù)**發(fā)送給服務(wù)器

-b/--cookie

-c/--cookie-jar 操作結束后把cookie寫(xiě)入到這個(gè)文件中

-C/--continue-at 斷點(diǎn)續轉

-D/--dump-header 把header信息寫(xiě)入到該文件中

-e/--referer 來(lái)源**

-f/--fail 連接失敗時(shí)不顯示http錯誤

-o/--output 把輸出寫(xiě)到該文件中

-O/--remote-name 把輸出寫(xiě)到該文件中，保留遠程文件的文件名

-r/--range 檢索來(lái)自HTTP/1.1或FTP服務(wù)器字節范圍

-s/--silent 靜音模式。不輸出任何東西

-T/--upload-file 上傳文件

-u/--user

-w/--write-out [format] 什么輸出完成后

-x/--proxy

-#/--progress-bar 進(jìn)度條顯示當前的傳送狀態(tài)

例子：

1、基本用法

代碼如下:

# curl http://www.linux.com

執行后，www.linux.com 的html就會(huì )顯示在屏幕上了

Ps：由于安裝linux的時(shí)候很多時(shí)候是沒(méi)有安裝桌面的，也意味著(zhù)沒(méi)有瀏覽器，因此這個(gè)方法也經(jīng)常用于測試一臺服務(wù)器是否可以到達一個(gè)網(wǎng)站

2、保存訪(fǎng)問(wèn)的網(wǎng)頁(yè)

2.1:使用linux的重定向功能保存

代碼如下:

# curl http://www.linux.com linux.html

2.2:可以使用curl的內置option:-o(小寫(xiě))保存網(wǎng)頁(yè)

代碼如下:

$ curl -o linux.html http://www.linux.com

執行完成后會(huì )顯示如下界面，顯示100%則表示保存成功

% Total % Received % Xferd Average Speed Time Time Time Current

Dload Upload Total Spent Left Speed

100 79684 0 79684 0 0 3437k 0 --:--:-- --:--:-- --:--:-- 7781k

2.3:可以使用curl的內置option:-O(大寫(xiě))保存網(wǎng)頁(yè)中的文件

要注意這里后面的url要具體到某個(gè)文件，不然抓不下來(lái)

代碼如下:

# curl -O http://www.linux.com/hello.sh

3、測試網(wǎng)頁(yè)返回值

代碼如下:

# curl -o /dev/null -s -w %{http_code} www.linux.com

Ps:在腳本中，這是很常見(jiàn)的測試網(wǎng)站是否正常的用法

4、指定proxy服務(wù)器以及其端口

很多時(shí)候上網(wǎng)需要用到**服務(wù)器(比如是使用**服務(wù)器上網(wǎng)或者因為使用curl別人網(wǎng)站而被別人屏蔽IP地址的時(shí)候)，幸運的是curl通過(guò)使用內置option：-x來(lái)支持設置**

代碼如下:

# curl -x 192.168.100.100:1080 http://www.linux.com

5、cookie

有些網(wǎng)站是使用cookie來(lái)記錄session信息。對于chrome這樣的瀏覽器，可以輕易處理cookie信息，但在curl中只要增加相關(guān)參數也是可以很容易的處理cookie

5.1:保存http的response里面的cookie信息。內置option:-c(小寫(xiě))

代碼如下:

# curl -c cookiec.txt http://www.linux.com

執行后cookie信息就被存到了cookiec.txt里面了

5.2:保存http的response里面的header信息。內置option: -D

代碼如下:

# curl -D cookied.txt http://www.linux.com

執行后cookie信息就被存到了cookied.txt里面了

注意：-c(小寫(xiě))產(chǎn)生的cookie和-D里面的cookie是不一樣的。

5.3:使用cookie

很多網(wǎng)站都是通過(guò)監視你的cookie信息來(lái)判斷你是否按規矩訪(fǎng)問(wèn)他們的網(wǎng)站的，因此我們需要使用保存的cookie信息。內置option: -b

代碼如下:

# curl -b cookiec.txt http://www.linux.com

6、模仿瀏覽器

有些網(wǎng)站需要使用特定的瀏覽器去訪(fǎng)問(wèn)他們，有些還需要使用某些特定的版本。curl內置option:-A可以讓我們指定瀏覽器去訪(fǎng)問(wèn)網(wǎng)站

代碼如下:

# curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com

這樣服務(wù)器端就會(huì )認為是使用IE8.0去訪(fǎng)問(wèn)的

7、偽造referer(盜鏈)

很多服務(wù)器會(huì )檢查http訪(fǎng)問(wèn)的referer從而來(lái)控制訪(fǎng)問(wèn)。比如：你是先訪(fǎng)問(wèn)首頁(yè)，然后再訪(fǎng)問(wèn)首頁(yè)中的郵箱頁(yè)面，這里訪(fǎng)問(wèn)郵箱的referer地址就是訪(fǎng)問(wèn)首頁(yè)成功后的頁(yè)面地址，如果服務(wù)器發(fā)現對郵箱頁(yè)面訪(fǎng)問(wèn)的referer地址不是首頁(yè)的地址，就斷定那是個(gè)盜連了

curl中內置option：-e可以讓我們設定referer

代碼如下:

# curl -e "www.linux.com" http://mail.linux.com

這樣就會(huì )讓服務(wù)器其以為你是從www.linux.com點(diǎn)擊某個(gè)鏈接過(guò)來(lái)的

8、下載文件

8.1：利用curl下載文件。

代碼如下:

#使用內置option：-o(小寫(xiě))

# curl -o dodo1.jpg http:www.linux.com/dodo1.JPG

#使用內置option：-O(大寫(xiě))

# curl -O http://www.linux.com/dodo1.JPG

這樣就會(huì )以服務(wù)器上的名稱(chēng)保存文件到本地

8.2：循環(huán)下載

有時(shí)候下載圖片可以能是前面的部分名稱(chēng)是一樣的，就最后的尾椎名不一樣

代碼如下:

# curl -O http://www.linux.com/dodo[1-5].JPG

這樣就會(huì )把dodo1，dodo2，dodo3，dodo4，dodo5全部保存下來(lái)

8.3：下載重命名

代碼如下:

# curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG

由于下載的hello與bb中的文件名都是dodo1，dodo2，dodo3，dodo4，dodo5。因此第二次下載的會(huì )把第一次下載的覆蓋，這樣就需要對文件進(jìn)行重命名。

代碼如下:

# curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG

這樣在hello/dodo1.JPG的文件下載下來(lái)就會(huì )變成hello_dodo1.JPG,其他文件依此類(lèi)推，從而有效的避免了文件被覆蓋

8.4：分塊下載

有時(shí)候下載的東西會(huì )比較大，這個(gè)時(shí)候我們可以分段下載。使用內置option：-r

復制代碼

代碼如下:

# curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG

# curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG

# curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG

# cat dodo1_part* dodo1.JPG

這樣就可以查看dodo1.JPG的內容了

8.5：通過(guò)ftp下載文件

curl可以通過(guò)ftp下載文件，curl提供兩種從ftp中下載的語(yǔ)法

代碼如下:

# curl -O -u 用戶(hù)名:密碼 ftp://www.linux.com/dodo1.JPG

# curl -O ftp://用戶(hù)名:密碼@www.linux.com/dodo1.JPG

8.6：顯示下載進(jìn)度條

代碼如下:

# curl -# -O http://www.linux.com/dodo1.JPG

8.7：不會(huì )顯示下載進(jìn)度信息

代碼如下:

# curl -s -O http://www.linux.com/dodo1.JPG

9、斷點(diǎn)續傳

在windows中，我們可以使用迅雷這樣的軟件進(jìn)行斷點(diǎn)續傳。curl可以通過(guò)內置option:-C同樣可以達到相同的效果

如果在下載dodo1.JPG的過(guò)程中突然掉線(xiàn)了，可以使用以下的方式續傳

復制代碼

代碼如下:

# curl -C -O http://www.linux.com/dodo1.JPG

10、上傳文件

curl不僅僅可以下載文件，還可以上傳文件。通過(guò)內置option:-T來(lái)實(shí)現

復制代碼

代碼如下:

# curl -T dodo1.JPG -u 用戶(hù)名:密碼 ftp://www.linux.com/img/

這樣就向ftp服務(wù)器上傳了文件dodo1.JPG

11、顯示抓取錯誤

復制代碼

代碼如下:

# curl -f http://www.linux.com/error

其他參數(此處翻譯為轉載)：

-a/--append 上傳文件時(shí)，附加到目標文件

--anyauth 可以使用“任何”身份驗證方法

--basic 使用HTTP基本驗證

-B/--use-ascii 使用ASCII文本傳輸

-d/--data HTTP POST方式傳送數據

--data-ascii 以ascii的方式post數據

--data-binary 以二進(jìn)制的方式post數據

--negotiate 使用HTTP身份驗證

--digest 使用數字身份驗證

--disable-eprt 禁止使用EPRT或LPRT

--disable-epsv 禁止使用EPSV

--egd-file 為隨機數據(SSL)設置EGD socket路徑

--tcp-nodelay 使用TCP_NODELAY選項

-E/--cert

--cert-type 證書(shū)文件類(lèi)型 (DER/PEM/ENG) (SSL)

--key 私鑰文件名 (SSL)

--key-type 私鑰文件類(lèi)型 (DER/PEM/ENG) (SSL)

--pass 私鑰密碼 (SSL)

--engine 加密引擎使用 (SSL). "--engine list" for list

--cacert CA證書(shū) (SSL)

--capath CA目 (made using c_rehash) to verify peer against (SSL)

--ciphers SSL密碼

--compressed 要求返回是壓縮的形勢 (using deflate or gzip)

--connect-timeout 設置最大請求時(shí)間

--create-dirs 建立本地目錄的目錄層次結構

--crlf 上傳是把LF轉變成CRLF

--ftp-create-dirs 如果遠程目錄不存在，創(chuàng )建遠程目錄

--ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用

--ftp-pasv 使用 PASV/EPSV 代替端口

--ftp-skip-pasv-ip 使用PASV的時(shí)候,忽略該IP地址

--ftp-ssl 嘗試用 SSL/TLS 來(lái)進(jìn)行ftp數據傳輸

--ftp-ssl-reqd 要求用 SSL/TLS 來(lái)進(jìn)行ftp數據傳輸

-F/--form

-form-string

-g/--globoff 禁用**序列和范圍使用{}和[]

-G/--get 以get的方式來(lái)發(fā)送數據

-h/--help 幫助

-H/--header 自定義頭信息傳遞給服務(wù)器

--ignore-content-length 忽略的HTTP頭信息的長(cháng)度

-i/--include 輸出時(shí)包括protocol頭信息

-I/--head 只顯示文檔信息

-j/--junk-session-cookies 讀取文件時(shí)忽略session cookie

--interface 使用指定網(wǎng)絡(luò )接口/地址

--krb4 使用指定安全級別的krb4

-k/--insecure 允許不使用證書(shū)到SSL站點(diǎn)

-K/--config 指定的配置文件讀取

-l/--list-only 列出ftp目錄下的文件名稱(chēng)

--limit-rate 設置傳輸速度

--local-port 強制使用本地端口號

-m/--max-time 設置最大傳輸時(shí)間

--max-redirs 設置最大讀取的目錄數

--max-filesize 設置最大下載的文件總量

-M/--manual 顯示全手動(dòng)

-n/--netrc 從netrc文件中讀取用戶(hù)名和密碼

--netrc-optional 使用 .netrc 或者 URL來(lái)覆蓋-n

--ntlm 使用 HTTP NTLM 身份驗證

-N/--no-buffer 禁用緩沖輸出

-p/--proxytunnel 使用HTTP**

--proxy-anyauth 選擇任一**身份驗證方法

--proxy-basic 在**上使用基本身份驗證

--proxy-digest 在**上使用數字身份驗證

--proxy-ntlm 在**上使用ntlm身份驗證

-P/--ftp-port

   使用端口地址，而不是使用PASV

-Q/--quote 文件傳輸前，發(fā)送命令到服務(wù)器

--range-file 讀取(SSL)的隨機文件

-R/--remote-time 在本地生成文件時(shí)，保留遠程文件時(shí)間

--retry 傳輸出現問(wèn)題時(shí)，重試的次數

--retry-delay 傳輸出現問(wèn)題時(shí)，設置重試間隔時(shí)間

--retry-max-time 傳輸出現問(wèn)題時(shí)，設置最大重試時(shí)間

-S/--show-error 顯示錯誤

--socks4

--socks5

-t/--telnet-option

--trace 對指定文件進(jìn)行debug

--trace-ascii Like --跟蹤但沒(méi)有hex輸出

--trace-time 跟蹤/詳細輸出時(shí)，添加時(shí)間戳

--url Spet URL to work with

-U/--proxy-user

-V/--version 顯示版本信息

-X/--request 指定什么命令

-y/--speed-time 放棄限速所要的時(shí)間。默認為30

-Y/--speed-limit 停止傳輸速度的限制，速度時(shí)間'秒

-z/--time-cond 傳送時(shí)間設置

-0/--http1.0 使用HTTP 1.0

-1/--tlsv1 使用TLSv1(SSL)

-2/--sslv2 使用SSLv2的(SSL)

-3/--sslv3 使用的SSLv3(SSL)

--**-quote like -Q for the source URL for 3rd party transfer

--**-url 使用url，進(jìn)行第三方傳送

--**-user 使用用戶(hù)名和密碼，進(jìn)行第三方傳送

-4/--ipv4 使用IP4

-6/--ipv6 使用IP6

使用curl命令獲取文件下載速度

使用curl可以下載網(wǎng)絡(luò )內容，那如何獲取curl下載時(shí)的下載速度呢，使用下面的命令即可：

復制代碼

代碼如下:

# curl -Lo /dev/null -skw "%{speed_download}n" http://mirrors.163.com/ubuntu/ls-lR.gz

226493.000

當然，還可以獲取連接時(shí)間、重定向時(shí)間等更多的數據：

復制代碼

代碼如下:

# curl -Lo /dev/null -skw "time_connect: %{time_connect} sntime_namelookup: %{time_namelookup} sntime_pretransfer: %{time_pretransfer} sntime_starttransfer: %{time_starttransfer} sntime_redirect: %{time_redirect} snspeed_download: %{speed_download} B/sntime_total: %{time_total} snn" http://www.sina.com

time_connect: 0.154 s

time_namelookup: 0.150 s

time_pretransfer: 0.154 s

time_starttransfer: 0.163 s

time_redirect: 0.157 s

speed_download: 324679.000 B/s

time_total: 1.692 s