如何使用SCP和Rsync遠(yuǎn)程拷貝文件

scp是secure copy的簡(jiǎn)寫(xiě)，用于在Linux下進(jìn)行遠(yuǎn)程拷貝文件的命令，和它類(lèi)似的命令有cp，不過(guò)cp只是在本機(jī)進(jìn)行拷貝不能跨服務(wù)器，而且scp傳輸是加密的?？赡軙?huì)稍微影響一下速度。當(dāng)你服務(wù)器硬盤(pán)變?yōu)橹蛔x read only system時(shí)，用scp可以幫你把文件移出來(lái)。另外，scp還非常不占資源，不會(huì)提高多少系統(tǒng)負(fù)荷，在這一點(diǎn)上，rsync就遠(yuǎn)遠(yuǎn)不及它了。雖然 rsync比scp會(huì)快一點(diǎn)，但當(dāng)小文件眾多的情況下，rsync會(huì)導(dǎo)致硬盤(pán)I/O非常高，而scp基本不影響系統(tǒng)正常使用。scp在夸機(jī)器復(fù)制的時(shí)候?yàn)榱颂岣邤?shù)據(jù)的安全性，使用了ssh連接和加密方式，如果機(jī)器之間配置了ssh免密碼登錄，那在使用scp的時(shí)候密碼都不用輸入。

一般而言，我們會(huì)選擇使用rsync進(jìn)行遠(yuǎn)程同步或拷貝。rsync和scp的區(qū)別在于：
->rsync只對(duì)差異文件做更新，可以做增量或全量備份；而scp只能做全量備份。簡(jiǎn)單說(shuō)就是rsync只傳修改了的部分，如果改動(dòng)較小就不需要全部重傳，所以rsync備份速度較快；默認(rèn)情況下，rsync 通過(guò)比較文件的最后修改時(shí)間（mtime）和文件的大?。╯ize）來(lái)確認(rèn)哪些文件需要被同步過(guò)去。
->rsync是分塊校驗(yàn)+傳輸，scp是整個(gè)文件傳輸。rsync比scp有優(yōu)勢(shì)的地方在于單個(gè)大文件的一小部分存在改動(dòng)時(shí)，只需傳輸改動(dòng)部分，無(wú)需重新傳輸整個(gè)文件。如果傳輸一個(gè)新的文件，理論上rsync沒(méi)有優(yōu)勢(shì)；
->rsync不是加密傳輸，而scp是加密傳輸，使用時(shí)可以按需選擇。

SCP拷貝命令中常用的幾個(gè)參數(shù)說(shuō)明

-B  使用批處理模式（傳輸過(guò)程中不詢(xún)問(wèn)傳輸口令或短語(yǔ)） 
-C  允許壓縮。（將-C標(biāo)志傳遞給ssh，從而打開(kāi)壓縮功能） 
-p  保留原文件的修改時(shí)間，訪問(wèn)時(shí)間和訪問(wèn)權(quán)限。 
-q  不顯示傳輸進(jìn)度條。 
-r  遞歸復(fù)制整個(gè)目錄。 
-v 詳細(xì)方式顯示輸出。scp和ssh(1)會(huì)顯示出整個(gè)過(guò)程的調(diào)試信息。這些信息用于調(diào)試連接，驗(yàn)證和配置問(wèn)題。  
-c cipher  以cipher將數(shù)據(jù)傳輸進(jìn)行加密，這個(gè)選項(xiàng)將直接傳遞給ssh。  
-F ssh_config  指定一個(gè)替代的ssh配置文件，此參數(shù)直接傳遞給ssh。 
-i identity_file  從指定文件中讀取傳輸時(shí)使用的密鑰文件，此參數(shù)直接傳遞給ssh。   
-l limit  限定用戶(hù)所能使用的帶寬，以Kbit/s為單位。    
-o ssh_option  如果習(xí)慣于使用ssh_config(5)中的參數(shù)傳遞方式，  
-P port  注意是大寫(xiě)的P, port是指定數(shù)據(jù)傳輸用到的端口號(hào)  
-S program  指定加密傳輸時(shí)所使用的程序。此程序必須能夠理解ssh(1)的選項(xiàng)。

Rsync拷貝命令中常用的幾個(gè)參數(shù)說(shuō)明

-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，并保持所有文件屬性，等于-rlptgoD
-v, --verbose 詳細(xì)模式輸出
-p, --perms 保持文件權(quán)限
-g, --group 保持文件屬組信息
-o, --owner 保持文件屬主信息
-r, --recursive 對(duì)子目錄以遞歸模式處理。同步目錄的時(shí)候要加上這個(gè)參數(shù)
-l, --links 保留軟鏈結(jié)，加上這個(gè)參數(shù)，同步過(guò)來(lái)的文件會(huì)保持之前的軟鏈接屬性不變
-H, --hard-links 保留硬鏈結(jié)
-e, --rsh=COMMAND 指定使用rsh、ssh方式進(jìn)行數(shù)據(jù)同步
-z, --compress 對(duì)備份的文件在傳輸時(shí)進(jìn)行壓縮處理
--stats 給出某些文件的傳輸狀態(tài)
--progress 打印同步的過(guò)程
--timeout=TIME 同步過(guò)程中，IP超時(shí)時(shí)間，單位為秒
--delete 刪除那些目標(biāo)目錄中有而源目錄中沒(méi)有的多余文件。這個(gè)是rsync做增量方式的全備份的最佳選擇方案?。。。。?！
--delete-before 接受者在輸出之前進(jìn)行刪除操作。即先將目標(biāo)目錄中文件全部刪除，再將源目錄文件拷貝過(guò)去。這是rsync保持目標(biāo)目錄跟源目錄一致的方案?。?！
--delete-after 在同步操作之后做比較，刪除那些目標(biāo)目錄中有而源目錄中沒(méi)有的多余文件
--delete-excluded 刪除目標(biāo)目錄中那些被該選項(xiàng)指定排除的文件
--ignore-errors 即使出現(xiàn)IO錯(cuò)誤也進(jìn)行刪除，忽略錯(cuò)誤
--exclude 指定同步時(shí)需要過(guò)濾掉的文件或子目錄(即不需要同步過(guò)去的)，后面直接跟不需要同步的單個(gè)文件名或子目錄(不需要跟路徑) ，過(guò)濾多個(gè)文件或子目錄，就使用多個(gè)--exclude
--exclude-from 指定同步時(shí)需要過(guò)濾掉的文件或子目錄，后面跟文件(比如/root/exclue.txt)，然后將不需要同步的文件和子目錄放到/root/exclue.txt下。
--version 打印版本信息
--port=PORT 指定其他的rsync服務(wù)端口
--log-format=formAT 指定日志文件格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O帶寬，KBytes per second

在使用SCP和Rsync進(jìn)行遠(yuǎn)程同步的時(shí)候，需要注意下面幾個(gè)技巧：

1）遠(yuǎn)程拷貝時(shí)的軟鏈接處理

用rsync遠(yuǎn)程拷貝目錄時(shí)，只需要加上-l參數(shù)就可以實(shí)現(xiàn)拷貝軟鏈接。
 
用scp遠(yuǎn)程拷貝目錄時(shí)， 那么目錄下的軟鏈會(huì)丟失，如果想要軟鏈接也拷貝過(guò)去，正確的做法是：
1）在源服務(wù)器上， 打包， tar zcvf test.tar.gz test
2）把源服務(wù)器上的test.tar.gz拷貝到目標(biāo)服務(wù)器上
3）在目標(biāo)服務(wù)器上執(zhí)行tar zxvf test.tar.gz， 進(jìn)行解包， 可以看到， 軟鏈接保持得好好的。

2）遠(yuǎn)程拷貝時(shí)的進(jìn)度條顯示

1）rsync命令
[root@dbtest bak]# rsync -e "ssh -p22222" -avpgolr --progress db170630.tar.gz 192.168.1.198:/data/upload/
root@192.168.1.198's password:
sending incremental file list
db170630.tar.gz
702087168 4% 5.60MB/s 0:41:47
 
--progress 可以實(shí)現(xiàn)本機(jī)帶進(jìn)度條提示拷貝，可以實(shí)現(xiàn)不同機(jī)器帶進(jìn)度條提示拷貝，可以拷貝多個(gè)文件
 
2）scp命令
[root@dbtest bak]# scp -v /mnt/full20100526.tar.gz /usr/local/src/
[以上命令] 本機(jī)拷貝無(wú)法顯示進(jìn)度
 
[root@dbtest bak]# scp -v /mnt/full20100526.tar.gz root@192.168.1.1:/usr/local/src/
[以上命令] 不同機(jī)器拷貝可以顯示進(jìn)度條，即使不帶"-v"參數(shù)也可以顯示進(jìn)度條
 
[root@dbtest bak]# scp -v /mnt/full20100526.tar.gz root@127.0.0.1:/usr/local/src/
[以上命令] 變相實(shí)現(xiàn)本機(jī)帶進(jìn)度條提示拷貝，可以不帶"-v"參數(shù)
 
3) cp命令
暫時(shí)沒(méi)有找到帶進(jìn)度條提示拷貝

3）遠(yuǎn)程拷貝時(shí)的限流

rsync拷貝命令（--bwlimit）
[root@dbtest bak]# rsync -auvz --progress --delete --bwlimit=1000 遠(yuǎn)程文件 本地文件 //限制為1000kBytes/s
[root@dbtest bak]# rsync -auvz --progress --delete --bwlimit=2048 遠(yuǎn)程文件 本地文件 //限制為2M/s
 
scp拷貝命令（-l參數(shù)）
[root@dbtest bak]# scp -l 1024 file root@192.168.1.100 //限制為1M Bytes/s

4）遠(yuǎn)程拷貝時(shí)的過(guò)濾

-----rsync命令-----
需要排除某個(gè)文件（或文件夾），可以用--exclude來(lái)指定（事實(shí)上，系統(tǒng)會(huì)把文件和文件夾一視同仁）。例如：
1）需要排除源目錄下的dir1文件夾，可以寫(xiě)為：
[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude=dir1 /var/www/src/ /var/www/dest
 
可以同時(shí)排除多條
[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude=dir1 --exclude=dir2 /var/www/src/ /var/www/dest
 
[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "file1" --exclude="file2" --exclude dir1 --exclude=dir2 /var/www/src/ /var/www/dest
 
注意：
a）過(guò)濾參數(shù)使用"--exclude"或"--exclude="都可以，參數(shù)后面跟的文件或目錄加不加引號(hào)的效果也都一樣！
b）過(guò)濾參數(shù)后面跟的文件或目錄必須直接是文件或目錄名，不能跟路徑(不管是相對(duì)路徑還是絕對(duì)路徑，否則就過(guò)濾不掉)
 
比如：下面的寫(xiě)法就過(guò)濾不掉test目錄下的file1文件，不管是相對(duì)路徑還是絕對(duì)路徑
[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "/var/www/src/test/file1" /var/www/src/ /var/www/dest
[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "../test1" /var/www/src/ /var/www/dest
 
去掉路徑，使用下面的寫(xiě)法就可以正常過(guò)濾了
[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "file1" /var/www/src/ /var/www/dest
 
c）另外：過(guò)濾參數(shù)還可以使用通配符 避開(kāi)不想同步的文件或目錄，
例如，同步/var/www/src/目錄下的內(nèi)容到/var/www/dest目錄下，同步時(shí)過(guò)濾以test開(kāi)頭的文件/目錄 以及 以data結(jié)尾的文件/目錄
[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "test*"  --exclude="*data" /var/www/src/ /var/www/dest
 
 
2）如果想要過(guò)濾同步的文件或目錄過(guò)多，可以通過(guò)--exclude-from來(lái)指定一個(gè)特定文件。例如：
[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude-from=exclude.list /var/www/src/ /var/www/dest
  
exclude.list文件中指定需要排除的文件或目錄列表（這個(gè)文件前面的參數(shù)只能是--exclude-from）
[root@dbtest bak]# cat exclude.list
dir1
[0-9]*
dir2/.[a-z0-9]*
.svn
 
或者
[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude-from="/data/bak/exclude.list" /var/www/src/ /var/www/dest
 
注意：
a）過(guò)濾參數(shù)使用"--exclude-from"或者"--exclude-from="都可以,后面的文件名加不加引號(hào)效果也都一樣。
b）這里過(guò)濾參數(shù)后面跟的exclude.list文件，為了避免出問(wèn)題，最好設(shè)置為絕對(duì)路徑。但是里面的內(nèi)容一定要寫(xiě)為相對(duì)路徑(即當(dāng)前同步源目錄下的相對(duì)路徑或直接是文件名/目錄名)
c）exclude和exclude-from前面都是有兩個(gè)減號(hào),如果漏寫(xiě)了一個(gè)，命令行不會(huì)報(bào)錯(cuò)，但是不能排除執(zhí)行的文件或文件夾。
 
-----scp命令-----
結(jié)合find命令進(jìn)行操作，例如：
將/data目錄下除了ms目錄之外的所有目錄及文件遠(yuǎn)程拷貝到10.0.11.202機(jī)器的/data目錄下
[root@dbtest bak]# for i in `find /data/ -type d -path /data/ms -prune -o -print |awk -F"/" '{print $3}'|sort|uniq`;do /usr/bin/scp -r /data/$i root@10.0.11.202:/data/;done

5）遠(yuǎn)程拷貝時(shí)的隱藏文件

-----rsync命令-----
如下（注意帶/）
可以將/path/to/source/目錄下所有的文件（包括隱藏文件）一起拷貝到192.168.1.5機(jī)器的/path/to/dest/目錄下
[root@dbtest bak]# rsync -e "ssh -p22" -avpgolr /path/to/source/ user@192.168.1.5:/path/to/dest/
  
如下（注意帶/*）
可以將/path/to/source/目錄下所有的文件（不包括隱藏文件）一起拷貝到192.168.1.5機(jī)器的/path/to/dest/目錄下
[root@dbtest bak]# rsync -e "ssh -p22" -avpgolr /path/to/source/* user@192.168.1.5:/path/to/dest/
  
-----scp命令-----
如下（注意帶）
可以將/path/to/source/目錄下所有的文件（包括隱藏文件）一起拷貝到192.168.1.5機(jī)器的/path/to/dest/目錄下
[root@dbtest bak]# scp -rp -P 22 /path/to/source/. user@192.168.1.5:/path/to/dest/
 
如果直接使用/，則就是把/path/to/source整個(gè)目錄拷貝到192.168.1.5機(jī)器的/path/to/dest/目錄下，即拷貝到遠(yuǎn)程
的目錄是/path/to/dest/source
[root@dbtest bak]# scp -rp -P 22 /path/to/source/ user@192.168.1.5:/path/to/dest/
 
如下（注意/*）
可以將/path/to/source/目錄下所有的文件（不包括隱藏文件）一起拷貝到192.168.1.5機(jī)器的/path/to/dest/目錄下
[root@dbtest bak]# scp -rp -P 22 /path/to/source/* user@192.168.1.5:/path/to/dest/
 
---------------
注意，直接使用rm或rm -rf刪除一個(gè)目錄時(shí)，默認(rèn)目錄下的隱藏文件是刪除不掉的，隱藏文件需要單獨(dú)刪除，如下：
[root@dbtest ~]# cd /opt/
[root@dbtest opt]# ll -a
total 28
drwxr-xr-x.  3 root root 4096 Mar  8 15:00 .
dr-xr-xr-x. 27 root root 4096 Feb 26 03:54 ..
-rw-r--r--.  1 root root    0 Mar  8 09:47 ac
-rw-r--r--.  1 root root   45 Mar  8 09:47 a.txt
-rw-r--r--.  1 root root    0 Mar  8 09:47 bb
-rw-r--r--.  1 root root   21 Mar  8 09:45 b.txt
-rw-r--r--.  1 root root    0 Mar  8 09:47 gg
-rw-r--r--.  1 root root   52 Mar  8 15:00 .haha
drwxr-xr-x.  2 root root 4096 Mar  8 15:00 .kevin
-rw-r--r--.  1 root root   33 Mar  8 15:00 .my.cnf
[root@dbtest opt]# rm -rf ./*
[root@dbtest opt]# ll -a
total 20
drwxr-xr-x.  3 root root 4096 Mar  8 17:44 .
dr-xr-xr-x. 27 root root 4096 Feb 26 03:54 ..
-rw-r--r--.  1 root root   52 Mar  8 15:00 .haha
drwxr-xr-x.  2 root root 4096 Mar  8 15:00 .kevin
-rw-r--r--.  1 root root   33 Mar  8 15:00 .my.cnf
[root@dbtest opt]# rm -rf .haha .kevin .my.cnf
[root@dbtest opt]# ll -a
total 8
drwxr-xr-x.  2 root root 4096 Mar  8 17:44 .
dr-xr-xr-x. 27 root root 4096 Feb 26 03:54 ..

鏈接：https://www.cnblogs.com/kevingrace/p/8529792.html