免費(fèi)AI編程助手
Go 備份和恢復(fù)
這小節(jié)我們要討論應(yīng)用程序管理的另一個方面：生產(chǎn)服務(wù)器上數(shù)據(jù)的備份和恢復(fù)。我們經(jīng)常會遇到生產(chǎn)服務(wù)器的網(wǎng)絡(luò)斷了、硬盤壞了、操作系統(tǒng)崩潰、或者數(shù)據(jù)庫不可用了等各種異常情況，所以維護(hù)人員需要對生產(chǎn)服務(wù)器上的應(yīng)用和數(shù)據(jù)做好異地災(zāi)備，冷備熱備的準(zhǔn)備。在接下來的介紹中，講解了如何備份應(yīng)用、如何備份/恢復(fù)Mysql數(shù)據(jù)庫和redis數(shù)據(jù)庫。
應(yīng)用備份
在大多數(shù)集群環(huán)境下，Web應(yīng)用程序基本不需要備份，因為這個其實(shí)就是一個代碼副本，我們在本地開發(fā)環(huán)境中，或者版本控制系統(tǒng)中已經(jīng)保持這些代碼。但是很多時候，一些開發(fā)的站點(diǎn)需要用戶來上傳文件，那么我們需要對這些用戶上傳的文件進(jìn)行備份。目前其實(shí)有一種合適的做法就是把和網(wǎng)站相關(guān)的需要存儲的文件存儲到云儲存，這樣即使系統(tǒng)崩潰，只要我們的文件還在云存儲上，至少數(shù)據(jù)不會丟失。
如果我們沒有采用云儲存的情況下，如何做到網(wǎng)站的備份呢？這里我們介紹一個文件同步工具rsync：rsync能夠?qū)崿F(xiàn)網(wǎng)站的備份，不同系統(tǒng)的文件的同步，如果是windows的話，需要windows版本cwrsync。
rsync安裝
rysnc的官方網(wǎng)站： http://rsync.samba.org/ 可以從上面獲取最新版本的源碼。當(dāng)然，因為rsync是一款非常有用的軟件，所以很多Linux的發(fā)行版本都將它收錄在內(nèi)了。
軟件包安裝
# sudo apt-get install rsync 注：在debian、ubuntu 等在線安裝方法；
# yum install rsync 注：Fedora、Redhat、CentOS 等在線安裝方法；
# rpm -ivh rsync 注：Fedora、Redhat、CentOS 等rpm包安裝方法；其它Linux發(fā)行版，請用相應(yīng)的軟件包管理方法來安裝。源碼包安裝
tar xvf rsync-xxx.tar.gz
cd rsync-xxx
./configure --prefix=/usr ;make ;make install 注：在用源碼包編譯安裝之前，您得安裝gcc等編譯工具才行；rsync配置
rsync主要有以下三個配置文件rsyncd.conf(主配置文件)、rsyncd.secrets(密碼文件)、rsyncd.motd(rysnc服務(wù)器信息)。
關(guān)于這幾個文件的配置大家可以參考官方網(wǎng)站或者其他介紹rsync的網(wǎng)站，下面介紹服務(wù)器端和客戶端如何開啟
-
服務(wù)端開啟：
#/usr/bin/rsync --daemon --config=/etc/rsyncd.conf--daemon參數(shù)方式，是讓rsync以服務(wù)器模式運(yùn)行。把rsync加入開機(jī)啟動
echo 'rsync --daemon' >> /etc/rc.d/rc.local設(shè)置rsync密碼
echo '你的用戶名:你的密碼' > /etc/rsyncd.secrets chmod 600 /etc/rsyncd.secrets -
客戶端同步：
客戶端可以通過如下命令同步服務(wù)器上的文件：
rsync -avzP --delete --password-file=rsyncd.secrets 用戶名@192.168.145.5::www /var/rsync/backup這條命令，簡要的說明一下幾個要點(diǎn)：
- -avzP是啥，讀者可以使用--help查看
- --delete 是為了比如A上刪除了一個文件，同步的時候，B會自動刪除相對應(yīng)的文件
- --password-file 客戶端中/etc/rsyncd.secrets設(shè)置的密碼，要和服務(wù)端的 /etc/rsyncd.secrets 中的密碼一樣，這樣cron運(yùn)行的時候，就不需要密碼了
- 這條命令中的"用戶名"為服務(wù)端的 /etc/rsyncd.secrets中的用戶名
- 這條命令中的 192.168.145.5 為服務(wù)端的IP地址
- ::www，注意是2個 : 號，www為服務(wù)端的配置文件 /etc/rsyncd.conf 中的[www]，意思是根據(jù)服務(wù)端上的/etc/rsyncd.conf來同步其中的[www]段內(nèi)容，一個 : 號的時候，用于不根據(jù)配置文件，直接同步指定目錄。
為了讓同步實(shí)時性，可以設(shè)置crontab，保持rsync每分鐘同步，當(dāng)然用戶也可以根據(jù)文件的重要程度設(shè)置不同的同步頻率。
MySQL備份
應(yīng)用數(shù)據(jù)庫目前還是MySQL為主流，目前MySQL的備份有兩種方式：熱備份和冷備份，熱備份目前主要是采用master/slave方式（master/slave方式的同步目前主要用于數(shù)據(jù)庫讀寫分離，也可以用于熱備份數(shù)據(jù)），關(guān)于如何配置這方面的資料，大家可以找到很多。冷備份的話就是數(shù)據(jù)有一定的延遲，但是可以保證該時間段之前的數(shù)據(jù)完整，例如有些時候可能我們的誤操作引起了數(shù)據(jù)的丟失，那么master/slave模式是無法找回丟失數(shù)據(jù)的，但是通過冷備份可以部分恢復(fù)數(shù)據(jù)。
冷備份一般使用shell腳本來實(shí)現(xiàn)定時備份數(shù)據(jù)庫，然后通過上面介紹rsync同步非本地機(jī)房的一臺服務(wù)器。
下面這個是定時備份mysql的備份腳本，我們使用了mysqldump程序，這個命令可以把數(shù)據(jù)庫導(dǎo)出到一個文件中。
#!/bin/bash
# 以下配置信息請自己修改
mysql_user="USER" #MySQL備份用戶
mysql_password="PASSWORD" #MySQL備份用戶的密碼
mysql_host="localhost"
mysql_port="3306"
mysql_charset="utf8" #MySQL編碼
backup_db_arr=("db1" "db2") #要備份的數(shù)據(jù)庫名稱，多個用空格分開隔開 如("db1" "db2" "db3")
backup_location=/var/www/mysql #備份數(shù)據(jù)存放位置，末尾請不要帶"/",此項可以保持默認(rèn)，程序會自動創(chuàng)建文件夾
expire_backup_delete="ON" #是否開啟過期備份刪除 ON為開啟 OFF為關(guān)閉
expire_days=3 #過期時間天數(shù) 默認(rèn)為三天，此項只有在expire_backup_delete開啟時有效
# 本行開始以下不需要修改
backup_time=`date +%Y%m%d%H%M` #定義備份詳細(xì)時間
backup_Ymd=`date +%Y-%m-%d` #定義備份目錄中的年月日時間
backup_3ago=`date -d '3 days ago' +%Y-%m-%d` #3天之前的日期
backup_dir=$backup_location/$backup_Ymd #備份文件夾全路徑
welcome_msg="Welcome to use MySQL backup tools!" #歡迎語
# 判斷MYSQL是否啟動,mysql沒有啟動則備份退出
mysql_ps=`ps -ef |grep mysql |wc -l`
mysql_listen=`netstat -an |grep LISTEN |grep $mysql_port|wc -l`
if [ [$mysql_ps == 0] -o [$mysql_listen == 0] ]; then
echo "ERROR:MySQL is not running! backup stop!"
exit
else
echo $welcome_msg
fi
# 連接到mysql數(shù)據(jù)庫，無法連接則備份退出
mysql -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password <<end
use mysql;
select host,user from user where user='root' and host='localhost';
exit
end
flag=`echo $?`
if [ $flag != "0" ]; then
echo "ERROR:Can't connect mysql server! backup stop!"
exit
else
echo "MySQL connect ok! Please wait......"
# 判斷有沒有定義備份的數(shù)據(jù)庫，如果定義則開始備份，否則退出備份
if [ "$backup_db_arr" != "" ];then
#dbnames=$(cut -d ',' -f1-5 $backup_database)
#echo "arr is (${backup_db_arr[@]})"
for dbname in ${backup_db_arr[@]}
do
echo "database $dbname backup start..."
`mkdir -p $backup_dir`
`mysqldump -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password $dbname --default-character-set=$mysql_charset | gzip > $backup_dir/$dbname-$backup_time.sql.gz`
flag=`echo $?`
if [ $flag == "0" ];then
echo "database $dbname success backup to $backup_dir/$dbname-$backup_time.sql.gz"
else
echo "database $dbname backup fail!"
fi
done
else
echo "ERROR:No database to backup! backup stop"
exit
fi
# 如果開啟了刪除過期備份，則進(jìn)行刪除操作
if [ "$expire_backup_delete" == "ON" -a "$backup_location" != "" ];then
#`find $backup_location/ -type d -o -type f -ctime +$expire_days -exec rm -rf {} \;`
`find $backup_location/ -type d -mtime +$expire_days | xargs rm -rf`
echo "Expired backup data delete complete!"
fi
echo "All database backup success! Thank you!"
exit
fi修改shell腳本的屬性：
chmod 600 /root/mysql_backup.sh
chmod +x /root/mysql_backup.sh設(shè)置好屬性之后，把命令加入crontab，我們設(shè)置了每天00:00定時自動備份，然后把備份的腳本目錄/var/www/mysql設(shè)置為rsync同步目錄。
00 00 * * * /root/mysql_backup.shMySQL恢復(fù)
前面介紹MySQL備份分為熱備份和冷備份，熱備份主要的目的是為了能夠?qū)崟r的恢復(fù)，例如應(yīng)用服務(wù)器出現(xiàn)了硬盤故障，那么我們可以通過修改配置文件把數(shù)據(jù)庫的讀取和寫入改成slave，這樣就可以盡量少時間的中斷服務(wù)。
但是有時候我們需要通過冷備份的SQL來進(jìn)行數(shù)據(jù)恢復(fù)，既然有了數(shù)據(jù)庫的備份，就可以通過命令導(dǎo)入：
mysql -u username -p databse < backup.sql可以看到，導(dǎo)出和導(dǎo)入數(shù)據(jù)庫數(shù)據(jù)都是相當(dāng)簡單，不過如果還需要管理權(quán)限，或者其他的一些字符集的設(shè)置的話，可能會稍微復(fù)雜一些，但是這些都是可以通過一些命令來完成的。
redis備份
redis是目前我們使用最多的NoSQL，它的備份也分為兩種：熱備份和冷備份，redis也支持master/slave模式，所以我們的熱備份可以通過這種方式實(shí)現(xiàn)，相應(yīng)的配置大家可以參考官方的文檔配置，相當(dāng)?shù)暮唵?。我們這里介紹冷備份的方式：redis其實(shí)會定時的把內(nèi)存里面的緩存數(shù)據(jù)保存到數(shù)據(jù)庫文件里面，我們備份只要備份相應(yīng)的文件就可以，就是利用前面介紹的rsync備份到非本地機(jī)房就可以實(shí)現(xiàn)。
redis恢復(fù)
redis的恢復(fù)分為熱備份恢復(fù)和冷備份恢復(fù)，熱備份恢復(fù)的目的和方法同MySQL的恢復(fù)一樣，只要修改應(yīng)用的相應(yīng)的數(shù)據(jù)庫連接即可。
但是有時候我們需要根據(jù)冷備份來恢復(fù)數(shù)據(jù)，redis的冷備份恢復(fù)其實(shí)就是只要把保存的數(shù)據(jù)庫文件copy到redis的工作目錄，然后啟動redis就可以了，redis在啟動的時候會自動加載數(shù)據(jù)庫文件到內(nèi)存中，啟動的速度根據(jù)數(shù)據(jù)庫的文件大小來決定。
小結(jié)
本小節(jié)介紹了我們的應(yīng)用部分的備份和恢復(fù)，即如何做好災(zāi)備，包括文件的備份、數(shù)據(jù)庫的備份。同時也介紹了使用rsync同步不同系統(tǒng)的文件，MySQL數(shù)據(jù)庫和redis數(shù)據(jù)庫的備份和恢復(fù)，希望通過本小節(jié)的介紹，能夠給作為開發(fā)的你對于線上產(chǎn)品的災(zāi)備方案提供一個參考方案。
掃描二維碼
下載編程獅App
編程獅公眾號
更多建議：