虛擬化 (Proxmox VE)本地與每天雲端空間備份方法

Posted on 1 CommentPosted in 雲端

開源免費Proxmox 是非常好的虛擬化解決方案,這邊我們來分享備份VM/Container方法,Proxmox提供了多樣化VM備份方式,以我們實驗室OSSLab來說,
我們採用的是內建的虛擬機備份解決方案無須另外購買,主要採用VZDump(備份) 與 qmrestore (還原) 的功能搭配採用NFS 與另外一台伺服器進行連結儲存備份VM檔案來做為OSSLab的備份解決方案,並且每天將VM 備份上傳到Google drive無限空間 並且持續保留.

這樣本地有一份 VM備份
雲端異地也有一份VM備份.因為搭配是Google 無限空間 可以完全不刪掉.每天備份都在.

整個架構非常可靠安全.

Proxmox 的標準備份
Proxmox 的標準備份可以使用GUI或者終端機下指令的方式來進行備份,首先我們先來設定NFS來進行儲存的準備,在目標伺服器上面架設NFS 伺服器之後在Proxmox新增硬碟那增加NFS之後進行掛載,就會有以下的結果出來。

螢幕快照 2016-11-25 上午11.17.40

掛載後還能夠看到儲存區的狀態

螢幕快照 2016-11-25 上午11.14.54

排程備份

接下來選擇備份功能,選擇後可以新增,而新增時有許多選項可以進行客製化,例如:每日備份、擇日備份、備份壓縮方式、全機備份等等的選項可以供個人調整,還能夠使用email通知每日備份結果,非常簡潔易用。

螢幕快照 2016-11-25 上午11.16.02

當機器在排程時間完工之後就會發送email 到你指定的信箱 就能夠看到每日的備份情況

VM_Backup_03_Mail

信件中還有詳細的備份情況可以供網管進行查看以利進行統計以及紀錄。

VM_Backup_03_Mail_Log

終端機手動備份

接下來來說說終端機操作方式,當你透過終端機連結到伺服器後就能手動備份,不必透過排成方式讓系統自動備份,這種備份方式好處就是隨時能夠在需要的的時候進行手動備份以利在特殊情況下進行個別處理,而且不受現在GUI的介面下手動備份只能存擋一個手動備份的問題。

終端機指令

     要備份的虛擬機編號    目標儲存資料夾

vzdump <id> –dumpdir  /PVE/

常用其他參數:

-compress 0/1/gzip/ilzo    (預設0,壓縮備份檔名為.vma)
-tmpdir xxxxxxxx   (暫存位置, 如果本機空間不太夠用可以掛載網路磁碟機)
螢幕快照 2016-11-25 上午11.24.09
備份完成之後就能夠在目標的資料夾看到備份的檔案了
螢幕快照 2016-11-25 上午11.15.05
 
 接下來…要如何還原呢?使用qmrestore 來進行一個…還原的…動作
還原指令:
                          儲存檔案的位置                                                                                       要還原的VM編號
qmrestore /RAID/NFS/dump/vzdump-qemu-110-2016_11_25-03_27_19.vma.lzo 110

 PS.編號必須為100~999之間,而且編號不能被佔用。

 
接下來就是等他進行一個…還原的…動作
螢幕快照 2016-11-25 上午11.27.03

還原之後就會在伺服器上看到這台未開機的虛擬機,如果是複製可能就需要修改mac等等,改完之後就可以開機使用囉。

螢幕快照 2016-11-25 上午11.28.53

開機之後就可以跟原來的使用一模一樣的完整環境了。

螢幕快照 2016-11-25 上午11.29.41

 

 

本地備份端Server 
這樣 另外一台 Windows NFS client (要先設定NFS client)就有VM備份檔案了.
這時候再配合雲端備份程式請參考NVR每天無限備份雲端 

qq%e5%9b%be%e7%89%8720161126170223

這樣就完成了.. 本地與雲端每天備份  非常安全.
(目前這方案最大缺點是無法實現增量備份處理,所以當VM過大是個問題,應該是要用pve zync處理 ,另外也無法保留快照  不過因為有每天備份是還好)

Gooog Drive 無限空間應用-1 : 讓你有無限空間的D槽- ExpanDrive

Posted on Leave a commentPosted in 雲端
網路硬碟是現在相當廣泛的應用,只是使用不同廠商的空間,又要安裝一套同步程式,整個常駐列都是一堆雲端空間同步軟體,這就是我們今天要介紹 ExpanDrive 的目的,只要一套就可以搞定各種大廠雲端空間的掛載~
 
主介面非常的簡單
 
按下左下角的+就可以看到支援的空間:
大廠牌跟主要的協定都支援了。
 
這一套軟體使用上跟Google Drive自己所附贈的軟體有什麼差異呢?
 
主要是如果使用Google自己的同步程式,本地端的硬碟必須比網路端的容量更大,但是我們使用了無限容量,雲端已經存放太多,本地端的硬碟沒這麼大容量,就無法同步下來存取,透過瀏覽器介面太過不方便。
 
如果使用ExpanDrive,就可以直接像網路芳鄰般的掛載,直接存取雲端的檔案而不用下載。對於本地端空間不足又想隨時存取檔案,這個程式方便許多,也能節省本地端的容量消耗。比如把收藏的影片檔放上雲端,只要能連線都能觀看,也不用耗費儲存空間。
 
 
優點:不需要同步,可以直接掛載使用,節省用戶端儲存空間的消耗
缺點:沒有同步,沒有網路可以連線時就無法存取
 

Google Drve 無限空間應用-2 : 利用Syncovery 做多重版本備份

Posted on 1 CommentPosted in 雲端
當初在研究有什麼軟體可以符合我們想要備份然後不是單純覆蓋舊的檔案而且要支援 Google Drive。
一直尋找後找出了一套可以有多種應用的備份軟體 – Syncovery
 
這套軟體有幾個強大的特點:
1.有四種不同備份方法(簡易模式少一種)可以多重版本備份.不刪掉舊版
2.可以備份至多種網路服務
3.雙向的操作邏輯(備份+還原)
4.多重備份工作排程
 
我們會選用這套是因為它對於Google Drive具有直接支援,可以在軟體內選擇Google Drive,並授權給軟體之後,軟體就能直接存取到雲端空間去建立資料夾跟存取內容,省去了對於雲端空間掛載的工作,並且在多重版本備份之上,比如現在有的加密病毒,但是這軟體能支援到不同版本備份的概念,並不會動到舊有檔案而新增變更檔案上去,因此不會造成一中毒又把所有中毒檔案透過複製而覆蓋掉本來可以運作的檔案,這點在備份策略安排才能達到長期的使用自動化
 
 
再來介紹它的主要操作概念,它的每一筆工作安排,都叫做一個profile,這套軟體對於建立好的profile建議不要使用手動直接對檔案做修改,需透過這套軟體去做更名等動作,不然若有多筆工作的建立會容易產生混亂的錯誤,那對於資料保存的安全性會相當不好。
 
 
這是簡易模式的主畫面,一般使用者的操作使用這邊即可快速建立備份工作的安排,可以看到左上角或右上角都有切換進階模式的按鈕,稍後介紹。
 
 
點選第一項建立profile之後,看到的是來源跟目的地的選擇,這邊可以看到它所用的用詞是左手邊跟右手邊,在簡易模式中較難看出為何要如此設計,在進階模式中才比較好理解這樣設計是為了減少多重工作安排上可以簡化一些步驟。
 
 
按下地球的圖案就可以連結到網路的服務:
在這裡可以看到有支援相當多網路協定之外,連大廠的雲端服務都成了預設項目,設定備份就簡單許多。
 
 
這邊可以看到設定來源跟目的地方向,是由左手往右手或是右手往左手,以及子目錄是否也要複製。
 
 
在這邊就是設定要怎麼樣複製檔案,有三種形式:
標準:將新增、遺失或編輯過的檔案拷貝到目的地,但是不刪除任何檔案
智慧型追蹤:會建立一個資料庫,當有任何更動都會記錄在資料庫,但是需進去設定組態決定要如何工作,例如刪除檔案時要怎麼對兩邊做處理,如果檔案衝突時要做什麼判斷,基本動作跟標準相同,但是多了進行動作時要怎麼處理的判斷選項。
完全鏡像:這會讓目的地變得跟來源一模一樣,但是如果錯刪檔案,那麼目的地也不會保留
 
要考慮清楚這個來源是想要怎樣保留資料,再選擇合適的備份策略。一般的使用者建議使用標準就可以,不會刪掉舊有檔案又會增加新增的變更檔案,較不怕操作上的失誤造成資料無法挽回。另外在進階模式下有些設定容後介紹。
 
  
這邊是決定有哪些檔案要複製,保留預設並進行下一步即可。
 
 
備份的時間安排,對於一般使用者,通常設定在晚上不使用電腦的時候來進行備份,但是有一種狀況,當進行重要工作或編輯,電腦或軟體可能會當機,若是工作階段的檔案沒備份下來可是相當的糟糕,這種狀況就可能要選擇每60分鐘備份一次或即時備份,這可以端看使用者對於編輯中的檔案有什麼等級的不可中斷要求來做決定。
 
 
最後就是將剛剛這些備份的策略以及排程儲存下來並命名唯一個profile之後開始執行,若要建立不同工作就是繼續建立新的profile,但是最好不要設定成兩個不同的工作會讀寫到同一個資料夾,這樣可能會造成不斷寫入的問題,另外,最多同時執行十個工作,因為過多的工作會造成電腦都在處理輸入輸出的問題,這些是建立工作安排之時需要注意的。
 
一般的使用者用到這個部分就可以,如果還有功能上的不足之處,可以進入進階模式試試看。
 
 
這是進階畫面的初始畫面,一樣按下 + 就可以開使建立 profile。
 
 
到這邊可就複雜了許多,上半部還是跟簡易模式一樣的設定概念,只是同步的選項裡面比簡易模式多了一個,搬移檔案至目的地,這個步驟是把來源的檔案剪下搬移到目的地,所以要使用這個選項請確定真的要這麼做。
 
再來針對一些可能會使用到的功能做介紹,如果是備份不會編輯的檔案,例如監視器影像檔,那麼不使用進階選項是可以的,若是備份會被編輯的檔案,例如檔案伺服器上的內容,則需要注意下面的設定:
 
 
在排程方面,工作中的檔案可以使用一小時備份一次,以免存檔失敗或意外的狀況造成進度大量流失,已完成的部分則可以設定一天或較長的時間備份一次。
 
 
 
再來是檔案如何比對儲存,在預設的行為裡,編輯檔案,不更動檔名的話,複製的時候會將修改過的新檔案去覆蓋舊檔案,不會留存現在這個編輯之前的狀態。啟用Versioning之後,才會將編輯過的檔案另外壓縮儲存起來,保留原始的檔案,編輯後的檔案會變成新的壓縮檔儲存在設定的目的位置,這個24就是會儲存24個檔案,如果還有新的壓縮檔產生,會把最舊的先刪除。為什麼設定24?是因為我的編輯中檔案是設定一小時儲存一次,往回24小時,每小時備份一次,所以會保留24個。
 
 
同樣在Versioning之下,還可以啟用Synthetic Backups,來減輕備份的消耗量。
 
使用Versioning的備份範例如下: 
這邊設定每一分鐘備份一次,然後備份之後就更改檔案內容,可以看到最原始的檔案被保留下來,而後續新的檔案成為壓縮檔並在檔名加上遞增亂數再儲存起來。也可以避免檔案遭到病毒大量竄改之後被覆寫而造成備份失效。
 
以上一些使用的心得分享,希望能幫助大家做好備份策略的規劃以及有效的實行。

備份NVR監控錄影 一些策略與無限雲端備份整合

Posted on Leave a commentPosted in 雲端

想法的緣由
現在的監控設備鏡頭畫素越來越高,但是儲存容量有限,為了這些高畫質的錄影檔案還得為了怎麼儲存大傷腦筋,更不用說還得把這些檔案備份起來,在這一篇我們想要讓有限儲存空間的設備更方便省錢的解決這個問題有兩個部分要完成:

 

1. 錄影檔案的本地端備份再備份到雲端空間
2. 方便存取錄影檔案之外也能在行動裝置瀏覽

 

在這邊我們使用海康的設備來作為範例,不過在海康原廠提供的方案裡面,錄影檔是儲存在NVR本機的硬碟裡面,備份需透過原廠的Hikvision tools,而這個備份工具的備份檔又只能儲存在一個磁碟機根目錄下,不支援其他備份方法,這樣也造成如果電腦損壞,錄影檔的資料也跟著損毀,因此我們想到,如果透過有無限空間的Google Drive來備份就能提高安全性,而且放置於雲端在任何地方也方便存取,就不需要把備份的機器架設成檔案伺服器,也不用設定防火牆等麻煩的工作。

 

執行的規劃

與這個想法相對應的,我們需要做個規劃,因為要與雲端連結,頻寬是很大的關鍵。一般的錄影預設值的解析度(1080P)所產生的錄影檔相當龐大,在有限儲存空間上面會浪費空間且造成備份天數的減少,上傳也更耗時,所以要注意解析度的設定,建議使用1280*720P即可兼具畫質又節省空間,急需清晰度跟空間足夠用1080P跟4K都可以。

 

如果備份NVR同時又有很多台IP CAM正在錄影存到NVR,NVR的負載及頻寬會非常吃重,備份效率會大打折扣又造成網路緩慢。所以建議在只有少量重點需要記錄的時段設為移動偵測錄影,例如在上班時段要全程錄影,下班之後到上班之前的無人時段只要作移動偵測錄影(例如23:00~09:00),那麼就將移動偵測錄影設為23:00~09:00,而這段時間IP CAM不會將影片頻繁寫入NVR,備份的時間就可以設定在移動偵測錄影這段時間,就不會發生負載過重及搶頻寬的問題。

 

然後,算好NVR備份大約完成的時間,再找網路離峰的時段上傳。

 

備份的流程為:

工作時段NVR全程錄影 → 23點之後切換為移動偵測錄影並開始備份至虛擬機器 → 2點結束虛擬機備份工作,開始由虛擬機同步到Google Drive → 9點之前完成同步動作,NVR切回全程錄影

 

實作的設定

HIKVISION NVR只能用原廠的Hikvision Tools作備份到電腦上,而Hikvision Tools有兩個需要注意的地方:

1. 備份儲存只能設定為磁碟機,不能放置於某個目錄,請準備一個空的磁碟機來備份。
2. 程式是為32位元,在WINDOWS Server 2012 R2執行會有不可預期的錯誤, 且程式執行之後無法正常關閉, 使用任務管理員也無法強迫關閉,建議不要於2012 R2環境中直接執行。

 

而這邊我們是透過WINDOWS Server 2012 R2環境執行虛擬機器,可以安裝VMWare的虛擬機器安裝Windows 7/8來執行程式,便於公司管理且不用另外添購設備。

 

以下是備份環境的設定步驟:

這邊所使用的範例是Hikvision NVR DS-7832N-K2,搭配兩顆5TB做RAID 0,作為通常監控用的錄影設備。

第一階段,備份錄影內容,這邊我們是運用公司的伺服器製作虛擬機器來做為備份的主要設備:

1. 用WINDOWS Server 2012 R2建立一個2TB的虛擬VHD (VMWare不支援大於2TB的VHDX磁碟機)。
2. 在VMWare掛載此VHD。
3. 虛擬機器安裝Windows 7/8至此VHD之後安裝Hikvision Tools,將備份目的地設為此VHD磁碟機。

 

接下來,開始針對監控系統進行規劃,以下為監視器設定:

螢幕快照 2016-08-26 下午6.04.15

預設是1080P,4Mb/s 錄製起來檔案相當大,因此改為 720P,1024Kb/s 播放品質不會差距太大,但檔案大小差距很大。

 

螢幕快照 2016-08-26 下午6.05.17

錄影時段的安排上,我們設定9點到23點為全程錄影,23點至9點為移動偵測錄影,減低閒置時刻的錄影量。

 

再來是虛擬機器上 Hikvision Tools的設定

螢幕快照 2016-08-26 下午6.12.33

設置的裡面,將備份目的地設定為虛擬的2TB磁碟機,另外當備份空間不足時就開始覆蓋掉舊的紀錄。

 

螢幕快照 2016-08-26 下午6.13.14

設置備份計畫管理裡面,我們安排在23點之後開始備份,因為23點開始我們改為移動偵測錄影,IP CAM此時的傳輸量大幅降低,預估備份在3小時內完成,這是怎麼預估的,請看下一張。

 

螢幕快照 2016-08-27 上午10.52.21

在這邊我們看到,備份總大小約為45GB,總共花了一個半小時,這是23點至9點沒有事情發生所以沒什麼錄影檔案的量,假設負載更大,也不太可能超過90GB,所以我們設定3小時內完成NVR的備份工作,這是透過實際操作後再調整過的數值。

 

要這樣使用的時候請注意畫質備份檔案總量備份起始時間備份持續時間備份結束時間備份設定切換,才能順暢的自動執行。

 

接下來就是在虛擬機器端如何把檔案同步到Google Drive。

 

我們研究過了一些軟體,雖然是做到雲端的同步,但是只能覆蓋舊有的,或者在比對上容易出錯,目前找到較好的解決方案為 Syncovery,可以直接設定 Google Drive 帳號及備份資料夾,本身又有增量備份等方式來比較檔案狀態,一套就可以搞定。

 

螢幕快照 2016-08-27 上午11.46.20

上面可以看到Right-hand side是直接指定Google Drive的NVR這個資料夾,要選不同的雲端服務就按下地球來選擇,大廠牌都有支援。同步模式我們是選SmartTracking,會去追蹤比較上傳檔案的狀態而留下記錄,這邊可以根據自己的需要修改。而這套的好處是不會刪掉舊有的檔案,有的同步是一直覆蓋掉舊檔,但是如果遇到現在的加密病毒,當檔案被感染,又上傳上去,那會全部都毀壞,但是如果軟體是增量備份而不是覆蓋舊有檔案再備份,就不怕遭遇全面性的毀滅。我們設定的同步時間為4:00,也是使用離峰的時間,到9:00之前來完成同步。

 

這個是實際執行的log,我們可以看到總共上傳41.7GB,使用了約52分鐘的時間來完成。

 

注意事項:
Hikvision Tools要用v1.2.1.2(或之後更新版本), 在中文(簡體)網站是有問題的舊版,用English-Europe則可以直接下載,下載網址: http://overseas.hikvision.com/europe/Tools_82.html#prettyPhoto

 

行動裝置的瀏覽

設定完成之後,就會備份至雲端空間,因為備份出來的影片檔是MP4格式,這個時候我們就可以透過行動裝置去查看之前錄影下來的畫面,因為原廠提供的軟體在跨平台瀏覽上常常會有錯誤或失敗,使用Google Drive是個可靠許多的選擇。下面是操作的效果

IMG_7021
在iPhone上使用,可以看到錄影的日期,裡面會有各個IP CAM錄下來的畫面

 

IMG_7022
可以即時播放錄影片段,延遲也很低。

 

IMG_0254
iPad上的使用也沒有任何問題

 

IMG_0255
支援Google Drive的裝置都能輕鬆使用。

 

因此這個方法提昇了錄影資料的保存可靠度,也提昇了使用上的方便程度,也不用煩惱所使用的裝置是什麼平台,因為Google Drive在各平台上都能使用。又大幅減低儲存設備容量的依賴,就算儲存設備本來的容量不夠,但是因為有Google Drive 作為後盾就可以省去添購NAS或大容量磁碟陣列的開支。對於想省錢又不想犧牲安全度相信會是個不錯的解決方案。