學習目標
1）了解分布式文件系統的概念及應用場景
2）理解fastDFS的工作原理
3）掌握fastDFS存取文件方法
4）基于SpringBoot+fastDSf+vue.js實現圖片服務
1 什么是分布式文件系統
1.1 技術應用場景
傳智播客擁有大量優質的視頻教程，并且免費提供給用戶去下載，文件太多如何高效存儲？用戶訪問量大如何保證下載速度？今天講解的分布式文件系統將解決這些問題。
1.2 什么是分布式文件系統
1.2.1什么是文件系統
引用"百度百科"中的描述：
總結：文件系統是負責管理和存儲文件的系統軟件，它是操作系統和硬件驅動之間的橋梁，操作系統通過文件系統提供的接口去存取文件，用戶通過操作系統訪問磁盤上的文件。如下圖：
常見的文件系統：FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等 。
思考：如果沒有文件系統我們該怎么管理自己的文件？
1.2.2什么是分布式文件系統
引用"百度百科"中的描述：
為什么會有分布文件系統呢？
分布式文件系統是面對互聯網的需求而產生，互聯網時代對海量數據如何存儲？靠簡單的增加硬盤的個數已經滿足不了我們的要求，因為硬盤傳輸速度有限但是數據在急劇增長，另外我們還要要做好數據備份、數據安全等。
采用分布式文件系統可以將多個地點的文件系統通過網絡連接起來，組成一個文件系統網絡，結點之間通過網絡進行通信，一臺文件系統的存儲和傳輸能力有限，我們讓文件在多臺計算機上存儲，通過多臺計算共同傳輸。如下圖：
好處：
1、一臺計算機的文件系統處理能力擴充到多臺計算機同時處理。
2、一臺計算機掛了還有另外副本計算機提供數據。
3、每臺計算機可以放在不同的地域，這樣用戶就可以就近訪問，提高訪問速度。
1.3 主流的分布式文件系統
1、NFS
1）在客戶端上映射NFS服務器的驅動器。
2）客戶端通過網絡訪問NFS服務器的硬盤完全透明。
2、GFS
1）GFS采用主從結構，一個GFS集群由一個master和大量的chunkserver組成。
2）master存儲了數據文件的元數據，一個文件被分成了若干塊存儲在多個chunkserver中。
3）用戶從master中獲取數據元信息，從chunkserver存儲數據。
3、HDSF
1）HDFS采用主從結構，一個HDFS集群由一個名稱結點和若干數據結點組成。
名稱結點存儲數據的元信息，一個完整的數據文件分成若干塊存儲在數據結點。
2）客戶端從名稱結點獲取數據的元信息及數據分塊的信息，得到信息客戶端即可從數據塊來存取數據。
1.4分布式文件服務提供商
1）阿里的OSS
2）七牛云存儲
3）百度云存儲
2 什么是fastDFS
2.1 fastDSF介紹
FastDFS是用C語言編寫的一款開源的分布式文件系統，它是由淘寶資深架構師余慶編寫并開源。FastDFS專為互聯網量身定制，充分考慮了冗余備份、負載均衡、線性擴容等機制，并注重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集群提供文件上傳、下載等服務。
為什么要使用fastDFS呢？
上邊介紹的NFS、GFS都是通用的分布式文件系統，通用的分布式文件系統的優點的是開發體驗好，但是系統復雜性高、性能一般，而專用的分布式文件系統雖然開發體驗性差，但是系統復雜性低并且性能高。fastDFS非常適合存儲圖片等那些小文件，fastDFS不對文件進行分塊，所以它就沒有分塊合并的開銷，fastDFS網絡通信采用socket，通信速度很快。
2.2 fastDSF工作原理
2.2.1 fastDSF架構
FastDFS架構包括 Tracker server和Storageserver。客戶端請求Tracker server進行文件上傳、下載，通過Trackerserver調度最終由Storage server完成文件上傳和下載。
如下圖：
1）Tracker
Tracker Server作用是負載均衡和調度，通過Tracker server在文件上傳時可以根據一些策略找到Storage server提供文件上傳服務。可以將tracker稱為追蹤服務器或調度服務器。
FastDFS集群中的Tracker server可以有多臺，Tracker server之間是相互平等關系同時提供服務，Tracker server不存在單點故障。客戶端請求Tracker server采用輪詢方式，如果請求的tracker無法提供服務則換另一個tracker。
2）Storage
Storage Server作用是文件存儲，客戶端上傳的文件最終存儲在Storage服務器上，Storage server沒有實現自己的文件系統而是使用操作系統的文件系統來管理文件。可以將storage稱為存儲服務器。
Storage集群采用了分組存儲方式。storage集群由一個或多個組構成，集群存儲總容量為集群中所有組的存儲容量之和。一個組由一臺或多臺存儲服務器組成，組內的Storage server之間是平等關系，不同組的Storage server之間不會相互通信，同組內的Storage server之間會相互連接進行文件同步，從而保證同組內每個storage上的文件完全一致的。一個組的存儲容量為該組內存儲服務器容量最小的那個，由此可見組內存儲服務器的軟硬件配置最好是一致的。
采用分組存儲方式的好處是靈活、可控性較強。比如上傳文件時，可以由客戶端直接指定上傳到的組也可以由tracker進行調度選擇。一個分組的存儲服務器訪問壓力較大時，可以在該組增加存儲服務器來擴充服務能力（縱向擴容）。當系統容量不足時，可以增加組來擴充存儲容量（橫向擴容）。
3）Storage狀態收集
Storage server會連接集群中所有的Tracker server，定時向他們報告自己的狀態，包括磁盤剩余空間、文件同步狀況、文件上傳下載次數等統計信息。
2.2.2文件上傳流程
客戶端上傳文件后存儲服務器將文件ID返回給客戶端，此文件ID用于以后訪問該文件的索引信息。文件索引信息包括：組名，虛擬磁盤路徑，數據兩級目錄，文件名。
- 組名：文件上傳后所在的storage組名稱，在文件上傳成功后有storage服務器返回，需要客戶端自行保存。
- 虛擬磁盤路徑：storage配置的虛擬路徑，與磁盤選項store_path*對應。如果配置了store_path0則是M00，如果配置了store_path1則是M01，以此類推。
- 數據兩級目錄：storage服務器在每個虛擬磁盤路徑下創建的兩級目錄，用于存儲數據文件。
- 文件名：與文件上傳時不同。是由存儲服務器根據特定信息生成，文件名包含：源存儲服務器IP地址、文件創建時間戳、文件大小、隨機數和文件拓展名等信息。
2.2.3%20文件下載流程
tracker根據請求的文件路徑即文件ID 來快速定義文件。
比如請求下邊的文件：
1.通過組名tracker能夠很快的定位到客戶端需要訪問的存儲服務器組是group1，并選擇合適的存儲服務器提供客戶端訪問。
2.存儲服務器根據"文件存儲虛擬磁盤路徑"和"數據文件兩級目錄"可以很快定位到文件所在目錄，并根據文件名找到客戶端需要訪問的文件。
3 fastDFS入門
3.1fastDFS安裝與配置
3.1.1fastDFS安裝
tracker和storage使用相同的安裝包，fastDFS的下載地址在github.com/hAppyfish100/FastDFS
本教程下載：FastDFS_v5.05.tar.gz
FastDFS是C語言開發，建議在linux上運行，本教程使用centos7作為安裝環境。
安裝細節請參考 "fastDFS安裝教程.doc"。
3.1.2Tracker配置
fastDFS的配置文件目錄 ：/etc/fdfs
主要的配置文件：/etc/fdfs/tracker.conf （tracker配置文件 ）；storage.conf（storage配置文件）
tracker.conf配置內容如下：
端口：port=22122
tracker 基礎目錄：base_path=/home/fastdfs，tracker在運行時會向此目錄存儲storage的管理數據。
3.1.3storage配置
storage.conf配置 內容如下：
組名：group_name=group1
端口：port=23000
向tracker心跳間隔（秒）：heart_beat_interval=30
storage基礎目錄：base_path=/home/fastdfs
磁盤存儲目錄：
store_path0=/home/fastdfs/fdfs_storage 此目錄下存儲上傳的文件，在/home/fastdfs/fdfs_storage/data下
store_path1=...
...
有多個磁盤就定義多個store_path
上報tracker的地址：tracker_server=192.168.101.64:22122
如果有多個tracker則配置多個tracker，比如：
tracker_server=192.168.101.64:22122
tracker_server=192.168.101.65:22122
....
3.1.4啟動停止
fastDFS啟動/停止腳本目錄：
fdfs_trackerd：tracker腳本，通過此腳本對 tracker進行啟動和停止
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
fdfs_storaged：storage腳本，通過此腳本對 storage進行啟動和停止
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
3.2 文件上傳下載測試
3.2.1搭建環境
這里我們使用JAVAApi測試文件的上傳。
java版本的fastdfs-client地址在：github.com/happyfish100/fastdfs-client-java，參考此工程編寫測試用例。
1）創建maven工程
2）添加依賴
3) 配置 文件
在classpath:config下創建fastdfs-client.properties文件
3.2.2 文件上傳
3.2.3 文件查詢
3.2.4 文件下載
4 文件服務案例
4.1 目標
通過文件服務案例達到以下目標：
1、理解fastDFS在實際項目中的使用方法。
2、能夠使用fastDSF實現圖片服務器。
4.2需求分析
說明如下：
1、管理員在管理系統中上傳圖片到fastDFS文件系統。
1）管理員進入管理系統，點擊上傳圖片，選擇本地圖片
2）選擇本地圖片后，進行上傳，前端瀏覽器會通過http調用文件管理服務的文件上傳接口進行上傳
3）文件管理服務通過socket請求fastDFS文件系統的上傳圖片，最終圖片保存在fastDFS文件系統中的storageserver中。
2、網友瀏覽免費視頻的課程圖片
1）網友輸入www.itcast.cn進入視頻下載頁面
2）前端瀏覽器通過圖片地址請求圖片服務器代理（Nginx）
3）圖片服務器代理根據負載情況將圖片瀏覽請求轉發到一臺storage server
4）storage server找到圖片后通過nginx將圖片響應給網友
4.3 功能開發
4.3.1 搭建fastDFS文件服務器
1）安裝fastDFS tracker和storage略
2）在storage server上安裝nginx
在storage server上安裝nginx的目的是對外通過http訪問storage server上的文件。
使用nginx的模塊FastDFS-nginx-module，它的作用是通過http方式訪問storage中的文件，當storage本機沒有要找的文件時向源storage主機代理請求文件。
詳細參見 fastDFS安裝教程
3）在安裝圖片服務代理
圖片服務代理的作用是負載均衡，根據storage server的負載情況將圖片瀏覽請求均勻的轉發到storage server上。
4.3.2 搭建文件管理服務
文件管理服務提供通過http方式上傳文件，刪除文件、查詢文件的功能，管理員通過文件管理服務對文件服務器上的文件進行管理。
文件管理服務采用Spring Boot開發，文件管理服務通過與fastDFS交互最終將用戶上傳的文件存儲到fastDFS上。
在fastDFS入門程序上繼續開發：
1）創建模型
2）創建controller
3)創建application.yml
4）創建spring boot啟動類
4.3.3 管理系統前端
管理員通過管理系統前端上傳文件、查詢文件、刪除文件等操作。
管理系統前端與文件管理服務器通過http交互，這當前流行的前后端分離的架構。
管理系統前端采用當前瀏覽器的vue.js前端框架實現。
1、創建前端工程
使用webstorm創建前端工程
工程需要導入vue.js及element-ui
2、創建upload.html
該文件實現文件上傳及預覽
1）導入js及 css
2)創建vue實例
3）添加element-ui的文件上傳組件
定義數據對象及方法 ：
4）配置 nginx虛擬目錄
5）測試
4.3.4 課程圖片瀏覽
網友（學習者）輸入www.itcast.cn網址進入免費視頻下載頁面，瀏覽器根據頁面上的圖片地址請求圖片服務代理，由代理將請求轉發到fastDFS storage server上，最終在瀏覽器看到圖片。
上章節實現圖片上傳后已經實現圖片的預覽，本功能實現略。
5 總結 通過本次課程的學習您要達到以下目標：
1）了解分布式文件系統的概念及應用場景
分布式文件系統是通過網絡將單機上的文件系統組成一個網絡文件系統。
分布式文件系統主要應用在大型互聯網項目中，實現圖片存儲、音視頻存儲等服務。
分布式文件系統的優點：可以快速擴容存儲，提高文件訪問速度。
2）理解fastDFS的工作原理
fastDFS由tracker和storage組成，它們都可以部署集群。
tracker負責調度，storage負責存儲。
3）掌握fastDFS存取文件方法
客戶端與fastDFS采用socket協議通信，可以采用官方提供的java版本的fastDSF-client快速開發。
4）能夠動手搭建一個fastDSF文件服務器
