Flume日志收集利器視頻教程 Flume視頻教程分布式的海量日志采集云計算視頻教程

發布時間：2022-10-16 23:06:30 作者：網友整理

課程介紹:

Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統，Flume支持在日志系統中定制各類數據發送方，用于收集數據；同時，Flume提供對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力。

當前Flume有兩個版本Flume 0.9X版本的統稱Flume-og，Flume1.X版本的統稱Flume-ng。由于Flume-ng經過重大重構，與Flume-og有很大不同，使用時請注意區分。

課程目錄

1flume簡介-基礎知識

講述flume的基礎知識包括flume的基本概念和核心組件。flume是一個分布式、可靠、高可用的海量日志聚合系統，支持在系統中定制各類數據發送方，用于收集數據；同時，Flume提供對數據的簡單處理，并寫到各種數據接收方的能力。

2 flume安裝與測試

講述flume安裝與測試，主要包括flume單機安裝與測試、flume集群安裝與測試、Arvo環境的搭建以及安裝過程中的一些異常的解決方案講解。

3 flume部署方式

講述flume部署種類、流配置。其中詳細講解了單一代理、多代理、多路復用流的配置說明。

4 flume source相關配置及測試

講述flume source相關的配置和案例分析，包括了Avro Source配置、Thrift Source配置、Exec Source配置、JMS Source配置、NetCat Source配置、Spooling Directory Source配置、Sequence Generator Source配置、Syslog TCP Source配置、Multiport Syslog TCP Source配置、Syslog UDP Source配置、Http Source配置、Custom Source配置。

5 flume sink相關配置及測試

講述flume sink相關的配置以及flume channel配置和案例分析，包括了HDFS Sink配置、Logger Sink配置、Avro Sink配置、Thrift Sink配置、IRC Sink配置、File Roll Sink配置、Null Sink配置、Hbase Sink配置、AsyncHbase Sink配置、Custom Sink配置；Memory Channel配置、JDBC Channel配置、File Channel配置、Pseudo Transaction Channel配置、Custom Channel配置。

6 flume selector 相關配置與案例分析

講述 flume selector相關配置和案例分析，包括了Replicating Channel Selector配置、Multiplexing Channel Selector配置、Custom Channel Selector配置。

7 Flume Sink Processors相關配置和案例分析

講述 Flume Sink Processors相關配置和案例分析，包括了Default Sink Processor配置、Failover Sink Processor配置、Load balancing Sink Processor配置。

8Flume Interceptors相關配置和案例分析

講述 Flume Event Serializers、Flume Interceptors相關配置和案例分析，包括了Body Text Serializer配置、Avro Text Serializer配置、Timestamp Interceptor配置、Host Interceptor配置、Static Interceptor配置、Regex Filtering Interceptor配置。