Sqoop(發(fā)音：skup)是一款開(kāi)源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql、postgresql…)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（例如 ： MySQL ,Oracle ,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。Oozie是一種框架,它讓我們可以把多個(gè)Map/Reduce作業(yè)組合到一個(gè)邏輯工作單元中。本文是對(duì)該框架的基本介紹。Hue是一個(gè)可快速開(kāi)發(fā)和調(diào)試Hadoop生態(tài)系統(tǒng)各種應(yīng)用的一個(gè)基于瀏覽器的圖形化用戶接口。
│ ├<第1章 數(shù)據(jù)轉(zhuǎn)換工具Sqoop>
│ │ ├1.02_02_01_01 大數(shù)據(jù)Hadoop 2.x協(xié)作.框架的功能 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_02 Sqoop 功能概述和版本、架構(gòu)講解 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_03 Sqoop 使用要點(diǎn)（核心）及企業(yè)版本講解.mp4
│ │ ├1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive偽分布式環(huán)境 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_05 Sqoop 1安裝及基本使用講解 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_06 使用Sqoop導(dǎo)入數(shù)據(jù)到HDFS及本質(zhì)分析 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_07 Sqoop導(dǎo)入數(shù)據(jù)設(shè)置數(shù)據(jù)存儲(chǔ)格式parquet 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_08 Sqoop導(dǎo)入數(shù)據(jù)使用query講解 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_09 Sqoop導(dǎo)入數(shù)據(jù)設(shè)置數(shù)據(jù)壓縮為sanppy 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_10 對(duì)snappy壓縮數(shù)據(jù)結(jié)合Hive進(jìn)行數(shù)據(jù)的導(dǎo)入與分析 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_11 Sqoop導(dǎo)入數(shù)據(jù)時(shí)兩種增量方式導(dǎo)入 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_12 Sqoop導(dǎo)入數(shù)據(jù)direct使用講解 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_13 Sqoop導(dǎo)出數(shù)據(jù)Export使用講解 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_14 Sqoop如何將RDBMS表中的數(shù)據(jù)導(dǎo)入到Hive表中 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_15 Sqoop如何導(dǎo)出Hive表中數(shù)據(jù)到RDBMS中 網(wǎng)頁(yè).mp4
│ │ ├1.02_02_01_16 Sqoop使用–options-file進(jìn)行運(yùn)行任務(wù)講解 網(wǎng)頁(yè).mp4
│ │ └1.02_02_01_17 回顧復(fù)習(xí)Sqoop的使用及布置作業(yè)（oracle與hadoop數(shù)據(jù)的import） 網(wǎng)頁(yè).mp4
│ ├<第2章 文件收集框架Flume>
│ │ ├2.02_02_02_01 Flume功能概述講解 網(wǎng)頁(yè).mp4
│ │ ├2.02_02_02_02 Flume架構(gòu)設(shè)計(jì)講解 網(wǎng)頁(yè).mp4
│ │ ├2.02_02_02_03 Flume Agent編程及flume-ng命令使用講解 網(wǎng)頁(yè).mp4
│ │ ├2.02_02_02_04 Flume第一個(gè)Agent應(yīng)用編寫（實(shí)時(shí)讀取數(shù)據(jù)） 網(wǎng)頁(yè).mp4
│ │ ├2.02_02_02_05 Flume Agent三大組件Source、Channe、Sink常用類型講解 網(wǎng)頁(yè).mp4
│ │ ├2.02_02_02_06 Flume第二個(gè)Agent應(yīng)用講解（實(shí)時(shí)監(jiān)控讀取日志數(shù)據(jù)，存儲(chǔ)hdfs文件系統(tǒng)） 網(wǎng)頁(yè).mp4
│ │ ├2.02_02_02_07 Flume收集數(shù)據(jù)存儲(chǔ)hdfs上的一些高級(jí)配置.mp4
│ │ ├2.02_02_02_08 Flume在企業(yè)大數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)收集架構(gòu) 網(wǎng)頁(yè).mp4
│ │ ├2.02_02_02_09 Flume收集數(shù)據(jù)存儲(chǔ)hdfs上的企業(yè)需求講解 網(wǎng)頁(yè).mp4
│ │ └2.02_02_02_10 Flume實(shí)在案例講解（監(jiān)控日志目錄日志數(shù)據(jù)，實(shí)時(shí)抽取之hdfs系統(tǒng)上） 網(wǎng)頁(yè).mp4
│ ├<第3章 任務(wù)調(diào)度框架Oozie>
│ │ ├3.02_02_03_01 工作流調(diào)度框架Oozie功能初步認(rèn)識(shí) 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_02 Linux Crontab調(diào)度講解 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_03 大數(shù)據(jù)Hadoop常用三種調(diào)度框架講解 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_04 Oozie 功能架構(gòu)及三大Server講解 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_05 Oozie安裝部署講解一 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_06 Oozie安裝部署講解二 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_07 Oozie案例運(yùn)行MapReduce Wordflow講解 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_08 如何定義Ooozie Workflow講解 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_09 Oozie Workflow中MapReduce Action定義講解 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_10 如何編寫新API中MapReduce Action講解 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_11 編寫Oozie Workflow的MapReduce Action并運(yùn)行 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_12 回顧復(fù)習(xí)Oozie Workflow編程要點(diǎn)及MapReduce Action的使用 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_13 Oozie WorkFlow中Hive Action使用案例講解一 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_14 Oozie WorkFlow中Hive Action使用案例講解二 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_15 Oozie WorkFlow中Sqoop Action使用案例講解一 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_16 Oozie WorkFlow中Sqoop Action使用案例講解二 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_17 Oozie WorkFlow中Shell Action使用案例講解 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_18 Oozie WorkFlow作業(yè)布置 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_19 Oozie Coordinator調(diào)度講解及系統(tǒng)時(shí)區(qū)配置與定時(shí)觸發(fā)兩種配置方式 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_20 Oozie Coordinator配置定時(shí)觸發(fā)案例演示 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_21 Oozie Coordinator·配置調(diào)度MapReduce· WordCount程序 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_22 Oozie企業(yè)使用案例（Hive Action、Sqoop Actoion及定時(shí)調(diào)度）講解一 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_23 Oozie企業(yè)使用案例（Hive Action、Sqoop Actoion及定時(shí)調(diào)度）講解二 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_24 Oozie企業(yè)使用案例（Hive Action、Sqoop Actoion及定時(shí)調(diào)度）講解三 網(wǎng)頁(yè).mp4
│ │ ├3.02_02_03_25 Oozie中Coordinator中的數(shù)據(jù)可用性及Bundle講解(1) 網(wǎng)頁(yè).mp4
│ │ └3.02_02_03_26 Oozie中Coordinator中的數(shù)據(jù)可用性及Bundle講解(2) 網(wǎng)頁(yè).mp4
│ ├<第4章 大數(shù)據(jù)WEB工具Hue>
│ │ ├4.02_02_04_01 Hue架構(gòu)功能講解 網(wǎng)頁(yè).mp4
│ │ ├4.02_02_04_02 Hue編譯安裝講解 網(wǎng)頁(yè).mp4
│ │ ├4.02_02_04_03 Hue集成HDFS、YARN配置功能演示講解 網(wǎng)頁(yè).mp4
│ │ ├4.02_02_04_04 Hue集成Hive配置講解（HiveServer2及MetaStore） 網(wǎng)頁(yè).mp4
│ │ ├4.02_02_04_05 Hue集成RDBMS配置講解 網(wǎng)頁(yè).mp4
│ │ └4.02_02_04_06 Hue集成Oozie配置講解及作業(yè)布置 網(wǎng)頁(yè).mp4
