ELK是目前行業中非常熱門的一個技術,它可以用于電商網站、門戶網站、企業IT系統等各種場景下,也可以用于對海量的數據進行近實時的數據分析。
ELK呢,就是給運維提供輔助的一個應用套件。運維工作就是對各種業務系統進行監控,發現問題,能夠及時告警,然后能夠迅速查到問題,進而解決問題,這是運維工作的核心。而如果運維管理的服務器和業務系統非常多的情況下,可能無法及時、準確的了解每個業務系統和服務器的狀態,如果發現業務系統有問題,那就需要登錄業務系統服務器去查問題,但是如果服務器很多呢,有幾百臺、甚至更多情況下,不可能一個一個系統登錄查看吧。
怎么解決這種問題呢,ELK這個套件工具,就可以解決這個問題,ELK是集中對日志進行收集、過濾、分析、可視化展示的工具。
通過ELK,將運維所有的服務器日志,業務系統日志都收集到一個平臺下,然后提取想要的內容,比如錯誤信息,警告信息等,當過濾到這種信息,就馬上告警,告警后,運維人員就能馬上定位是哪臺機器、哪個業務系統出現了問題,出現了什么問題,都會在ELK平臺有詳細的描述。
課程大綱:
1、ELK企業常見應用架構分享以及工作流程
2、zookeeper基礎入門與集群架構模式
3、kafka基礎入門以及Topic與Partition
4、kafka的消息發送、消費與存儲機制詳解
5、filebeat基礎入門以及ELK常見企業應用架構
6、ELK+Filebeat+Kafka構建大數據日志分
7、elasticsearch集群架構以及JDK環境變量
8、elasticsearch集群構建并進行系統JVM調
9、elasticsearch集群配置以及常用參數介紹
10、【案例實戰】安裝與配置zookeeper集群過程1
11、【案例實戰】安裝與配置zookeeper集群過程2
12、安裝與配置kafka集群的方法與注意事項
13、【案例實戰】安裝并配置kafka集群的全過程
14、kafka集群命令講解創建topic 生產消息與消費
15、【案例實戰】安裝并配置filebeat及配置項介紹
16、啟動filebeat并驗證日志輸出和日志格式說明
17、filebeat日志輸出格式介紹和字段刪減方法
18、logstash深入input filteroutp
19、logstash入門介紹以及日志輸出格式解析1
20、logstash入門介紹以及日志輸出格式解析2
21、logstash編寫事件配置文件并從kafka消費數
22、安裝配置Kibana以及使用Kibana可視化數據
23、【總結】ELK架構調試并驗證ELK日志數據流向
24、logstash語法應用以及input插件功能講解1
25、logstash語法應用以及input插件功能講解2
26、Logstash編碼插件(Codec)功能講解與應用
27、Logstash過濾器插件(Filter)Grok應
28、logstash的filter插件對字段的分割、轉換
29、logstash 的filter插件mutate g
30、【實戰】logstash的filter插件線上綜合應
31、【實戰】logstash輸出插件output應用實例
32、【實戰案例】ELK收集apache訪問日志實戰案例
33、自定義apache訪問日志輸出格式并驗證講解
34、配置filebeat收集apache訪問日志文件操作
35、編寫logstash事件配置文件消費apache日志
36、編寫logstash事件配置文件消費apache日志
37、編寫logstash事件配置文件消費apache日志
38、【實戰案例】ELK收集nginx訪問日志實戰案例
39、編寫logstash事件配置文件消費nginx日志數