所有events,增加頭,類似json格式里的"headers":{" key":" value"} 時間戳（頭部插入時間戳）、主機(jī)（頭部插入主機(jī)名和IP）、靜態(tài)（頭部插入指定KV）、正則過濾（留下符合條件的）、自定義 攔截器作用 1）ETL攔截器：輕度清洗，過濾出Json格式不完整的數(shù)據(jù) 2）時間攔截器：提取日志時間作為分區(qū)的依據(jù)，避免零點(diǎn)漂移問題 自定義攔截器步驟 1）實(shí)現(xiàn)Interceptor 2）重寫方法 （1）initialize初始化方法 ?。?）public Event intercept(Event event) 處理單個Event ?。?）public List intercept(List events) 處理多個Event，在這個方法中調(diào)用Event intercept(Event event) ?。?）close方法 3）靜態(tài)內(nèi)部類，實(shí)現(xiàn)Interceptor.Builder 4）打包，上傳至flume/lib目錄下 5）在配置文件中關(guān)聯(lián)：全類名 + $builder 攔截器可以不用嗎？ 可以不用，在hive的dwd層或sparkStream中處理即可，也可以用，但會影響性能，不推薦用在實(shí)時性高的場景
京公網(wǎng)安備 11010802030320號