- 通用的優(yōu)化方式

1. 盡早fliter掉一些不需要的數(shù)據(jù)以及避免一些不必要的序列化。

2. 避免使用深層嵌套數(shù)據(jù)類型。

3. 對于數(shù)據(jù)傾斜使用調整并行度或者雙層聚合的方式。

4. 一些基數(shù)較少的并且本身較長維度可以采用數(shù)據(jù)字典的方式減少網(wǎng)絡傳輸及內存占用、gc開銷。

- 數(shù)據(jù)類型和序列化 Flink支持java、scala基本數(shù)據(jù)類型，以及java Tuples、scala Case Class、Flink Value，對于這些數(shù)據(jù)類型，flink會采用自身的序列化反序列化器去做序列化操作，對于其他數(shù)據(jù)類型，flink會采用kyro方式序列化，kyro序列化方式效率會比flink自帶的方式低很多。因此在數(shù)據(jù)序列化方面我們可以做如下工作

1. 嘗試使用transient修飾不需要序列化的變量，或者修飾你可以在下游通過其他方式獲取到變量，這個可以減少序列化流程和網(wǎng)絡傳輸(但可能帶來更多的內存占用用和gc消耗) 

2. 對于一些特殊的數(shù)據(jù)你可以嘗試重寫writeObject() 和 readObject() 來自己控制一些序列化方式，如果更高效的話

3. 如果使用了lambda或者泛型的話，顯式的指定類型信息讓flink類型提取系統(tǒng)識別到以提升性能。

- 多組相同keyby可使用DataStreamUtils在多組keyby的場景可以采用DataStreamUtils.reinterpretAsKeyedStream的方式避免多次shuffle操作 - 盡量減少狀態(tài)的大小

1. 設置合適的state TTL, 清洗過期狀態(tài)，避免狀態(tài)無限增大。

2. 減少狀態(tài)字段數(shù)， 比如使用aggreteFunction 做窗口聚合時，可以只將要聚合的信息放入狀態(tài)，其他keyBy字段以及窗口信息，可以通過processWindowFunction的方式獲取，這樣就是 aggregateFunction + ProcessWindowFunction，agg函數(shù)獲取聚合信息，輸出的結果到processwindowFunction中取獲取窗口信息。

3. checkpoint頻率不宜過高，超時時間不要太長，可以異步化的地方盡量異步化