91aaa在线国内观看,亚洲AV午夜福利精品一区二区,久久偷拍人视频,久久播这里有免费视播

<strong id="fvuar"></strong>

  • <sub id="fvuar"><dl id="fvuar"><em id="fvuar"></em></dl></sub>

    1. 千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)

      手機站
      千鋒教育

      千鋒學(xué)習(xí)站 | 隨時隨地免費學(xué)

      千鋒教育

      掃一掃進入千鋒手機站

      領(lǐng)取全套視頻
      千鋒教育

      關(guān)注千鋒學(xué)習(xí)站小程序
      隨時隨地免費學(xué)習(xí)課程

      當(dāng)前位置:首頁  >  應(yīng)聘面試  >  大數(shù)據(jù)面試題  > Flink兩階段提交(2PC)

      Flink兩階段提交(2PC)

      來源:千鋒教育
      發(fā)布人:wjy
      時間: 2022-09-02 15:42:28 1662104548

      借助一個文件寫入的例子來說明兩階段提交,在Flink中使用兩階段提交,需要實現(xiàn)TwoPhaseCommitSinkFunction這個抽象類的四個方法,我們下面來說明。

      protected abstract TXN beginTransaction() throws Exception; protected abstract void preCommit(TXN transaction) throws Exception; protected abstract void commit(TXN transaction); protected abstract void abort(TXN transaction);  

      1. beginTransaction - 在事務(wù)開始前,我們在目標(biāo)文件系統(tǒng)上面的臨時目錄上創(chuàng)建一個臨時文件。隨后,我們在程序處理的時候可以將數(shù)據(jù)寫入到這個文件。

      2. preCommit - 在預(yù)提交階段,我們刷新文件到磁盤,關(guān)閉文件。

      3. commit - 在提交階段,我們原子性的將預(yù)提交階段的文件移動到真正的目標(biāo)目錄。需要注意的是,這增加了輸出數(shù)據(jù)的可見性的延遲,因為不mv是看不到數(shù)據(jù)的,延遲時間就是設(shè)定的checkpoint的時間。

      4. abort - 在終止階段,我們刪除臨時文件 *如果步驟中有任何錯誤,F(xiàn)link會通過最新的checkpoint來恢復(fù)程序狀態(tài)。

      比如預(yù)提交成功了,在通知到達operator之前失敗了。

      這時候,F(xiàn)link將operator的狀態(tài)恢復(fù)到預(yù)提交階段,即還未真正提交的時候。

      為了能在重啟的時候能夠正確的終止或者提交事務(wù),我們需要在預(yù)提交階段將足夠的信息保存到checkpoint中。

      在這個例子中,這些信息是臨時文件以及目標(biāo)目錄的地址, 當(dāng)從checpoint恢復(fù)時,F(xiàn)link會先執(zhí)行一個Commit操作。

      Flink兩階段提交(2PC)

      tags:
      聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
      10年以上業(yè)內(nèi)強師集結(jié),手把手帶你蛻變精英
      請您保持通訊暢通,專屬學(xué)習(xí)老師24小時內(nèi)將與您1V1溝通
      免費領(lǐng)取
      今日已有369人領(lǐng)取成功
      劉同學(xué) 138****2860 剛剛成功領(lǐng)取
      王同學(xué) 131****2015 剛剛成功領(lǐng)取
      張同學(xué) 133****4652 剛剛成功領(lǐng)取
      李同學(xué) 135****8607 剛剛成功領(lǐng)取
      楊同學(xué) 132****5667 剛剛成功領(lǐng)取
      岳同學(xué) 134****6652 剛剛成功領(lǐng)取
      梁同學(xué) 157****2950 剛剛成功領(lǐng)取
      劉同學(xué) 189****1015 剛剛成功領(lǐng)取
      張同學(xué) 155****4678 剛剛成功領(lǐng)取
      鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
      董同學(xué) 138****2867 剛剛成功領(lǐng)取
      周同學(xué) 136****3602 剛剛成功領(lǐng)取
      相關(guān)推薦HOT
      快速通道