本文介紹了Kafka-Connect接收器任務(wù)忽略文件偏移量存儲屬性的處理方法，對大家解決問題具有一定的參考價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)吧！
問題描述
我在使用融合JDBC連接器時遇到了非常奇怪的行為。我非常肯定它與融合堆棧無關(guān)，而是與Kafka-Connect框架本身有關(guān)。
因此，我將offset.storage.file.filename屬性定義為默認(rèn)/tmp/connect.offsets并運(yùn)行我的接收器連接器。顯然，我希望連接器持久化給定文件中的偏移量(它不存在于文件系統(tǒng)中，但它應(yīng)該是自動創(chuàng)建的，對嗎？)文檔顯示：
offset.storage.file.filename
要存儲連接器偏移量的文件。通過將偏移量存儲在磁盤上，可以在單個節(jié)點(diǎn)上停止和啟動獨(dú)立進(jìn)程，并從以前停止的位置繼續(xù)。
但卡夫卡的行為方式完全不同。
-
它檢查給定文件是否存在。
如果不是，卡夫卡只是忽略它，并在卡夫卡主題中保留偏移量。
如果我手動創(chuàng)建給定文件，讀取仍會失敗(EOFException)，并且偏移量將再次保留在Theme中。
這是一個錯誤嗎？或者更有可能的是，我不知道如何使用這種配置？我了解兩種保存偏移量的方法之間的差異，文件存儲更適合我的需要。
推薦答案
offset.storage.file.filename僅用于源連接器。它用于在輸入數(shù)據(jù)源上放置書簽，并記住它停止讀取它的位置。創(chuàng)建的文件包含類似文件行號的內(nèi)容(對于文件源)或表行號(對于一般的JDBC源或數(shù)據(jù)庫)。
在分布式模式下運(yùn)行Kafka Connect時，此文件將替換為默認(rèn)命名的Kafka主題connect-offsets，應(yīng)復(fù)制該主題以容錯故障。
就接收器連接器而言，無論使用哪種插件或模式(獨(dú)立/分布式)，它們都會像任何Kafka消費(fèi)者一樣，將上次停止閱讀輸入主題的位置存儲在名為__consumer_offsets的內(nèi)部主題中。這允許使用諸如kafka-consumer-groups.sh命令行工具之類的傳統(tǒng)工具來確定接收器連接器的滯后程度。
Confluent Kafka replicator盡管是源連接器，但可能是個例外，因?yàn)樗鼜倪h(yuǎn)程Kafka讀取并且可能使用Kafka使用者。
我同意文檔不清楚，無論連接器類型是什么(信源或信宿)，此設(shè)置都是必需的，但它僅由信源連接器使用。此設(shè)計(jì)決策背后的原因是，單個Kafka Connect工作進(jìn)程(我指的是單個JVM進(jìn)程)可以運(yùn)行多個連接器，可能既包括源連接器，也可能是宿連接器。換句話說，此設(shè)置是工作級別設(shè)置，而不是連接器設(shè)置。
這篇關(guān)于Kafka-Connect接收器任務(wù)忽略文件偏移量存儲屬性的文章就介紹到這了，希望我們推薦的答案對大家有所幫助，
