Membersihkan Topik Kafka

Apakah ada cara untuk membersihkan topik dalam kafka?

Saya mendorong pesan yang terlalu besar ke topik pesan kafka di komputer lokal saya, sekarang saya mendapat pesan kesalahan:

kafka.common.InvalidMessageSizeException: invalid message size

Menambah fetch.sizeitu tidak ideal di sini, karena saya sebenarnya tidak ingin menerima pesan sebesar itu.

Perbarui sementara waktu retensi pada topik menjadi satu detik:

kafka-topics.sh --zookeeper <zkhost>:2181 --alter --topic <topic name> --config retention.ms=1000

Dan dalam rilis Kafka yang lebih baru, Anda juga dapat melakukannya dengan kafka-configs --entity-type topics

kafka-configs.sh --zookeeper <zkhost>:2181 --entity-type topics --alter --entity-name <topic name> --add-config retention.ms=1000

kemudian tunggu pembersihan diberlakukan (sekitar satu menit). Setelah dibersihkan, kembalikan nilai sebelumnya retention.ms.

Untuk membersihkan antrian, Anda dapat menghapus topik:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

lalu buat kembali:

bin/kafka-topics.sh --create --zookeeper localhost:2181 \
    --replication-factor 1 --partitions 1 --topic test

Berikut langkah-langkah yang saya ikuti untuk menghapus topik bernama MyTopic:

1. Jelaskan topiknya, dan jangan gunakan id broker
2. Hentikan daemon Apache Kafka untuk setiap ID broker yang terdaftar.
3. Hubungkan ke setiap broker, dan hapus folder data topik, mis rm -rf /tmp/kafka-logs/MyTopic-0. Ulangi untuk partisi lain, dan semua replika
4. Hapus metadata topik: zkCli.shlalurmr /brokers/MyTopic
5. Mulai daemon Apache Kafka untuk setiap mesin yang berhenti

Jika Anda merindukan Anda langkah 3, maka Apache Kafka akan terus melaporkan topik tersebut sebagai hadiah (misalnya saat Anda menjalankan kafka-list-topic.sh).

Diuji dengan Apache Kafka 0.8.0.

Meskipun jawaban yang diterima benar, metode itu sudah usang. Konfigurasi topik sekarang harus dilakukan melalui kafka-configs.

kafka-configs --zookeeper localhost:2181 --entity-type topics --alter --add-config retention.ms=1000 --entity-name MyTopic

Konfigurasi yang diatur melalui metode ini dapat ditampilkan dengan perintah

kafka-configs --zookeeper localhost:2181 --entity-type topics --describe --entity-name MyTopic

Diuji dalam Kafka 0.8.2, untuk contoh mulai cepat: Pertama, Tambahkan satu baris ke file server.properties di bawah folder config:

delete.topic.enable=true

lalu, Anda dapat menjalankan perintah ini:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

Dari kafka 1.1

Bersihkan topik

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --add-config retention.ms=100

tunggu 1 menit, agar aman bahwa kafka bersihkan topik hapus konfigurasi, dan kemudian pergi ke nilai default

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --delete-config retention.ms

kafka tidak memiliki metode langsung untuk membersihkan / membersihkan topik (Antrian), tetapi dapat melakukan ini dengan menghapus topik itu dan membuatnya kembali.

pertama-tama pastikan file sever.properties telah dan jika tidak ditambahkan delete.topic.enable=true

lalu, Hapus topik bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic myTopic

lalu buat lagi.

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic myTopic --partitions 10 --replication-factor 2

Kadang-kadang, jika Anda memiliki gugus jenuh (terlalu banyak partisi, atau menggunakan data topik terenkripsi, atau menggunakan SSL, atau pengontrol ada di node yang buruk, atau koneksi tidak stabil, akan butuh waktu lama untuk membersihkan topik tersebut .

Saya mengikuti langkah-langkah ini, terutama jika Anda menggunakan Avro.

1: Jalankan dengan alat kafka:

bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=1 --entity-name <topic-name>

2: Jalankan pada simpul registri Skema:

kafka-avro-console-consumer --consumer-property security.protocol=SSL --consumer-property ssl.truststore.location=/etc/schema-registry/secrets/trust.jks --consumer-property ssl.truststore.password=password --consumer-property ssl.keystore.location=/etc/schema-registry/secrets/identity.jks --consumer-property ssl.keystore.password=password --consumer-property ssl.key.password=password --bootstrap-server broker01.kafka.com:9092 --topic <topic-name> --new-consumer --from-beginning

3: Atur retensi topik kembali ke pengaturan awal, setelah topik kosong.

bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=604800000 --entity-name <topic-name>

Semoga ini bisa membantu seseorang, karena tidak mudah diiklankan.

UPDATE: Jawaban ini relevan untuk Kafka 0.6. Untuk Kafka 0.8 dan yang lebih baru lihat jawaban oleh @Patrick.

Ya, hentikan kafka dan hapus semua file secara manual dari subdirektori yang sesuai (mudah ditemukan di direktori data kafka). Setelah kafka restart topiknya akan kosong.

Pendekatan paling sederhana adalah mengatur tanggal file log individual menjadi lebih lama dari periode penyimpanan. Kemudian broker harus membersihkannya dan menghapusnya untuk Anda dalam beberapa detik. Ini menawarkan beberapa keuntungan:

1. Tidak perlu menjatuhkan broker, ini adalah operasi runtime.
2. Hindari kemungkinan pengecualian offset yang tidak valid (selengkapnya di bawah ini).

Dalam pengalaman saya dengan Kafka 0.7.x, menghapus file log dan memulai kembali broker dapat menyebabkan pengecualian offset tidak valid untuk konsumen tertentu. Ini akan terjadi karena broker me-restart offset di nol (tanpa adanya file log yang ada), dan seorang konsumen yang sebelumnya mengkonsumsi dari topik akan menyambung kembali untuk meminta offset spesifik [sekali valid]. Jika offset ini jatuh di luar batas log topik baru, maka tidak ada salahnya dan konsumen kembali pada awal atau akhir. Tetapi, jika offset berada dalam batas log topik baru, broker mencoba untuk mengambil set pesan tetapi gagal karena offset tidak selaras dengan pesan yang sebenarnya.

Ini bisa dikurangi dengan juga membersihkan offset konsumen di zookeeper untuk topik itu. Tetapi jika Anda tidak memerlukan topik perawan dan hanya ingin menghapus konten yang ada, maka cukup 'menyentuh'-log beberapa topik jauh lebih mudah dan lebih dapat diandalkan, daripada menghentikan broker, menghapus log topik, dan membersihkan node zookeeper tertentu .

Saran Thomas sangat bagus tetapi sayangnya zkClidi Zookeeper versi lama (misalnya 3.3.6) tampaknya tidak mendukung rmr. Misalnya membandingkan implementasi command line di Zookeeper modern dengan versi 3.3 .

Jika Anda dihadapkan dengan Zookeeper versi lama, salah satu solusinya adalah menggunakan pustaka klien seperti zc.zk untuk Python. Untuk orang yang tidak terbiasa dengan Python, Anda perlu menginstalnya menggunakan pip atau easy_install . Kemudian mulai shell Python ( python) dan Anda dapat melakukannya:

import zc.zk
zk = zc.zk.ZooKeeper('localhost:2181')
zk.delete_recursive('brokers/MyTopic') 

atau bahkan

zk.delete_recursive('brokers')

jika Anda ingin menghapus semua topik dari Kafka.

Untuk membersihkan semua pesan dari topik tertentu menggunakan grup aplikasi Anda (GroupName harus sama dengan nama grup aplikasi kafka).

./kafka-path/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topicName --from-beginning --group application-group

Mengikuti jawaban appleyard @steven, saya menjalankan perintah berikut pada Kafka 2.2.0 dan mereka bekerja untuk saya.

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --describe

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --add-config retention.ms=1000

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --delete-config retention.ms

Banyak jawaban bagus di sini tetapi di antara mereka, saya tidak menemukan satu tentang buruh pelabuhan. Saya menghabiskan beberapa waktu untuk mencari tahu bahwa menggunakan wadah broker adalah salah untuk kasus ini (jelas !!!)

## this is wrong!
docker exec broker1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000

Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
        at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:258)
        at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
        at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:253)
        at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:254)
        at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:112)
        at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1826)
        at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:280)
        at kafka.admin.TopicCommand$.main(TopicCommand.scala:53)
        at kafka.admin.TopicCommand.main(TopicCommand.scala)

dan saya seharusnya menggunakan zookeeper:2181bukan --zookeeper localhost:2181sebagai file menulis saya

## this might be an option, but as per comment below not all zookeeper images can have this script included
docker exec zookeper1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000

perintah yang benar adalah

docker exec broker1 kafka-configs --zookeeper zookeeper:2181 --alter --entity-type topics --entity-name dev_gdn_urls --add-config retention.ms=12800000

Semoga ini akan menghemat waktu seseorang.

Perlu diketahui juga bahwa pesan tidak akan segera dihapus dan itu akan terjadi ketika segmen log akan ditutup.

Tidak dapat menambahkan sebagai komentar karena ukuran: Tidak yakin apakah ini benar, selain memperbarui retention.ms dan retention.bytes, tetapi saya perhatikan kebijakan pembersihan topik harus "delete" (default), jika "compact", itu akan tahan pesan lebih lama, yaitu, jika "kompak", Anda harus menentukan delete.retention.ms juga.

./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics
Configs for topics:test-topic-3-100 are retention.ms=1000,delete.retention.ms=10000,cleanup.policy=delete,retention.bytes=1

Juga harus memantau paling awal / offset terbaru harus sama untuk mengkonfirmasi ini berhasil terjadi, juga dapat memeriksa du-h / tmp / kafka-log / test-topik-3-100- *

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -1 | awk -F ":" '{sum += $3} END {print sum}' 26599762

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -2 | awk -F ":" '{sum += $3} END {print sum}' 26599762

Masalah lainnya adalah, Anda harus mendapatkan konfigurasi saat ini terlebih dahulu sehingga Anda ingat untuk mengembalikan setelah penghapusan berhasil: ./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics

Pendekatan lain, agak manual, untuk membersihkan suatu topik adalah:

di broker:

1. hentikan broker kafka
   sudo service kafka stop
2. hapus semua file log partisi (harus dilakukan pada semua broker)
   sudo rm -R /kafka-storage/kafka-logs/<some_topic_name>-*

di penjaga kebun binatang:

3. jalankan antarmuka baris perintah zookeeper
   sudo /usr/lib/zookeeper/bin/zkCli.sh
4. gunakan zkCli untuk menghapus metadata topik
   rmr /brokers/topic/<some_topic_name>

di broker lagi:

5. restart layanan broker
   sudo service kafka start

./kafka-topics.sh --describe --zookeeper zkHost:2181 --topic myTopic

Ini harus memberi retention.msdikonfigurasi. Kemudian Anda dapat menggunakan perintah alter di atas untuk mengubah ke 1detik (dan kemudian kembali ke default).

Topic:myTopic   PartitionCount:6        ReplicationFactor:1     Configs:retention.ms=86400000

Dari Jawa, gunakan yang baru dan AdminZkClientbukan yang sudah usang AdminUtils:

  public void reset() {
    try (KafkaZkClient zkClient = KafkaZkClient.apply("localhost:2181", false, 200_000,
        5000, 10, Time.SYSTEM, "metricGroup", "metricType")) {

      for (Map.Entry<String, List<PartitionInfo>> entry : listTopics().entrySet()) {
        deleteTopic(entry.getKey(), zkClient);
      }
    }
  }

  private void deleteTopic(String topic, KafkaZkClient zkClient) {

    // skip Kafka internal topic
    if (topic.startsWith("__")) {
      return;
    }

    System.out.println("Resetting Topic: " + topic);
    AdminZkClient adminZkClient = new AdminZkClient(zkClient);
    adminZkClient.deleteTopic(topic);

    // deletions are not instantaneous
    boolean success = false;
    int maxMs = 5_000;
    while (maxMs > 0 && !success) {
      try {
        maxMs -= 100;
        adminZkClient.createTopic(topic, 1, 1, new Properties(), null);
        success = true;
      } catch (TopicExistsException ignored) {
      }
    }

    if (!success) {
      Assert.fail("failed to create " + topic);
    }
  }

  private Map<String, List<PartitionInfo>> listTopics() {
    Properties props = new Properties();
    props.put("bootstrap.servers", kafkaContainer.getBootstrapServers());
    props.put("group.id", "test-container-consumer-group");
    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

    KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
    Map<String, List<PartitionInfo>> topics = consumer.listTopics();
    consumer.close();

    return topics;
  }