Pertanyaan yang diberi tag «apache-kafka»

Saya telah diminta untuk mengevaluasi RabbitMQ daripada Kafka tetapi merasa sulit untuk menemukan alasan bahwa ia melakukan sesuatu yang lebih baik daripada Kafka. Adakah yang tahu apakah itu benar-benar lebih baik dalam throughput, daya tahan, latensi, atau kemudahan penggunaan?

333 rabbitmq  apache-kafka  message-queue 

Meskipun saya telah menemukan Kafka sebelumnya, saya baru-baru ini menyadari Kafka mungkin dapat digunakan sebagai (dasar) CQRS , eventstore . Salah satu poin utama yang didukung Kafka: Acara menangkap / menyimpan, semua HA tentu saja. Arsitektur pub / sub Kemampuan untuk memutar ulang eventlog yang memungkinkan kemampuan bagi pelanggan baru …

219 cqrs  event-sourcing  apache-kafka  dddd 

Apakah ada cara untuk membersihkan topik dalam kafka? Saya mendorong pesan yang terlalu besar ke topik pesan kafka di komputer lokal saya, sekarang saya mendapat pesan kesalahan: kafka.common.InvalidMessageSizeException: invalid message size Menambah fetch.sizeitu tidak ideal di sini, karena saya sebenarnya tidak ingin menerima pesan sebesar itu.

185 apache-kafka  purge 

Saya mulai belajar Kafka untuk tujuan solusi perusahaan. Selama pembacaan saya, beberapa pertanyaan muncul di benak saya: Ketika seorang produser memproduksi pesan - itu akan menentukan topik yang ingin dikirimi pesan, apakah itu benar? Apakah itu peduli dengan partisi? Ketika pelanggan berjalan - apakah ia menentukan id grupnya sehingga bisa …

185 apache-kafka  kafka-consumer-api  kafka-producer-api 

Saya mencoba menggunakan Kafka. Semua konfigurasi dilakukan dengan benar tetapi ketika saya mencoba untuk menghasilkan pesan dari konsol saya terus mendapatkan kesalahan berikut WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Versi kafka: 2.11-0.9.0.0

172 apache-kafka  producer 

Saya relatif baru di Kafka. Saya telah melakukan sedikit percobaan dengan itu, tetapi beberapa hal tidak jelas bagi saya mengenai penggantian konsumen. Dari apa yang saya pahami sejauh ini, ketika konsumen mulai, offset yang akan mulai dibaca ditentukan oleh pengaturan konfigurasi auto.offset.reset(koreksi saya jika saya salah). Sekarang katakan misalnya ada …

170 java  distributed-computing  apache-kafka 

Salah satu hal pertama yang saya pikirkan ketika menggunakan layanan baru (seperti penyimpanan data non-RDBMS atau antrian pesan) adalah: "Bagaimana saya harus menyusun data saya?". Saya sudah membaca dan menonton beberapa materi pengantar. Secara khusus, ambil, misalnya, Kafka: Sistem Pesan Terdistribusi untuk Pemrosesan Log , yang menulis: "Topik adalah wadah …

168 apache-kafka 

Di Kafka, saya hanya ingin menggunakan satu broker, satu topik, dan satu partisi yang memiliki satu produsen dan banyak konsumen (masing-masing konsumen mendapatkan salinan data sendiri dari broker). Mengingat ini, saya tidak ingin overhead menggunakan Zookeeper; Bisakah saya tidak hanya menggunakan broker saja? Mengapa seorang penjaga kebun binatang harus?

134 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Saya mengirim pesan String ke Kafka V. 0.8 dengan Java Producer API. Jika ukuran pesan sekitar 15 MB saya mendapatkan file MessageSizeTooLargeException. Saya sudah mencoba menyetel message.max.byteske 40 MB, tetapi saya masih mendapatkan pengecualian. Pesan kecil bekerja tanpa masalah. (Pengecualian muncul di produsen, saya tidak memiliki konsumen dalam aplikasi ini.) …

118 java  apache-kafka 

Bagaimana cara menemukan versi kafka di linux? apakah ada cara untuk menemukan versi kafka yang terinstal selain menyebutkan versi saat mendownloadnya?

107 apache-kafka 

Apache Kafka: Sistem pesan terdistribusi Apache Storm: Pemrosesan Pesan Real Time Bagaimana kita bisa menggunakan kedua teknologi dalam pipeline data real-time untuk memproses data peristiwa? Dalam hal pipeline data waktu nyata, keduanya menurut saya melakukan pekerjaan yang sama. Bagaimana kita dapat menggunakan kedua teknologi pada pipeline data?

102 apache-storm  apache-kafka  data-integration 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Saat ini, saya mengirim pesan tanpa kunci apa pun sebagai bagian dari pesan kunci, apakah masih akan berfungsi delete.retention.ms? Apakah saya perlu mengirim kunci sebagai bagian dari pesan? Apakah baik menjadikan kunci sebagai bagian dari pesan?

102 apache-kafka  kafka-consumer-api  kafka-producer-api 

Saya baru-baru ini mulai belajar Kafka dan berakhir dengan pertanyaan-pertanyaan ini. Apa perbedaan antara Consumer dan Stream? Bagi saya, jika ada alat / aplikasi yang mengonsumsi pesan dari Kafka adalah konsumen di dunia Kafka. Apa perbedaan Stream karena ini juga menggunakan atau menghasilkan pesan ke Kafka? dan mengapa ini diperlukan …

100 apache-kafka  kafka-consumer-api  apache-kafka-streams 

Saya perlu menghapus topik testdi Apache Kafka 0.8.1.1. Seperti yang diungkapkan dalam dokumentasi di sini , saya telah mengeksekusi: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Namun, ini menghasilkan pesan berikut: Command must include exactly one action: --list, --describe, --create or --alter Bagaimana cara menghapus topik ini?

98 apache-kafka 

Tertutup . Pertanyaan ini perlu lebih difokuskan . Saat ini tidak menerima jawaban. Ingin memperbaiki pertanyaan ini? Perbarui pertanyaan sehingga hanya berfokus pada satu masalah dengan mengedit posting ini . Tutup 10 bulan lalu . Perbaiki pertanyaan ini Semua contoh dari Kafka | produser menunjukkan ProducerRecordpasangan kunci / nilai tidak …

97 apache-kafka  message-queue  messaging  key-value  messagebroker