Data Science Deep Dive· Folge 63

#62: Kafka und Datenströme erklärt – und wie das jetzt auch in R läuft

Donnerstag, 19. Dezember 2024 · 21 min

MP3

Shownotes

Kafka, aber in R? Das geht jetzt! In dieser Folge klären wir, warum Kafka für schnelle Datenströme unverzichtbar ist und warum unser neuer R-Kafka-Client ein Gamechanger ist. Was ist Kafka, wofür braucht man es (oder auch nicht), und wie funktioniert unser Paket? Hört rein und probiert es aus!

Zusammenfassung

• Apache Kafka als schnelles, ausfallsicheres System für Event-Streaming und Datenströme

• Einsatzbereiche: Überall wo Daten fortlaufend und in Echtzeit verarbeitet werden

• Unser R Kafka Client ermöglicht nun die direkte Nutzung von Kafka in R, ohne Umweg über Python

• Features: Consumer/Producer-Modelle, asynchrone Datenverarbeitung, hohe Performance und Ausfallsicherheit

• Ausblick: Veröffentlichung auf CRAN, Admin-Client für Cluster-Management, Blogartikel mit Beispiel (siehe unten in den Links)

Links

• Apache Kafka kafka.apache.org

• Confluent confluent.io

• Rcpp (CRAN) cran.r-project.org/web/packages/Rcpp/index.html

• reticulate (CRAN) cran.r-project.org/web/packages/reticulate/ind…

• R Paket kafka auf GitHub github.com/INWTlab/r-kafka

• Blogartikel zum R Paket kafka inwt-statistics.de/blog/r-paket-kafka

• nats nats.io

• Azure EventHub azure.microsoft.com/de-de/products/event-hubs

• Redpanda redpanda.com

• Fragen, Feedback und Themenwünsche gern an podcast@inwt-statistics.de

0:00 / 0:00