Apache Spark
Verteiltes Framework zur Verarbeitung und Analyse großer Datenmengen.
Apache Spark ist ein quelloffenes Framework für die verteilte Verarbeitung großer Datenmengen. Es verteilt Berechnungen über ein Cluster aus mehreren Rechnern und hält Zwischenergebnisse soweit möglich im Arbeitsspeicher, was viele Analyseaufgaben gegenüber rein festplattenbasierten Ansätzen beschleunigt.
Spark stellt Programmierschnittstellen unter anderem für Scala, Java, Python und R bereit und umfasst Bibliotheken für SQL-Abfragen, Stream-Verarbeitung sowie maschinelles Lernen (MLlib). Damit eignet es sich für Datenpipelines und datenintensive Analysen.
Wofür Provimedia es einsetzt
Provimedia setzt Apache Spark ein, wenn große Datenmengen für Analysen oder KI-Vorhaben verteilt verarbeitet werden müssen.
Apache Spark für Ihr Projekt nutzen?
Lassen Sie uns in einem kostenlosen Gespräch herausfinden, wie wir das für Sie umsetzen.
Regional gefragt: KI-Entwicklung in Ihrer Stadt →
Mehr aus DevOps & Cloud
Ansible
Werkzeug zur Automatisierung von Konfiguration und Bereitstellung.
Mehr erfahrenApache Kafka
Verteilte Plattform zum Verarbeiten und Streamen großer Ereignisdatenmengen.
Mehr erfahrenAWS
Cloud-Plattform von Amazon mit Rechen-, Speicher- und KI-Diensten.
Mehr erfahrenCI/CD
Praktiken zur automatisierten Integration, Prüfung und Auslieferung von Software.
Mehr erfahrenCloudflare
Anbieter von CDN-, DNS- und Sicherheitsdiensten für Websites und Anwendungen.
Mehr erfahrenDocker
Plattform zur Containerisierung von Anwendungen samt ihrer Abhängigkeiten.
Mehr erfahrenGit
Verteiltes Versionskontrollsystem für die Verwaltung von Quellcode.
Mehr erfahrenGitHub
Webbasierte Plattform zum Hosten von Git-Repositories und zur Zusammenarbeit an Code.
Mehr erfahren