Apache Spark
Framework distribué pour le traitement et l'analyse de grands volumes de données.
Apache Spark est un framework open source pour le traitement distribué de grands volumes de données. Il répartit les calculs sur un cluster de plusieurs machines et conserve autant que possible les résultats intermédiaires en mémoire vive, ce qui accélère de nombreuses tâches d'analyse par rapport aux approches reposant uniquement sur le disque.
Spark fournit des interfaces de programmation notamment pour Scala, Java, Python et R, et comprend des bibliothèques pour les requêtes SQL, le traitement de flux ainsi que l'apprentissage automatique (MLlib). Il convient ainsi aux pipelines de données et aux analyses à forte intensité de données.
À quoi Provimedia l'utilise
Provimedia utilise Apache Spark lorsque de grands volumes de données doivent être traités de manière distribuée pour des analyses ou des projets d'IA.
Utiliser Apache Spark pour votre projet ?
Découvrons lors d'un entretien gratuit comment nous pouvons le mettre en œuvre pour vous.
Plus dans DevOps et cloud
Ansible
Outil d'automatisation de la configuration et du déploiement.
En savoir plusApache Kafka
Plateforme distribuée pour le traitement et le streaming de grands volumes de données d'événements.
En savoir plusAWS
Plateforme cloud d'Amazon proposant des services de calcul, de stockage et d'IA.
En savoir plusCI/CD
Pratiques d'intégration, de test et de livraison automatisés de logiciels.
En savoir plusCloudflare
Fournisseur de services de CDN, de DNS et de sécurité pour les sites web et les applications.
En savoir plusDocker
Plateforme de conteneurisation d'applications avec leurs dépendances.
En savoir plusGit
Système de gestion de versions distribué pour la gestion du code source.
En savoir plusGitHub
Plateforme web d'hébergement de dépôts Git et de collaboration sur le code.
En savoir plus