Apache Airflow
Plateforme open source pour créer, planifier et surveiller des workflows.
Apache Airflow est une plateforme open source qui permet de créer, de planifier et de surveiller par programmation des pipelines de données et des workflows. Les processus sont définis en Python sous forme de graphes orientés acycliques (DAG), où chaque nœud décrit une tâche et chaque arête une dépendance.
Airflow exécute les tâches dans le bon ordre, les planifie dans le temps et fournit une interface web permettant de suivre l’état des exécutions et de comprendre les erreurs. Il est souvent utilisé pour orchestrer des processus ETL, la préparation de données et des pipelines de machine learning.
À quoi Provimedia l'utilise
Provimedia orchestre avec Apache Airflow des pipelines de données et de ML, par exemple pour automatiser la préparation récurrente de données dans le développement d’IA.
Utiliser Apache Airflow pour votre projet ?
Découvrons lors d'un entretien gratuit comment nous pouvons le mettre en œuvre pour vous.
Plus dans IA et machine learning
Anthropic Claude
Famille de grands modèles de langage de l’entreprise d’IA Anthropic.
En savoir plusCUDA
Plateforme de calcul parallèle de NVIDIA pour utiliser les GPU pour des calculs généraux.
En savoir plusElevenLabs
Plateforme d’IA pour synthétiser une parole naturelle à partir de texte.
En savoir plusHugging Face
Plateforme et bibliothèques pour des modèles d’IA pré-entraînés et des jeux de données.
En savoir plusKeras
API de haut niveau pour créer et entraîner des réseaux de neurones.
En savoir plusLangChain
Framework open source pour développer des applications basées sur de grands modèles de langage.
En savoir plusMLflow
Plateforme open source pour gérer le cycle de vie des projets de machine learning.
En savoir plusNLTK
Bibliothèque Python établie pour le traitement du langage naturel.
En savoir plus