Apache Spark
Framework distribuido para procesar y analizar grandes volúmenes de datos.
Apache Spark es un framework de código abierto para el procesamiento distribuido de grandes volúmenes de datos. Reparte los cálculos en un clúster de varios ordenadores y mantiene los resultados intermedios en la memoria principal en la medida de lo posible, lo que acelera muchas tareas de análisis frente a los enfoques basados exclusivamente en disco.
Spark ofrece interfaces de programación para Scala, Java, Python y R, entre otros, e incluye bibliotecas para consultas SQL, procesamiento de flujos y aprendizaje automático (MLlib). Por ello es adecuado para pipelines de datos y análisis intensivos en datos.
Para qué lo utiliza Provimedia
Provimedia emplea Apache Spark cuando es necesario procesar de forma distribuida grandes volúmenes de datos para análisis o proyectos de IA.
¿Quiere usar Apache Spark en su proyecto?
En una conversación gratuita descubriremos cómo podemos llevarlo a cabo para usted.
Más de DevOps y nube
Ansible
Herramienta para automatizar la configuración y el despliegue.
Más informaciónApache Kafka
Plataforma distribuida para procesar y transmitir en flujo grandes volúmenes de datos de eventos.
Más informaciónAWS
Plataforma en la nube de Amazon con servicios de computación, almacenamiento e IA.
Más informaciónCI/CD
Prácticas para la integración, la verificación y la entrega automatizadas de software.
Más informaciónCloudflare
Proveedor de servicios de CDN, DNS y seguridad para sitios web y aplicaciones.
Más informaciónDocker
Plataforma para contenerizar aplicaciones junto con sus dependencias.
Más informaciónGit
Sistema de control de versiones distribuido para gestionar código fuente.
Más informaciónGitHub
Plataforma web para alojar repositorios Git y colaborar en código.
Más información