Poco a poco el serverless se está extendiendo a más y más casos de uso: procesamiento, bases de datos, sistemas de mensajería o de CI/CD... son solo algunos de los ejemplos.
El procesamiento de grandes volúmenes de datos era uno de los campos que aún no había sido colonizado por el serverless, pero parece que esto está a punto de cambiar.
En este capítulo hablamos de Dataproc Serverless, que permite ejecutar trabajos de Spark sin necesidad de tener un cluster.
Spark es un framework de procesamiento escalable, sucesor de Hadoop MapReduce aunque la idea es la misma. Tiene gran aceptación en la comunidad Big Data al ser uno de los frameworks más utilizados y queridos.
Cloud Dataproc es la manera de tener clusters gestionados por Google Cloud para la ejecución de trabajos Hadoop MapReduce, Hive, Spark, Flink... Gracias a Dataproc podemos levantar clusters de manera sencilla y económica.
El uso del serverless para la ejecución de nuestras cargas Spark nos ofrece ciertas ventajas como el poder abstraernos de la infraestructura, tener capacidad de cómputo inmediata o una gran flexibilidad de costes.
El nuevo Dataproc Serverless permite la ejecución de cargas Spark sin tener que preocuparnos por otra cosa distinta al código y los datos, lo que como desarrolladores/as, es algo que agradecer.
Si quieres saber más sobre este producto, cuál es su experiencia al usarlo y sus puntos menos fuertes, no te pierdas este episodio de "Cómo conocí a nuestro Cloud".
Puedes escucharlos en las principales plataformas de podcast: Ivoox, Spotify, YouTube, Google Podcast, Apple Podcast y Amazon Music.
Tomás Calleja
De pequeño me encantaba solucionar problemas de manera sencilla y cacharrear con la tecnología. Han pasado los años pero mis gustos no han cambiado: me paso el día aprendiendo nuevas tecnologías para luego diseñar e implementar soluciones sencillas a problemas complejos, siempre desde un punto de vista LEAN. Durante los últimos años me he centrado en Google Cloud Platform, soluciones Cloud Native y Serverless aunque me gusta saber un poco de todo.
Ver más contenido de Tomás.Óscar Ferrer
Después de más de 10 años trabajando en el desarrollo de productos digitales, he tenido la suerte de pasar por diferentes roles que me han dado una visión global de lo que significa idear, desarrollar y mantener productos de software. En este camino he visto cómo el Cloud se convertía en un factor clave, no solo para su desarrollo, sino también para la estrategia global de compañía. Por eso, me escucharás hablar sobre cómo la nube puede aportar desde un punto de vista técnico, pero también sobre cómo puede ayudar a la transformación de empresas.
Ver más contenido de Óscar.Andrés Navidad
Aunque empecé mi carrera haciendo back-end en aplicaciones web, siempre me gustaron los conceptos de arquitectura y computación distribuida. Hace 7 años tuve la oportunidad de empezar en el mundo Big Data y ahora me gusta aplicar todos esos conceptos en arquitecturas basadas en nubles públicas. Entusiasta de las nuevas tecnologías, las motos y la gastronomía.
Ver más contenido de Andrés.
Tell us what you think.