Reto
Los datos de campañas de Facebook, Instagram, TikTok y Snapchat estaban dispersos, tres equipos reimplementaban de forma recurrente la misma ingesta y el equipo de Data existente, dedicado a computer vision para el etiquetado de feeds, operaba de forma aislada.
Qué lideré
- Promoví ante dirección la creación de un Data Guild: un equipo de cuatro personas que integró al equipo de Data existente.
- Construí un data lake con Airflow y Snowflake que centralizó los datos de campaña de las cuatro plataformas. La elección de Snowflake correspondió a otros responsables; el diseño y la implementación de los pipelines, a mí.
- Decidí migrar el proyecto UGC de Vert.x a Spring Boot por su simplicidad y mejor documentación.
- Con un equipo de cinco personas y un modelo de trabajo propio de startup.
Impacto
- Tres equipos dejaron de duplicar la ingesta y pasaron a operar sobre una fuente única.
- Base de Ads Composer, producto que ofrece métricas al cliente e identifica los segmentos óptimos de inversión.
- Mayor velocidad y fiabilidad en la entrega de los proyectos de datos.