ZENITH INFOTEK LLC
Ingeniero de DataStage
Tiempo completo • Fully Remote - US
Solo candidatos a visado independiente
Resumen del puesto
Resumen del puesto
Buscamos un ingeniero experimentado en Validación de Migración y Pruebas ETL de DataStage para apoyar la migración de cargas de trabajo heredadas de IBM InfoSphere DataStage a la plataforma Databricks. El candidato ideal poseerá una sólida experiencia en arquitectura DataStage, validación ETL, pruebas automatizadas, SQL y Python, con la capacidad de analizar lógica ETL heredada y validar implementaciones equivalentes de PySpark. Este puesto es fundamental para garantizar la integridad de los datos, la precisión y la migración exitosa a plataformas de datos modernas basadas en la nube.
Responsabilidades clave
- Analizar e interpretar trabajos, secuencias y flujos de trabajo complejos de IBM InfoSphere DataStage Parallel y Server.
- Traduce la lógica de negocio de ETL heredada en documentación funcional detallada para el equipo de desarrollo de PySpark.
- Diseñar, desarrollar y ejecutar marcos de pruebas automatizados para la validación de migraciones ETL a gran escala.
- Realizar una conciliación integral de datos entre los entornos DataStage y Databricks.
- Desarrollar scripts de validación automatizados para verificar:
- Esquemas de datos
- Recuento de filas
- Calidad de los datos
- Transformaciones de reglas de negocio
- Procesamiento ETL de extremo a extremo
- Ejecutar pruebas de regresión en pipelines PySpark migrados utilizando conjuntos de datos históricos de producción.
- Identificar, analizar y resolver discrepancias de datos durante las pruebas de migración.
- Métricas de validación de documentos, resultados de pruebas y KPIs de migración.
- Colaborar con ingenieros de datos, arquitectos, equipos de QA y partes interesadas del negocio para garantizar la calidad de la migración.
- Proporcionar la validación formal de la migración antes del corte de producción.
Habilidades requeridas
- Sólida experiencia con IBM InfoSphere DataStage (Trabajos Paralelos, Trabajos de Servidor, Secuencias).
- Experiencia analizando flujos de trabajo ETL heredados y metadatos operativos.
- Experiencia en pruebas ETL y metodologías de validación de datos.
- Sólidas habilidades SQL para análisis y conciliación de datos complejos.
- Dominio de Python para automatización y scripting de validación.
- Experiencia con análisis XML y JSON.
- Conocimiento de marcos de pruebas automatizadas como:
- PyTest
- Grandes Expectativas
- Otras herramientas de ETL/Validación de Datos
- Experiencia realizando pruebas de regresión y conciliación para migraciones de datos empresariales.
Habilidades preferidas
- Exposición a Databricks y PySpark.
- Experiencia trabajando con plataformas modernas de data warehouse en la nube.
- Conocimiento de las mejores prácticas de migración de datos y de iniciativas de modernización de la nube.
- Familiaridad con metodologías de desarrollo ágiles y procesos CI/CD.
Cualificaciones
- Licenciatura en Informática, Tecnología de la Información, Ingeniería o un campo relacionado.
- 5+ años de experiencia en desarrollo, pruebas o proyectos de migración de datos ETL.
- Se prefiere mucho más experiencia previa apoyando iniciativas de modernización de DataStage a escala empresarial.
Encantado de tener
- Experiencia con la arquitectura de Delta Lake o Lakehouse.
- Conocimiento de plataformas en la nube como Azure, AWS o GCP.
- Experiencia con marcos de calidad de datos y herramientas automatizadas de conciliación.
- Comprensión de las prácticas de DevOps y automatización de pruebas.
Este es un puesto remoto.
Compensación: 120,00 $ - 140,00 $ al año