Tous les projets
D
Data / ETL

Python, Perl, Bash, MySQL, PostgreSQL, ETL pipelines

Scripts Python pour parsing, nettoyage et transformation de donnees structurees et semi-structurees. Pipelines Perl pour migrations MySQL vers PostgreSQL avec mapping de schemas et validation d'integrite. Scripts Bash d'orchestration avec logging, gestion d'erreurs et reprise automatique.

Python Principal
ETL Type
Multi-DB Cibles
Dev Role

Python gere le parsing et la transformation des donnees : lecture de CSV, XML et bases MySQL via des connecteurs specialises, nettoyage avec pandas (deduplication, normalisation de formats, detection d'anomalies), et export vers le format cible. Les scripts sont parametrables pour traiter differentes sources sans modification du code.

Perl intervient specifiquement pour les migrations MySQL vers PostgreSQL, ou le mapping de types de donnees et de syntaxe SQL necessite un traitement textuel fin (regex complexes pour la conversion de schemas, procedures stockees, triggers). Les scripts Bash orchestrent l'ensemble : sequencement des etapes, logging detaille, gestion d'erreurs avec reprise automatique au dernier point de controle.

Architecture technique

Scripts Python pour extraction, transformation et chargement (ETL).

Migrations entre MySQL et PostgreSQL avec validation.

Scripts Perl pour traitement de fichiers texte complexes.

Automatisation Bash pour orchestration des pipelines.

Connecteurs base de donnees pour extraction et chargement.

Points techniques

Python ETL

Extraction et transformation

Perl + Bash

Scripting avance

Multi-DB

MySQL et PostgreSQL

Stack technique

Python
Perl
Bash
MySQL
PostgreSQL
Role Backend Developer
Duree 2019-2020
Engagement Contrats freelance (Tier D)

Un projet technique similaire ?

Brief, repo, ou appel rapide - on s'adapte.