Een schaalbaar Azure Data Platform met Python en SQL
Mourad werkt als data engineer bij Creates. Sinds eind 2022 bouwt hij aan slimme, schaalbare dataplatformen met Python, SQL en Azure. Zijn kracht ligt in het combineren van Python, SQL en data orchestration. Bij een klant bouwde hij bijvoorbeeld als developer een nieuw en robuust data warehouse voor bedrijfsdata.
Schaalbaar en veilig in de cloud
Bij deze klant werkte hij aan de vervanging van een prototype dataplatform. Dat systeem kende wat technische beperkingen zoals autorisatie issues, lage flexibiliteit en weinig security. Samen met het team bouwde Mourad een nieuw platform op basis van Azure SQL. “We kozen bewust voor technologie waar de klant zelf al bekend mee was. Alles draait nu in de cloud, verspreid over vier omgevingen – ontwikkel, test, acceptatie en productie – met releases via Azure DevOps Pipelines en versiebeheer in Git.” De nieuwe omgeving is schaalbaar, robuust en stuurt automatisch meldingen bij fouten.
Best practice
Het platform is opgebouwd volgens de beproefde bronze, silver, gold-structuur van Creates. Mourad: “Deze driedeling helpt om ruwe data te scheiden van bewerkte data en eindrapportages. Het maakt het platform logisch en onderhoudbaar.” Alle orchestratieprocessen worden gelogd in aparte tabellen. “Zo kunnen we precies volgen welke stappen zijn uitgevoerd en waar iets eventueel misgaat,” legt Mourad uit.
Tijdens het project zijn ook nieuwe SQL-patterns ontwikkeld om foutafhandeling te verbeteren. “We hebben manieren bedacht om automatisch te signaleren wanneer bronsystemen onverwachte waarden leveren of wanneer views niet correct updaten. Die validaties zijn nu vastgelegd als herbruikbare componenten binnen onze standaardarchitectuur. Dat maakt het beheer eenvoudiger en versnelt de start van nieuwe projecten.”
Lessons learned
Eén van de belangrijkste lessen voor Mourad ligt op het gebied van stakeholdermanagement. “Sommige klanten willen technisch betrokken zijn, en dan is het cruciaal om goed te bepalen wanneer je hen betrekt. Niet bij alles, maar wel bij de juiste fases.” Bij één klant bleek het waardevol om de klant al tijdens de technische testfase in de testomgeving te laten meekijken. “Daar ontdek je vaak al technische onduidelijkheden of verkeerde aannames uit de documentatie. Dat voorkomt verrassingen tijdens de acceptatiefase. Het ‘shift left’-principe werkt echt: eerder testen, eerder bijsturen en uiteindelijk een beter eindresultaat.”
Trots
Mourad is trots op de schaal, stabiliteit en toekomstbestendigheid van het platform. “We hebben een robuust systeem gebouwd dat functioneel beheer zelf kan beheren. Als er iets misgaat, krijgen zij direct een melding en kunnen ze zelf in actie komen. Die verschuiving – van individuele kennis naar gedeeld eigenaarschap – maakt het platform echt sterker.” Als developer leerde hij veel van de samenwerking met een ervaren ontwikkelaar bij de klant. “Zijn feedback hielp me om mijn technische vaardigheden flink aan te scherpen. Het platform werkt, is schaalbaar en klaar voor de toekomst.”
Mourad staat klaar om je te helpen met vragen over Python- en SQL, zoals het slim opzetten van functies, het structureren van klassen of het inrichten van autorisaties in je database. Ook denkt hij graag mee over orchestration en monitoring met tools als Azure Data Factory.