Microsoft Fabric Proof of Concept: lagere kosten en snellere dataloads
Niels werkt als data engineer bij Creates. Al ruim zes jaar helpt hij klanten met het opzetten en verbeteren van Business Intelligence-platformen. Zijn expertise ligt in ETL-processen, datamigraties en de implementatie van moderne data-oplossingen zoals Microsoft Fabric.
Proof of Concept met Microsoft Fabric
Niels werkte onlangs bij een klant aan een Proof of Concept (PoC) voor de migratie van hun Azure SQL Database naar Microsoft Fabric. De aanleiding: de kosten van het bestaande platform liepen op tot meer dan €10.000 per maand en de prestaties namen af. Niels en zijn collega onderzochten of Fabric kon zorgen voor lagere kosten, betere performance en behoud van functionaliteit. Een extra doel was om aan te tonen dat de bestaande OData-koppeling ook in Fabric kon worden gebruikt, met minimaal dezelfde snelheid.
De resultaten waren indrukwekkend. In Fabric kon de maandelijkse kostprijs dalen naar €2000 tot €4000 per maand. Ook bleek een kritische nachtelijke dataload die voorheen vijf uur duurde, nu binnen enkele minuten klaar te zijn. Deze duidelijke winst in snelheid en kosten gaf de klant de bevestiging dat overstappen een juiste keuze zou kunnen zijn.
Kosten verlagen en performance verbeteren met Microsoft Fabric
Bij de aanpak van deze PoC lag de focus op samenwerking en kennisoverdracht. Hun eigen medewerkers richtten zelf hun nieuwe Fabric-omgeving in, onder begeleiding van Niels en zijn team. Door samen te werken in DevOps en de bestaande T-SQL scripts zorgvuldig om te zetten naar Spark SQL, bleef de functionaliteit behouden. Het verschil tussen T-SQL en Spark SQL bleek in de praktijk kleiner dan verwacht, hoewel kleine aanpassingen nodig waren.
Lessons learned
Een belangrijke les: zorg voor een stabiele en vergelijkbare basis in beide omgevingen. Alleen dan kun je prestaties eerlijk vergelijken en betrouwbare conclusies trekken. Daarnaast bleek nauwe betrokkenheid van de klant een groot voordeel. Door samen te ontwikkelen en te testen, ontstond draagvlak en een gedeeld begrip van de mogelijkheden én beperkingen van Microsoft Fabric.
Trends
Niels ziet de opkomst van AI als een belangrijke trend binnen zijn vakgebied. Hij gebruikt AI steeds vaker om nieuwe mogelijkheden te verkennen, bijvoorbeeld bij het leren voor zijn DP-700-examen. AI helpt hem om sneller verschillende oplossingsrichtingen te onderzoeken zonder direct diep in de documentatie te duiken.
Binnen dataplatformprojecten zelf is de inzet van AI nog beperkt, maar Niels verwacht dat dit snel zal veranderen. Hij ziet veel potentie in het automatisch optimaliseren van scripts, het voorspellen van fouten in ETL-processen en het verbeteren van monitoring en alerts. Naarmate AI-oplossingen verder integreren in data-engineering tools, verwacht hij dat dit het werk van data engineers fundamenteel zal veranderen.
Trots
Niels is trots dat ze in korte tijd én kostenverlaging én prestatieverbetering hebben aangetoond. In nog geen twee weken tijd, ondanks een valse start door ziekte, slaagde het team erin om de volledige PoC succesvol af te ronden. Ook het nauwe betrekken van de klant tijdens de uitvoering ziet hij als een belangrijke succesfactor.
Niels kan je helpen met ETL-processen, datamigraties en het opzetten van een Microsoft Fabric-omgeving én met het optimaliseren van dataworkloads voor kosten en performance.