En hållbar och effektiv data pipeline för över 200 000 produkter

FoodFacts är ett företag som, med hjälp av AI och algoritmer, använder intelligent matdata för att hjälpa företag och industrier mot ett hälsosammare och mer hållbart matsystem. De identifierade en avgörande svårighet: att få tillgång till omfattande och korrekt matdata. Därför skapade FoodFacts en plattform som tillhandahöll tillgänglig, handlingsbar och förståelig matinformation. Altostruct hjälpte FoodFacts att skapa en robust och skalbar lösning genom att bygga en pålitlig och skalbar data pipeline.

Foodfacts insåg det kritiska behovet av att effektivt uppdatera och underhålla stora mängder produktdata från externa API, nämligen 200 000+ produkter. Att säkerställa datans noggrannhet och minska latens var av största vikt för att leverera värdefull information till deras användare. Men att hantera processerna för datahämtning, strukturering, bearbetning och uppdatering utgjorde en betydande utmaning. En effektiv datapipeline behövds för att minska risken för fel och öka noggrannheten vid datahämtning.

Altostruct tog fram en lösning för att optimera datastrategin. Denna strategi kretsade kring två nyckeltjänster hos AWS som tillåter effektiv hämtning, bearbetning och uppdatering av Foodfacts produktdata:

• AWS Lambda

• Simple Queue Service (SQS)

Varje steg i datapipelines hämtning utformades som separata Lambda-funktioner, med SQS-köer som mellanhänder mellan dem. Denna arkitektur var avsiktligt designad för att vara löst kopplad, vilket innebär att ett fel i en del av pipelinen endast skulle påverka den specifika komponenten, medan resten av systemet förblir opåverkat. Vid ett fel dirigerades de problematiska posterna till en Dead Letter Queue (DLQ), där de senare kunde bearbetas och analyseras. Detta tillvägagångssätt säkerställde att Foodfacts konsekvent kunde förse sina användare med den mest aktuella och exakta matdatan tillgänglig.

Implementeringen av AWS Lambda och SQS har lagt en stabil grund för Foodfacts datastrategi. Den är löst kopplad vilket ökar dess flexibilitet och tillförlitlighet.

När Foodfacts fortsätter att utvecklas och växa, fungerar denna optimerade datastrategi som en solid grund för att leverera uppdaterad matinformation till sina användare, vilket skapar mer värde för både deras verksamhet och deras kunder.