Hvad betyder Change data capture?
Change data capture, ofte forkortet CDC, er en metode til at opdage og videreføre ændringer i data. I en database kan det være en ny kunde, en rettet leveringsadresse eller en slettet vare. I stedet for at kopiere alle poster hver nat følger integrationen de ændringer, der er sket siden sidst.
CDC er relevant, når en søgefunktion, rapport eller AI-vidensbase skal følge udviklingen i et fagsystem. Det gør dog ikke automatisk alle kopier øjeblikkeligt korrekte. Der kan være forsinkelse, manglende adgang til bestemte ændringer og forskellige regler for, hvordan modtagersystemet fortolker dem.
Fra databaselog til opdateret kopi
En logbaseret CDC-løsning læser databasens registrerede ændringer og sender hændelser videre. Modtageren skal forstå både handlingen og postens identitet: opret, opdater eller slet denne bestemte post. Ofte etableres først et udgangspunkt med en samlet kopi, hvorefter ændringerne anvendes i rækkefølge. Det kritiske er overgangen mellem de to faser. Hvis en adresse ændres midt under første indlæsning, må den hverken forsvinde mellem kørslerne eller blive overskrevet af en ældre værdi. Gem derfor positionen i ændringsstrømmen sammen med den behandlede tilstand.
Mål forskellen mellem kilde og modtager
For en RAG-løsning er det ikke nok at opdatere dokumenttabellen. En ændring kan også kræve nye tekstafsnit, embeddings og oprydning i søgeindekset. En sletning skal nå alle relevante kopier. Aftal, hvor gammel information må være, og mål forsinkelsen fra kildens ændring til den faktisk kan ses i et svar. CDC-historik opbevares normalt ikke uendeligt. Hvis integrationen står stille længere end den tilgængelige historik, kan en ny samlet indlæsning blive nødvendig. Det er en driftsprocedure, som bør være beskrevet før lancering.
Et eksempel fra praksis
Forestil jer en grossist, hvis medarbejdere spørger en intern assistent om aktive produkter. Når ERP-systemet markerer en vare som udgået, sendes ændringen til søgeindekset. Et kontroljob spørger efter netop den vare og bekræfter, at assistenten viser den nye status. Teamet tester også et driftsstop og en sletning. En grøn connectorstatus er ikke tilstrækkelig dokumentation for, at medarbejderne faktisk får opdaterede svar.
Typiske faldgruber
- At behandle oprettelser og opdateringer, men glemme sletninger i afledte indeks.
- At antage, at ændringer altid ankommer én gang og i den ønskede rækkefølge.
- At lade et langt driftsstop overskride historikkens opbevaringsperiode uden alarm.
Det skal I afklare
- Beskriv identitet, versionsrækkefølge og sletteadfærd for hver type post.
- Mål forsinkelse og afstem stikprøver mellem kilden og alle modtagere.
- Afprøv første indlæsning, genoptagelse og en fuld genopbygning med testdata.
Spørgsmål og svar
Er CDC det samme som en webhook?
Nej. En webhook er en måde at sende en hændelse til en modtager på. CDC handler om at registrere dataændringer. En CDC-pipeline kan bruge forskellige transportformer.
Kræver CDC kunstig intelligens?
Nej. Det er integrationsteknik. Den kan dog sikre, at en AI-løsning arbejder med nyere og mere konsistente oplysninger fra virksomhedens systemer.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Debezium: Architecture ↗Logbaseret registrering af databaseændringer og videresendelse til andre systemer.
- Microsoft: What is change data capture? ↗Indsættelser, opdateringer, sletninger og betydningen af opbevaringsperioden.