Dat RAG voor een productiviteitsboost zorgt moest ik je niet vertellen. Wat Leuk dat Nestlé hier een prachtige case over kwam brengen. Ze startten initieel met een eenvoudige RAG, om te bewijzen dat het kon werken. Al snel schakelden ze over naar multi agent RAG. Ze bouwen daar hun RAG met Langchain en op Azure AI search.
Belang van metadata
Wat wij al wisten werd door hen ook nog eens bevestigd. Het is super belangrijk te bepalen welke metadata je mee in elke chunk steekt (dit is iets wat we in Drupal met de search_api connector mooi in een interface kunnen doen). Dit is key voor het success van de "zoek".
Inpluggen van andere tools
Wat ze bij OpenAI Function calling noemen, noemen ze bij Nestlé "AI connectors".
Schaalbaar
Ze schaalden al snel van 100.000 naar 200.000 gebruikers.
Man In the Middle
Dit is normaal de naam van een hacking aanval. Ze ontwikkelden zelf ook een Man in the middle. Een soort cookiemelding voor dat hun AI naar buitenaf communiceerd:
"Wil je deze vraag, of de informatie uit dit gesprek echt delen met het internet?".
Erg cool, want ik had een vergelijkbare implementatie gezien op vragen.ai. Mijn persoonlijke voorspelling: we gaan dit meer en meer zien, dit zal zo'n beetje de cookimelding van de AI worden.
Kwaliteitscontrole
Leuk ook om te horen dat ze echt aan kwaliteitscontrole moeten doen, want bij de switch van een model willen ze niet alles opnieuw moeten testen.