Grote taalmodellen zoals GPT-4 excelleren in systeem 1 denken - de snelle, intuïtieve en automatische cognitieve processen. Ze worstelen echter vaak met systeem 2 denken, waarbij langzamer, meer doelbewust en analytisch redeneren betrokken is. Deze beperking blijkt uit hun onvermogen om effectief complexe problemen op te lossen die vereisen dat de taak in stappen wordt opgedeeld, verschillende opties worden verkend en de oplossingen worden geëvalueerd.

Het kernprobleem is dat grote taalmodellen voornamelijk vertrouwen op patroonherkenning en statistische voorspelling, zonder het vermogen om de onderliggende concepten echt te begrijpen of door het probleemoplossingsproces te redeneren. Ze kunnen schijnbaar redelijke antwoorden geven op eenvoudige vragen, maar wanneer ze worden geconfronteerd met complexere taken, slagen ze er vaak niet in de nuances te herkennen en de noodzakelijke logische afleidingen te maken.

Deze beperking wordt geïllustreerd in de voorbeelden die zijn gegeven, waarbij de studenten en het grote taalmodel moeite hadden met het oplossen van ogenschijnlijk eenvoudige problemen omdat ze vertrouwden op hun intuïtieve, systeem 1 denken in plaats van zich in te zetten voor het meer inspannende, systeem 2 denken dat nodig is om tot de juiste oplossingen te komen.

Er zijn verschillende prompt engineering-strategieën die kunnen worden gebruikt om systeem 2 denken af te dwingen in grote taalmodellen:

1. Chain of Thought Prompting: Dit is een eenvoudige en veel gebruikte methode waarbij een "Stap-voor-stap redeneren" -prompt wordt ingevoegd voordat het model de output genereert. Dit dwingt het model om het probleem in kleinere stappen op te delen en daar stap voor stap doorheen te denken.

2. Voorbeeld-gebaseerd prompting: In plaats van alleen de "Stap-voor-stap redeneren" -prompt te geven, kunt u het model enkele korte voorbeelden geven van hoe je het probleem kunt benaderen. Dit helpt het model het type stap-voor-stap denken te begrijpen dat vereist is.

3. Zelfconsistentie met Chain of Thought: Deze methode laat het model het chain of thought-proces meerdere keren uitvoeren, de antwoorden beoordelen en stemmen op de meest redelijke. Hierdoor worden verschillende opties verkend voordat het uiteindelijke antwoord wordt gegeven.

4. Tree of Thought: Dit is een van de meest geavanceerde prompt engineering-tactieken. Het laat het model meerdere manieren bedenken om het probleem op te lossen, de verschillende takken verkennen en de onderzochte paden bijhouden. Dit vergroot aanzienlijk het aantal opties dat het model overweegt.

Hoewel grote taalmodellen zoals GPT-4 indrukwekkende vooruitgang hebben geboekt, worstelen ze nog steeds met complexe, meerstaps redeneerprocessen die "systeem 2" denken vereisen. Om dit aan te pakken, kunnen we de kracht van communicatieve agenten benutten - een multi-agent setup waarbij verschillende agenten samenwerken om problemen op te lossen.

De belangrijkste voordelen van deze aanpak zijn:

1. Verdeel en heers: Door specifieke rollen en verantwoordelijkheden toe te wijzen aan verschillende agenten (bijvoorbeeld een probleemoplosser, een beoordelaar, een onderzoeker), kunnen we complexe problemen opdelen in meer behapbare deeltaken.

2. Reflectief denken: De interactie tussen agenten maakt een feedbackloop mogelijk, waarbij de beoordelaar tekortkomingen in de aanpak van de probleemoplosser kan identificeren en hem kan aansporen om zijn oplossing opnieuw te evalueren en te verbeteren.

3. Verkenning van alternatieven: Communicatieve agenten kunnen meerdere oplossingsroutes parallel verkennen, in plaats van beperkt te zijn tot één lineaire aanpak.

In dit gedeelte lopen we door een praktisch voorbeeld van het gebruik van een multi-agent systeem om een complexe logische puzzel op te lossen waar zelfs GPT-4 moeite mee heeft.

De taak is als volgt:

Er zijn vier dieren - een leeuw, een zebra, een giraffe en een olifant. Ze bevinden zich in vier verschillende huizen met verschillende kleuren - rood, blauw, groen en geel. Het doel is om te bepalen welk dier in welk gekleurd huis zit, op basis van de volgende aanwijzingen:

1. De leeuw zit of in het eerste of in het laatste huis.
2. Het groene huis ligt direct rechts van het rode huis.
3. De zebra zit in het derde huis.
4. Het groene huis grenst aan het blauwe huis.
5. De olifant zit in het rode huis.

Dit probleem is vrij uitdagend, omdat het zorgvuldig overwegen van elke aanwijzing en het afleiden van de uiteindelijke opstelling vereist. Laten we zien hoe we een multi-agent systeem kunnen gebruiken om dit probleem op te lossen.

Eerst richten we twee agenten in in de AutoGen Studio - een Probleemoplosser en een Beoordelaar. De rol van de Probleemoplosser is om te proberen de taak op te lossen, terwijl de Beoordelaar de oplossing evalueert en feedback geeft.

De Probleemoplosser genereert een eerste oplossing, die de Beoordelaar vervolgens beoordeelt. De Beoordelaar identificeert gebreken in de oplossing en geeft feedback aan de Probleemoplosser. De Probleemoplosser herziet vervolgens de oplossing op basis van de feedback van de Beoordelaar, en dit proces gaat door totdat de Beoordelaar tevreden is met het uiteindelijke antwoord.

Door dit iteratieve proces kunnen de multi-agent systemen verschillende opties verkennen, fouten identificeren en corrigeren, en uiteindelijk tot de juiste oplossing komen. Deze aanpak is veel effectiever dan het vertrouwen op één enkel model, omdat het meer grondige probleemoplossing en zelfreflectie mogelijk maakt.