Planning is een cruciaal aspect van agent-gebaseerde systemen, omdat het agenten in staat stelt om na te denken over hun acties, complexe taken op te splitsen in subtaken en een betrouwbaardere en coherentere uitvoering van hun doelstellingen te garanderen. Zoals Harrison Chase benadrukt, zijn de huidige taalmodellen nog niet in staat om dit type planning op eigen houtje betrouwbaar uit te voeren, en moeten ontwikkelaars vaak vertrouwen op externe prompting-strategieën en cognitieve architecturen om planningscapaciteiten af te dwingen.

Eén van de belangrijkste uitdagingen is dat taalmodellen de neiging hebben om op een meer reactieve, "for-loop"-manier te opereren, waarbij ze een reactie genereren, een actie uitvoeren en vervolgens de volgende reactie genereren. Dit kan leiden tot suboptimale besluitvorming en een gebrek aan langetermijnplanning. Technieken als tree-of-thought, reflectie en subgoal-decompositie zijn erop gericht dit aan te pakken door de modellen de mogelijkheid te geven om na te denken over hun acties, vooruit te plannen en complexe taken op te splitsen.

De oplossing op de lange termijn vereist echter mogelijk een fundamentele verschuiving in de onderliggende architectuur van taalmodellen, voorbij de huidige Transformer-gebaseerde modellen naar iets dat planning en redeneren inherent effectiever kan aanpakken. Dit is een actief onderzoeksgebied, waarbij projecten als QAR (Question-Answering Reasoning) en modellen die zijn getraind om "langzaam te denken" veelbelovende resultaten laten zien.

In de tussentijd spelen agent-frameworks zoals Langchain een cruciale rol bij het bieden van de nodige tools en infrastructuur om planningscapaciteiten mogelijk te maken, waardoor ontwikkelaars verschillende modellen kunnen coördineren, ze toegang kunnen geven tot verschillende tools en consistente workflows kunnen ontwerpen. Naarmate het veld van agenten zich verder ontwikkelt, zal het vermogen om effectief te plannen en redeneren een belangrijk aandachtspunt blijven voor zowel onderzoekers als practitioners.

De gebruikerservaring (UX) van agent-applicaties is een gebied waar Harrison bijzonder enthousiast over is. Hij merkt op dat de UX nog niet "spijkervast" is en dat de mens-in-de-lus vaak nog noodzakelijk is vanwege de onbetrouwbaarheid van taalmodellen en de mogelijkheid voor hallucinaties.

Harrison wijst op de UX die is gedemonstreerd in de Anthropic Delphi-demo als een positief voorbeeld, met de mogelijkheid om de verschillende schermen (browser, chatvenster, terminal, code) in één oogopslag te zien. Hij wijst ook op de waarde van het hebben van een "terugspoelen en bewerken"-mogelijkheid, waarmee gebruikers naar een eerdere toestand kunnen terugkeren en aanpassingen kunnen maken, waardoor de betrouwbaarheid en bestuurbaarheid van de agent worden verbeterd.

Bovendien bespreekt Harrison het belang van "flow-engineering" - het expliciet ontwerpen van de workflow en de toestandsmachine waarin de agent opereert. Hij suggereert dat deze flow-engineering sommige beperkingen van de taalmodellen zelf kan compenseren, door de planning en besluitvorming vooraf over te dragen aan de menselijke ingenieurs.

In het algemeen benadrukt Harrison dat de UX van agent-applicaties een cruciaal gebied is dat nog steeds in ontwikkeling is, waarbij een balans moet worden gevonden tussen automatisering en menselijk toezicht om consistentie, betrouwbaarheid en kwaliteit te garanderen. Agent-frameworks zoals Langchain kunnen de nodige tools en mogelijkheden bieden om effectieve agent-gebaseerde applicaties te ontwikkelen.

Agenten zijn krachtige tools die verder gaan dan alleen complexe prompts. Één van de belangrijkste aspecten die agenten zo capabel maakt, is hun vermogen om geheugen, zowel kortetermijn als langetermijn, te benutten.

Kortetermijngeheugen stelt agenten in staat om te leren en zich aan te passen tijdens een gesprek of interactie, voortbouwend op vorige stappen en hun aanpak dienovereenkomstig bij te stellen. Dit maakt een meer dynamische en adaptieve interactie mogelijk, waarbij de agent door de gebruiker kan worden gestuurd en gecorrigeerd.

Langetermijngeheugen is daarentegen cruciaal voor agenten om de kennisbasis van een bedrijf te onderhouden en te benutten. Hierdoor kunnen agenten een diep begrip hebben van de organisatie, haar processen en relevante informatie, waardoor ze effectiever zijn in hun taken. Het beheren van langetermijngeheugen brengt echter ook uitdagingen met zich mee, zoals het bepalen wat er moet worden opgeslagen, wanneer er moet worden vergeten en hoe het geheugen moet worden ontwikkeld naarmate het bedrijf verandert.

Het integreren van zowel kortetermijn- als langetermijngeheugen in agent-frameworks is een actief onderzoeks- en ontwikkelingsgebied. Naarmate deze mogelijkheden blijven verbeteren, zullen agenten steeds betrouwbaarder, gepersonaliseerder en waardevoller worden in bedrijfsomgevingen, waar consistentie en kwaliteit van essentieel belang zijn.

De belangrijkste punten uit de lezing van Harrison Chase over agenten zijn:

1. Agenten zijn meer dan alleen complexe prompts - ze hebben toegang tot verschillende tools, geheugen (kortetermijn en langetermijn) en de mogelijkheid om te plannen en acties te ondernemen.

2. Planning is een cruciaal aspect van agenten, omdat het hen in staat stelt na te denken over de stappen die nodig zijn om een taak uit te voeren. De huidige taalmodellen worstelen echter met betrouwbare planning, wat leidt tot het gebruik van externe prompting-strategieën. De toekomst vereist mogelijk nieuwe architecturen die verder gaan dan alleen transformers om betere planningscapaciteiten mogelijk te maken.

3. De gebruikerservaring (UX) van agent-applicaties is een gebied van enthousiasme. Technieken zoals het toestaan dat gebruikers de acties van de agent kunnen terugspoelen en bewerken, kunnen de betrouwbaarheid verbeteren en gebruikers meer controle geven. Het vinden van een balans tussen mens-in-de-lus en automatisering is een voortdurende uitdaging.

4. Geheugen, zowel kortetermijn als langetermijn, is essentieel voor agenten om te leren en hun interacties te personaliseren. Procedureel geheugen (onthouden hoe iets moet worden gedaan) en gepersonaliseerd geheugen (onthouden van feiten over de gebruiker) zijn belangrijke functies die worden onderzocht.

In het algemeen belicht de lezing de huidige staat en toekomstige potentie van agenten, waarbij de noodzaak voor vooruitgang op het gebied van planning, UX en geheugen wordt benadrukt om agenten betrouwbaarder en nuttiger te maken in real-world toepassingen.