Av sin natur har stora språkmodeller (LLM) vissa begränsningar. Till exempel är de flesta LLM:er inte bra på att utföra matematiska beräkningar eller komma åt uppdaterad information utöver deras träningsgräns. För att hantera dessa begränsningar kan LLM:er ges möjlighet att använda externa verktyg eller utföra funktionsanrop för att implementera specifika funktioner.

Flödet för funktionsanrop fungerar på följande sätt:

1. När en användarfråga tas emot, avgör LLM:en först om den behöver använda ett externt verktyg eller inte.
2. Om LLM:en beslutar att använda ett verktyg, måste den välja rätt verktyg från de tillgängliga alternativen baserat på frågan.
3. LLM:en gör sedan ett anrop till det valda verktyget, vilket kan vara ett API eller en extern funktion.
4. Svaret från verktyget skickas sedan tillbaka till LLM:en, som använder det tillsammans med den ursprungliga användarfrågan för att generera det slutliga svaret.

Denna metod gör det möjligt för LLM:en att utnyttja externa funktioner och resurser för att ge mer omfattande och korrekta svar på användarfrågor.

Av sin natur har stora språkmodeller (LLM) vissa begränsningar. Till exempel är de flesta LLM:er inte bra på att utföra matematiska beräkningar eller komma åt uppdaterad information utöver deras träningsgräns. För att hantera dessa begränsningar kan LLM:er ges möjlighet att använda externa verktyg eller utföra funktionsanrop för att implementera specifika funktioner.

Funktionsanropsflödet fungerar på följande sätt:

1. Verktygsbestämning: När en användarfråga tas emot, kommer LLM:en först att utvärdera om den behöver använda ett externt verktyg för att generera ett svar. Om inget verktyg krävs, kommer LLM:en att använda sina interna träningsdata för att generera ett svar.

2. Verktygsval: Om LLM:en avgör att ett verktyg behövs, kommer den att välja rätt verktyg från de tillgängliga alternativen. Till exempel, om frågan kräver en beräkning, kommer LLM:en att välja ett räkneverksverktyg; om frågan kräver väderinformation, kommer LLM:en att välja ett webbsökningsverktyg.

3. Verktygsanrop: När verktyget har valts, kommer LLM:en att göra ett anrop till den externa funktionen eller API:et som implementerar verktygets funktionalitet. Indataparametrarna för verktyget bestäms av verktygets indatamall.

4. Svarsgenerering: Svaret från det externa verktyget eller funktionsanropet skickas sedan tillbaka till LLM:en, som kommer att använda denna information, tillsammans med den ursprungliga användarfrågan, för att generera ett slutligt svar.

Detta flöde gör det möjligt för LLM:en att utnyttja externa funktioner och resurser för att ge mer omfattande och korrekta svar på användarfrågor.

För att definiera verktyg i Cloud 3-familjen finns det två viktiga komponenter:

1. Beskrivning: Detta är en detaljerad beskrivning av verktyget, som Cloud-modellen använder för att avgöra vilket verktyg som ska användas för en given fråga. Beskrivningen bör ge så mycket information som möjligt, inklusive vad verktyget gör, när det ska användas, eventuella parametrar det kräver och viktiga förbehåll eller begränsningar.

2. Implementation: Detta är den faktiska implementeringen av verktyget, som kan vara ett externt API eller en funktion. Verktygsdefintionen anger verktygets indatamall, vilket avgör vilka indata användaren måste ange i frågan.

När användaren anger en fråga, avgör först Cloud-modellen vilket verktyg som ska användas baserat på verktygens beskrivningar. Den gör sedan ett anrop till motsvarande verktygsimplementation och skickar in de nödvändiga indatorna. Verktygets svar matas sedan tillbaka in i Cloud-modellen, som genererar det slutliga svaret till användaren.

Några bästa praxis för att definiera verktyg inkluderar:

• Ge en mycket detaljerad beskrivning som täcker alla viktiga aspekter av verktyget.
• Se till att verktygsnamnet är tydligt och beskrivande.
• Definiera indatamallen noggrant för att matcha användarens fråga.
• Överväg att kedja ihop flera verktyg för mer komplexa användningsfall.
• Testa verktygsdefintionerna och implementationerna grundligt för att säkerställa att de fungerar som förväntat.

Genom att följa dessa riktlinjer kan du effektivt utnyttja verktygsanvändningsfunktionerna i Cloud 3-familjen för att förbättra dina språkmodellers funktionalitet.

När du definierar verktyg för användning med Anthropic Cloud 3-familjen av modeller, är det viktigt att följa dessa bästa praxis för verktygens beskrivningar:

1. Ge detaljerade beskrivningar: Se till att beskrivningen av varje verktyg är mycket detaljerad. Inkludera information om vad verktyget gör, när det ska användas och hur det påverkar verktygets beteende.

2. Förklara parametrar: Förklara tydligt betydelsen och påverkan av varje parameter som krävs av verktyget. Detta hjälper språkmodellen att förstå hur man använder verktyget effektivt.

3. Lyfta fram begränsningar: Nämn eventuella viktiga förbehåll eller begränsningar för verktyget, såsom typen av information som det inte returnerar.

4. Säkerställ tydlighet: Se till att verktygsnamnet är tydligt och entydigt. Språkmodellen kommer att använda beskrivningen för att avgöra vilket verktyg som ska användas, så ett klart och koncist namn är avgörande.

5. Prioritera användbarhet: Fokusera på att tillhandahålla verktyg som är genuint användbara och relevanta för uppgiften. Undvik att inkludera onödiga eller redundanta verktyg.

6. Överväg verktygskedjor: Om ditt användningsfall kräver en sekvens av verktygsanrop, överväg att använda Opus-modellen, som är bättre lämpad för att hantera serialiserad verktygsanvändning.

7. Testa grundligt: Testa dina verktygsdefintioner och implementationer noggrant för att säkerställa att de fungerar som förväntat och ger önskad funktionalitet.

Genom att följa dessa bästa praxis kan du skapa högkvalitativa verktygsdefintioner som gör det möjligt för Anthropic Cloud 3-modellerna att effektivt utnyttja extern funktionalitet och förbättra sina möjligheter.

För att bygga en kundtjänstchattbot med hjälp av Cloud 3-familjen av modeller, kommer vi att följa dessa steg:

1. Installera Anthropic-paketet: Vi börjar med att installera Anthropics Python-klientpaket.

2. Konfigurera Anthropics API-nyckel: Vi konfigurerar Anthropics API-nyckel, som krävs för att använda Cloud 3-modellerna.

3. Välj Cloud 3-modell: För det här exemplet kommer vi att använda CLA 3 Opus-modellen, eftersom den stöder mer komplexa verktygsanvändning och kedjor.

4. Definiera klientverktyg: Vi definierar tre verktyg för vår kundtjänstchattbot:

   • Hämta kundinfo
   • Hämta orderdetaljer
   • Avbryt order

   Varje verktyg har en detaljerad beskrivning, indatamall och implementation genom externa funktioner.

5. Implementera huvudslinga: Vi skapar en huvudslinga som hanterar användarens indata, avgör vilket verktyg som ska användas, anropar lämplig funktion och matar in svaret tillbaka i språkmodellen för att generera det slutliga utdata.

6. Testa chattboten: Vi testar chattboten genom att ange olika användarfrågor, som att hämta en kunds e-postadress, kontrollera status för en order och avbryta en order.

Genom att följa den här processen kan vi bygga en kundtjänstchattbot som utnyttjar möjligheterna hos Cloud 3-familjen av modeller och förmågan att anropa externa verktyg eller funktioner för att förbättra dess funktionalitet.

I den här videon har vi utforskat konceptet med funktionsanrop och användning av externa verktyg med Anthropic Cloud 3-familjen av modeller. Vi har lärt oss följande nyckelpoänger:

1. Motivation för funktionsanrop: LLM:er har vissa begränsningar, som oförmågan att utföra komplexa beräkningar eller komma åt uppdaterad information. Funktionsanrop gör det möjligt för LLM:en att utnyttja externa verktyg och API:er för att övervinna dessa begränsningar.

2. Funktionsanropsflöde: LLM:en avgör först om den behöver använda ett externt verktyg, väljer sedan lämpligt verktyg baserat på de angivna beskrivningarna och gör slutligen ett anrop till verktygets implementation för att få nödvändig information.

3. Definiera verktyg: Verktyg definieras med ett namn, en detaljerad beskrivning och en indatamall. Beskrivningen är avgörande eftersom den hjälper LLM:en att besluta vilket verktyg som ska användas.

4. Bästa praxis: Ge tydliga och omfattande beskrivningar för verktygen, inklusive detaljer om deras funktionalitet, parametrar och begränsningar. Detta säkerställer att LLM:en kan fatta välgrundade beslut om vilket verktyg som ska användas.

5. Exempelimplementation: Vi gick igenom ett exempel på att bygga en kundtjänstchattbot med hjälp av Anthropics Cloud 3-modeller och klientverktyg. Exemplet visade hur man definierar verktyg, implementerar deras funktionalitet och integrerar dem i LLM:ens beslutsprocess.

6. Jämförelse mellan Opus och Haiku: Även om både Opus och Haiku kan användas för funktionsanrop, är Opus bättre lämpad för mer komplexa scenarier som involverar serialiserad eller kedjad verktygsanvändning.

Genom att förstå dessa koncept kan du effektivt utnyttja kraften i funktionsanrop och användning av externa verktyg för att förbättra möjligheterna hos dina Anthropic Cloud 3-baserade applikationer.