Per loro natura, i modelli di linguaggio su larga scala (LLM) hanno alcune limitazioni. Ad esempio, la maggior parte degli LLM non è brava a eseguire calcoli matematici o ad accedere a informazioni aggiornate oltre la data di interruzione della loro formazione. Per affrontare queste limitazioni, gli LLM possono essere dotati della capacità di utilizzare strumenti esterni o eseguire chiamate di funzione per implementare funzionalità specifiche.

Il flusso di chiamata di funzione funziona come segue:

1. Quando viene ricevuta una query dell'utente, l'LLM determina prima se ha bisogno di utilizzare uno strumento esterno o meno.
2. Se l'LLM decide di utilizzare uno strumento, deve selezionare lo strumento appropriato tra le opzioni disponibili in base alla query.
3. L'LLM effettua quindi una chiamata allo strumento selezionato, che potrebbe essere un'API o una funzione esterna.
4. La risposta dello strumento viene quindi restituita all'LLM, che la utilizza insieme alla query iniziale dell'utente per generare la risposta finale.

Per loro natura, i modelli di linguaggio su larga scala (LLM) hanno alcune limitazioni. Ad esempio, la maggior parte degli LLM non è brava a eseguire calcoli matematici o ad accedere a informazioni aggiornate oltre la data di interruzione della loro formazione. Per affrontare queste limitazioni, gli LLM possono essere dotati della capacità di utilizzare strumenti esterni o eseguire chiamate di funzione per implementare funzionalità specifiche.

Il flusso di chiamata di funzione funziona come segue:

1. Determinazione dello strumento: Quando viene ricevuta una query dell'utente, l'LLM valuterà prima se ha bisogno di utilizzare uno strumento esterno per generare una risposta. Se non è necessario alcuno strumento, l'LLM utilizzerà i suoi dati di formazione interni per generare una risposta.

2. Selezione dello strumento: Se l'LLM determina che è necessario uno strumento, selezionerà lo strumento appropriato tra le opzioni disponibili. Ad esempio, se la query richiede un calcolo, l'LLM selezionerà uno strumento calcolatrice; se la query richiede informazioni meteorologiche, l'LLM selezionerà uno strumento di ricerca web.

3. Invocazione dello strumento: Una volta selezionato lo strumento, l'LLM effettuerà una chiamata alla funzione esterna o all'API che implementa la funzionalità dello strumento. I parametri di input per lo strumento sono determinati dallo schema di input dello strumento.

4. Generazione della risposta: La risposta dallo strumento esterno o dalla chiamata di funzione viene quindi restituita all'LLM, che utilizzerà queste informazioni, insieme alla query originale dell'utente, per generare la risposta finale.

Per definire gli strumenti nella famiglia Cloud 3, ci sono due componenti chiave:

1. Descrizione: Si tratta di una descrizione dettagliata dello strumento, che il modello Cloud utilizza per determinare quale strumento utilizzare per una determinata query. La descrizione dovrebbe fornire il più possibile dettagli, incluso ciò che lo strumento fa, quando dovrebbe essere utilizzato, eventuali parametri richiesti e eventuali avvertenze o limitazioni importanti.

2. Implementazione: Si tratta dell'implementazione effettiva dello strumento, che può essere un'API esterna o una funzione. La definizione dello strumento specifica lo schema di input per lo strumento, che determina quali input la query dell'utente deve fornire.

Quando l'utente fornisce una query, il modello Cloud determina prima quale strumento utilizzare in base alle descrizioni degli strumenti. Effettua quindi una chiamata all'implementazione dello strumento corrispondente, passando gli input richiesti. La risposta dello strumento viene quindi reimmessa nel modello Cloud, che genera la risposta finale all'utente.

Alcune best practice per la definizione degli strumenti includono:

• Fornire una descrizione altamente dettagliata, coprendo tutti gli aspetti chiave dello strumento.
• Assicurarsi che il nome dello strumento sia chiaro e descrittivo.
• Definire attentamente lo schema di input per corrispondere alla query dell'utente.
• Considerare l'incatenamento di più strumenti per casi d'uso più complessi.
• Testare accuratamente le definizioni e le implementazioni degli strumenti per assicurarsi che funzionino come previsto.

Quando si definiscono gli strumenti da utilizzare con la famiglia di modelli Anthropic Cloud 3, è importante seguire queste best practice per le descrizioni degli strumenti:

1. Fornire descrizioni dettagliate: Assicurarsi che la descrizione di ciascuno strumento sia altamente dettagliata. Includere informazioni su ciò che lo strumento fa, quando dovrebbe essere utilizzato e come influenza il comportamento dello strumento.

2. Spiegare i parametri: Spiegare chiaramente il significato e l'impatto di ciascun parametro richiesto dallo strumento. Questo aiuta il modello di linguaggio a capire come utilizzare lo strumento in modo efficace.

3. Evidenziare le limitazioni: Menzionare eventuali avvertenze o limitazioni importanti dello strumento, come il tipo di informazioni che non restituisce.

4. Assicurare chiarezza: Assicurarsi che il nome dello strumento sia chiaro e non ambiguo. Il modello di linguaggio utilizzerà la descrizione per determinare quale strumento utilizzare, quindi un nome chiaro e conciso è fondamentale.

5. Dare priorità all'utilità: Concentrarsi sulla fornitura di strumenti che siano genuinamente utili e rilevanti per il compito in questione. Evitare di includere strumenti non necessari o ridondanti.

6. Considerare l'incatenamento degli strumenti: Se il tuo caso d'uso richiede una sequenza di chiamate di strumenti, considera l'utilizzo del modello Opus, che è meglio attrezzato per gestire l'utilizzo serializzato degli strumenti.

7. Testare a fondo: Testare a fondo le definizioni e le implementazioni degli strumenti per assicurarsi che funzionino come previsto e forniscano la funzionalità desiderata.

Per costruire un chatbot per il servizio clienti utilizzando la famiglia di modelli Cloud 3, seguiremo questi passaggi:

1. Installare il pacchetto Anthropic: Inizieremo installando il pacchetto client Python di Anthropic.

2. Impostare la chiave API di Anthropic: Imposteremo la chiave API di Anthropic, necessaria per utilizzare i modelli Cloud 3.

3. Scegliere il modello Cloud 3: Per questo esempio, utilizzeremo il modello CLA 3 Opus, in quanto supporta l'utilizzo e l'incatenamento di strumenti più complessi.

4. Definire gli strumenti lato client: Definiremo tre strumenti per il nostro chatbot per il servizio clienti:

   • Ottieni informazioni sul cliente
   • Ottieni i dettagli dell'ordine
   • Annulla ordine

   Ogni strumento ha una descrizione dettagliata, uno schema di input e un'implementazione attraverso funzioni esterne.

5. Implementare il ciclo principale: Creeremo un ciclo principale che gestisce l'input dell'utente, determina quale strumento utilizzare, chiama la funzione appropriata e reimmette la risposta nel modello di linguaggio per generare l'output finale.

6. Testare il chatbot: Testeremo il chatbot fornendo diverse query degli utenti, come il recupero dell'indirizzo email di un cliente, il controllo dello stato di un ordine e l'annullamento di un ordine.

In questo video, abbiamo esplorato il concetto di chiamata di funzione e utilizzo di strumenti esterni con la famiglia di modelli Anthropic Cloud 3. Abbiamo appreso i seguenti punti chiave:

1. Motivazione per la chiamata di funzione: Gli LLM hanno alcune limitazioni, come l'incapacità di eseguire calcoli complessi o accedere a informazioni aggiornate. La chiamata di funzione consente all'LLM di sfruttare strumenti e API esterni per superare queste limitazioni.

2. Flusso di chiamata di funzione: L'LLM determina prima se ha bisogno di utilizzare uno strumento esterno, quindi seleziona lo strumento appropriato in base alle descrizioni fornite, e infine effettua una chiamata all'implementazione dello strumento per ottenere le informazioni necessarie.

3. Definizione degli strumenti: Gli strumenti sono definiti con un nome, una descrizione dettagliata e uno schema di input. La descrizione è fondamentale in quanto aiuta l'LLM a decidere quale strumento utilizzare.

4. Best practice: Fornire descrizioni chiare e complete per gli strumenti, inclusi dettagli sulla loro funzionalità, parametri e limitazioni. Ciò garantisce che l'LLM possa prendere decisioni informate su quale strumento utilizzare.

5. Esempio di implementazione: Abbiamo percorso un esempio di costruzione di un chatbot per il servizio clienti utilizzando i modelli Anthropic Cloud 3 e gli strumenti lato client. L'esempio ha dimostrato come definire gli strumenti, implementarne la funzionalità e integrarli nel processo decisionale dell'LLM.

6. Confronto tra Opus e Haiku: Sebbene sia Opus che Haiku possano essere utilizzati per la chiamata di funzione, Opus è più adatto per scenari più complessi che comportano l'utilizzo serializzato o incatenato degli strumenti.