Il modo migliore per ridurre il costo delle applicazioni di modelli di linguaggio su larga scala non è solo attraverso il know-how tecnico, ma anche una profonda comprensione del flusso di lavoro aziendale. Analizzando i bisogni effettivi e i requisiti di dati, è possibile scegliere i modelli più adatti e ottimizzare l'input/output per ridurre notevolmente il costo complessivo.

Ecco le principali tattiche da considerare:

1. Cambiare i modelli: Sfruttare le differenze di costo tra i vari modelli di linguaggio. Ad esempio, GPT-4 costa circa 200 volte di più di Minstrel 7B. Iniziare con un modello potente come GPT-4 per lanciare il prodotto iniziale, quindi utilizzare i dati generati per perfezionare modelli più piccoli come Minstrel o LLaMA per compiti specifici. Questo può comportare oltre il 98% di risparmio sui costi.

2. Cascata di modelli: Implementare una cascata di modelli, utilizzando prima modelli più economici e più piccoli per gestire richieste semplici, e invocare solo i modelli più potenti e costosi come GPT-4 per query complesse. Questo può sfruttare le drammatiche differenze di costo tra i modelli.

3. Routing dei modelli di linguaggio su larga scala: Utilizzare un modello più economico per classificare la complessità della richiesta, quindi indirizzarla al modello specializzato appropriato per l'esecuzione. Questo consente di sfruttare i punti di forza di diversi modelli ottimizzando i costi.

4. Architettura multi-agente: Impostare più agenti con modelli diversi, consentendo ai modelli più economici di gestire le richieste per primi. Salvare i risultati di successo in un database per sfruttarli per future query simili.

5. Ingegneria dei prompt: Ridurre l'input e l'output dei token utilizzando modelli più piccoli per pre-elaborare ed estrarre solo le informazioni rilevanti prima di passarle al modello costoso. Questo può portare a una riduzione del consumo di token da 20 a 175 volte.

6. Ottimizzazione della memoria: Ottimizzare l'utilizzo della memoria dell'agente utilizzando tecniche come il riepilogo della conversazione invece di mantenere la cronologia completa. Questo impedisce che il consumo di token cresca all'infinito.

Combinando queste tecniche, è spesso possibile ottenere una riduzione dei costi dal 30 al 50% per le applicazioni di modelli di linguaggio su larga scala senza sacrificare le prestazioni o l'esperienza dell'utente. Il monitoraggio e l'ottimizzazione continui sono fondamentali per gestire in modo efficace questi costi dinamici.

La chiave per ridurre i costi dei modelli di linguaggio su larga scala (LLM) risiede in due strategie principali: 1) Scegliere il modello giusto per il compito, e 2) Ottimizzare l'input e l'output per ridurre al minimo il consumo di token.

Scegliere il modello giusto

• Confrontare i costi tra modelli potenti come GPT-4 e modelli più piccoli come Mistra 7B. GPT-4 può essere 200 volte più costoso per paragrafo.
• Iniziare con un modello potente come GPT-4 per lanciare il prodotto iniziale, quindi utilizzare i dati generati per perfezionare modelli più piccoli per compiti specifici. Questo può comportare oltre il 98% di risparmio sui costi.
• Esplorare la cascata di modelli, in cui vengono utilizzati prima i modelli più economici e si passa a quelli più costosi solo se necessario. Questo sfrutta le drammatiche differenze di costo tra i modelli.
• Implementare un router di modelli di linguaggio su larga scala in grado di classificare le richieste e indirizzarle al modello più appropriato.

Ottimizzazione dell'input e dell'output

• Utilizzare modelli più piccoli per pre-elaborare e riassumere i dati prima di passarli a LLM costosi. Questa "ingegneria dei prompt" può ridurre il consumo di token di oltre 175 volte.
• Ottimizzare la memoria dell'agente utilizzando tecniche come la memoria di riepilogo della conversazione invece di mantenere l'intera cronologia della chat. Questo impedisce che la memoria cresca all'infinito.
• Monitorare e analizzare i costi utilizzando strumenti come Langchain di Anthropic. Questo consente di identificare i componenti più costosi e di ottimizzarli di conseguenza.

Combinando la selezione dei modelli e l'ottimizzazione dell'input/output, è possibile ottenere riduzioni dei costi LLM dal 50 al 70% senza sacrificare le prestazioni. Il monitoraggio e l'iterazione continui su queste tecniche sono fondamentali per costruire applicazioni AI convenienti.

L'osservabilità è fondamentale per costruire prodotti AI e comprendere i costi associati ai modelli di linguaggio su larga scala. Strumenti come Lantern di Anthropic possono aiutare a monitorare e analizzare dove si verificano i costi nelle tue applicazioni AI.

Ecco un esempio passo-passo di come utilizzare Lantern per ottimizzare i costi di un agente di ricerca:

1. Installare i pacchetti necessari: Installare i pacchetti deta e openai, che includono l'SDK di Lantern.

2. Impostare le variabili d'ambiente: Creare un file .env e definire le variabili d'ambiente richieste, inclusa la chiave di tracciamento di Lantern, l'endpoint di Lantern e la chiave API di OpenAI.

3. Strumentare il codice: Avvolgere le funzioni che si desidera tracciare con il decoratore @traceable della libreria Lantern.

4. Eseguire l'applicazione: Eseguire lo script Python e l'SDK di Lantern inizierà a registrare i dettagli di esecuzione, inclusi il tempo impiegato e il consumo di token per ogni chiamata di funzione.

5. Analizzare la ripartizione dei costi: Nel dashboard di Lantern, è possibile vedere la ripartizione dettagliata del consumo di token per ogni modello di linguaggio su larga scala utilizzato nell'applicazione. Queste informazioni possono aiutare a identificare le aree in cui è possibile ottimizzare i costi.

6. Implementare strategie di risparmio dei costi: Sulla base delle informazioni di Lantern, è possibile implementare varie strategie per ridurre i costi dei modelli di linguaggio su larga scala, come:

   • Passare a un modello meno costoso (ad esempio, GPT-3.5 Turbo invece di GPT-4)
   • Implementare una cascata di modelli o un router per utilizzare il modello più appropriato per ogni compito
   • Ottimizzare i prompt e ridurre l'input di token ai modelli di linguaggio su larga scala

7. Iterare e monitorare: Monitorare continuamente i costi utilizzando Lantern e apportare modifiche all'applicazione per ottimizzare ulteriormente l'utilizzo e i costi dei modelli di linguaggio su larga scala.

Utilizzando strumenti come Lantern, è possibile ottenere visibilità sui costi dei modelli di linguaggio su larga scala nelle tue applicazioni AI e prendere decisioni informate per bilanciare prestazioni e convenienza.

In questo articolo, abbiamo esplorato varie tecniche per ridurre il costo dell'utilizzo dei modelli di linguaggio su larga scala (LLM) nelle applicazioni AI. I punti chiave sono:

1. Selezione dei modelli: Scegliere attentamente il modello giusto per ogni compito, poiché il costo può variare notevolmente tra modelli come GPT-4 e modelli più piccoli come Mistra 7B.

2. Cascata di modelli: Utilizzare una cascata di modelli, iniziando con quelli più economici e passando a quelli più costosi solo se necessario, per ottimizzare i costi.

3. Routing dei modelli: Sfruttare tecniche di routing dei modelli come Hugging GPT di Hugging Face per indirizzare le richieste al modello più appropriato in base alla complessità del compito.

4. Ingegneria dei prompt: Ottimizzare i prompt e gli input inviati agli LLM per ridurre il numero di token consumati, utilizzando tecniche come LLM Lingua di Microsoft.

5. Gestione della memoria dell'agente: Ottimizzare l'utilizzo della memoria dell'agente utilizzando tecniche come la memoria di riepilogo della conversazione invece di mantenere l'intera cronologia della conversazione.

6. Osservabilità e monitoraggio: Utilizzare strumenti come L Smith per monitorare e analizzare la ripartizione dei costi dell'utilizzo di LLM nella tua applicazione, fondamentale per identificare le opportunità di ottimizzazione.

Applicando queste tecniche, è possibile ridurre significativamente i costi degli LLM nelle tue applicazioni AI mantenendo le prestazioni e l'esperienza dell'utente desiderate.