Det bästa sättet att minska kostnaderna för stora språkmodellsapplikationer är inte bara genom tekniskt kunnande, utan också en djup förståelse för affärsarbetsflödet. Genom att analysera de faktiska behoven och datakraven kan du välja de mest lämpliga modellerna och optimera in- och utdata för att avsevärt minska de totala kostnaderna.

Här är de viktigaste taktikerna att överväga:

1. Byt modeller: Utnyttja kostnadsskillnaderna mellan olika språkmodeller. Till exempel är GPT-4 cirka 200 gånger dyrare än Minstrel 7B. Börja med en kraftfull modell som GPT-4 för att lansera din första produkt, och använd sedan de genererade data för att finjustera mindre modeller som Minstrel eller LLaMA för specifika uppgifter. Detta kan ge över 98 % i kostnadsbesparingar.

2. Modellkaskad: Implementera en kaskad av modeller, där billigare och mindre modeller används först för att hantera enkla förfrågningar, och endast de dyrare och kraftfullare modellerna som GPT-4 används för komplexa frågor. Detta kan utnyttja de dramatiska kostnadsskillnaderna mellan modellerna.

3. Dirigering av stora språkmodeller: Använd en billigare modell för att klassificera förfrågningens komplexitet, och dirigera den sedan till den lämpliga specialiserade modellen för utförande. Detta gör att du kan utnyttja olika modellers styrkor samtidigt som du optimerar kostnaderna.

4. Multiagentarkitektur: Ställ in flera agenter med olika modeller, där billigare modeller får hantera förfrågningar först. Spara framgångsrika resultat i en databas för att utnyttja dem för framtida liknande förfrågningar.

5. Promptoptimering: Minska token-inmatningen och -utmatningen genom att använda mindre modeller för att förbearbeta och extrahera endast relevant information innan den skickas till den dyra modellen. Detta kan leda till en 20-175 gångers minskning av token-förbrukningen.

6. Minnesoptimering: Optimera agentens minnesanvändning genom att använda tekniker som konversationssammanfattning istället för att behålla den fullständiga historiken. Detta förhindrar att token-förbrukningen växer oändligt.

Genom att kombinera dessa tekniker kan du ofta uppnå 30-50 % kostnadsreduktion för dina stora språkmodellsapplikationer utan att offra prestanda eller användarupplevelse. Kontinuerlig övervakning och optimering är nyckeln till att effektivt hantera dessa dynamiska kostnader.

Nyckel till att minska kostnaderna för stora språkmodeller (LLM) ligger i två huvudstrategier: 1) Välja rätt modell för uppgiften, och 2) Optimera in- och utdata för att minimera token-förbrukning.

Välja rätt modell

• Jämför kostnaderna mellan kraftfulla modeller som GPT-4 och mindre modeller som Mistra 7B. GPT-4 kan vara 200 gånger dyrare per stycke.
• Börja med en kraftfull modell som GPT-4 för att lansera din första produkt, och använd sedan de genererade data för att finjustera mindre modeller för specifika uppgifter. Detta kan ge över 98 % i kostnadsbesparingar.
• Utforska modellkaskader, där billigare modeller används först, och endast eskalera till dyrare modeller om det behövs. Detta utnyttjar de dramatiska kostnadsskillnaderna mellan modellerna.
• Implementera en dirigent för stora språkmodeller som kan klassificera förfrågningar och dirigera dem till den mest lämpliga modellen.

Optimera in- och utdata

• Använd mindre modeller för att förbearbeta och sammanfatta data innan den skickas till dyra LLM. Denna "promptoptimering" kan minska token-förbrukningen med 175 gånger eller mer.
• Optimera agentminnet genom att använda tekniker som konversationssammanfattningsminne istället för att behålla den fullständiga chatthistoriken. Detta förhindrar att minnet växer oändligt.
• Övervaka och analysera kostnader med verktyg som Anthropics Langchain. Detta gör att du kan identifiera de dyraste komponenterna och optimera därefter.

Genom att kombinera modellval och optimering av in- och utdata kan du uppnå 50-70 % minskningar i LLM-kostnader utan att offra prestanda. Kontinuerlig övervakning och iterering av dessa tekniker är nyckeln till att bygga kostnadseffektiva AI-applikationer.

Observerbarhet är avgörande för att bygga AI-produkter och förstå de kostnader som är förknippade med stora språkmodeller. Verktyg som Anthropics Lantern kan hjälpa dig att övervaka och analysera var kostnaderna uppstår i dina AI-applikationer.

Här är ett steg-för-steg-exempel på hur du kan använda Lantern för att optimera kostnaderna för en forskningsagent:

1. Installera nödvändiga paket: Installera paketen deta och openai, som innehåller Lantern-SDK:n.

2. Ställ in miljövariabler: Skapa en .env-fil och definiera de nödvändiga miljövariablerna, inklusive din Lantern-spårningsnyckel, Lantern-slutpunkt och OpenAI-API-nyckel.

3. Instrumentera din kod: Omslut de funktioner du vill spåra med @traceable-dekoratorn från Lantern-biblioteket.

4. Kör din applikation: Kör ditt Python-skript, och Lantern-SDK:n börjar logga körningsdetaljerna, inklusive den tid som tagits och token-förbrukningen för varje funktionsanrop.

5. Analysera kostnadsfördelningen: I Lantern-instrumentpanelen kan du se den detaljerade fördelningen av token-förbrukningen för varje stor språkmodell som används i din applikation. Denna information kan hjälpa dig att identifiera områden där du kan optimera kostnaderna.

6. Implementera kostnadsbesparande strategier: Baserat på Lantern-insikterna kan du implementera olika strategier för att minska kostnaderna för stora språkmodeller, såsom:

   • Byta till en billigare modell (t.ex. GPT-3.5 Turbo istället för GPT-4)
   • Implementera en modellkaskad eller dirigent för att använda den mest lämpliga modellen för varje uppgift
   • Optimera promptsen och minska token-inmatningen till de stora språkmodellerna

7. Iterera och övervaka: Övervaka kontinuerligt kostnaderna med Lantern och gör justeringar i din applikation för att ytterligare optimera användningen och kostnaderna för stora språkmodeller.

Genom att använda verktyg som Lantern kan du få insyn i kostnaderna för stora språkmodeller i dina AI-applikationer och fatta välgrundade beslut för att balansera prestanda och kostnadseffektivitet.