I denna sektion kommer vi att utforska hur man ställer in en lokal co-pilot för dina kodningsbehov med hjälp av LM Studio och Olama. Vi kommer att gå igenom stegen för att installera nödvändiga tillägg, konfigurera de lokala servrarna och utnyttja kraften hos Llama3-modeller för att förbättra din kodningsupplevelse.

Först kommer vi att fokusera på att ställa in LM Studio som en API-server för att tillhandahålla Llama3 Instruct Gradient 1 miljon token-versionsmodellen. Vi kommer att vägleda dig genom processen att ladda modellen, skapa en lokal server och integrera den med Code GPT-tillägget i Visual Studio Code.

Nästa steg är att introducera Olama som ett öppenkällkods-alternativ till LM Studio. Vi kommer att visa hur du laddar ner och installerar Olama, startar servern och ansluter Llama3 70 miljarder-modellen till Code GPT-tillägget. Detta ger dig en helt öppenkällkods-lösning för dina lokala co-pilot-behov.

Genom hela sektionen kommer vi att testa möjligheterna hos både LM Studio och Olama genom att ge dem uppmaningar och observera svaren från Llama3-modellerna. Vi kommer också att utforska refaktoreringsfunktionerna hos den större 70 miljarder-modellen och jämföra prestandan med den 8 miljarder-modell som användes tidigare.

Vid slutet av denna sektion kommer du att ha en solid förståelse för hur du ställer in en lokal co-pilot med både LM Studio och Olama, vilket gör att du kan utnyttja kraften hos Llama3-modeller för dina kodningsuppgifter och projekt.

För att använda Llama3 som din co-pilot i VS Code kan du utnyttja LM Studio för att tillhandahålla Llama3-modellerna lokalt. Detta tillvägagångssätt gör att du kan köra modellerna på din egen dator, utan att förlita dig på en extern API som Grok.

Installera först Code GPT-tillägget i VS Code. Följ sedan dessa steg:

1. Ladda ner och kör LM Studio på din dator.
2. Sök efter den Llama3-modell du vill använda, till exempel Llama3 Instruct Gradient 1 miljon token-versionen.
3. Skapa en lokal server i LM Studio för att tillhandahålla den valda Llama3-modellen.
4. I VS Code, se till att välja LM Studio som leverantör i inställningarna för Code GPT-tillägget.

Nu kan du testa integrationen genom att be Llama3-modellen skriva ett Python-program som laddar ner en fil från S3 och lagrar den lokalt. Modellen kommer att kommunicera med LM Studio-servern för att generera svaret.

Hastigheten kanske inte är lika snabb som när du använder Grok-API:et, men detta tillvägagångssätt låter dig köra modellerna lokalt utan att förlita dig på en extern tjänst. Du kan också utforska andra modeller som finns tillgängliga i LM Studio och använda dem som din kodnings-co-pilot i VS Code.

För att använda Olama som din co-pilot inom Code GPT-tillägget, följ dessa steg:

1. Ladda ner och installera Olama från den officiella webbplatsen, olama.com.
2. Starta Olama-servern genom att klicka på Olama-programmet.
3. I Code GPT-tillägget, välj Olama som leverantör.
4. Ange den modell du vill använda, till exempel Llama3 70 miljarder-modellen.
5. För att starta Llama3 70 miljarder-modellservern, öppna en terminal och kör kommandot olama run llama3-70b.
6. När modellen har laddats, kan du börja använda Olama som din co-pilot inom Code GPT-tillägget.

Olama är en helt öppenkällkods-lösning, till skillnad från LM Studio som har vissa proprietära komponenter. Medan LM Studio erbjuder mer flexibilitet när det gäller de modeller du kan använda, ger Olama ett helt öppenkällkods-alternativ.

När du använder Olama måste du manuellt starta modellservern, vilket kan vara lite mer involverat än LM Studio-installationen. Detta tillvägagångssätt ger dig dock full kontroll över den modell du använder och säkerställer att din co-pilot-lösning är helt öppenkällkods.

Kvaliteten på utdata från Olama beror på vilken modell du använder, och Llama3 70 miljarder-modellen bör ge bättre prestanda jämfört med 8 miljarder-modellen. Tänk på att köra en stor modell lokalt kan resultera i långsammare inferenshastigheter jämfört med att använda ett molnbaserat API som Grok.

Sammanfattningsvis är Olama ett bra öppenkällkods-alternativ för att köra din co-pilot lokalt, och det kan vara ett värdefullt verktyg i din utvecklingsarbetsflöde.

I denna video utforskade vi två lokala alternativ till Grok-API:et för att använda Llama3 som en kodnings-co-pilot inom VS Code. Vi ställde först in LM Studio som en API-server för att tillhandahålla Llama3 Instruct Gradient 1 miljon token-modellen. Vi demonstrerade sedan hur man använder denna modell inom Code GPT-tillägget i VS Code, och visade dess förmåga att generera kod och ge refaktoreringssuggestioner.

Därefter tittade vi på att använda Olama som en öppenkällkods-lösning för att köra lokala språkmodeller. Vi gick igenom processen att starta Olama-servern och ansluta Code GPT-tillägget till Llama3 70 miljarder-parametermodellen. Även om prestandan var långsammare jämfört med Grok-API:et, gav den lokala installationen mer kontroll och flexibilitet.

Videon belyste avvägningarna mellan de två tillvägagångssätten, där LM Studio erbjuder ett bredare utbud av modellalternativ men är en sluten källkodslösning, medan Olama tillhandahöll ett öppenkällkods-alternativ med ett mer begränsat modellurval. I slutändan visade båda tillvägagångssätten förmågan att utnyttja kraftfulla språkmodeller för kodningsassistans i en lokal miljö, vilket minskar beroendet av externa API:er.