Sia SambaNova che Groq offrono velocità di inferenza impressionanti, con la piattaforma di SambaNova in grado di oltre 1.000 token al secondo e la piattaforma di Groq che raggiunge circa 12.200 token al secondo per gli stessi prompt. Mentre Groq mantiene il vantaggio in termini di velocità grezza, le prestazioni di SambaNova sono comunque notevoli, soprattutto se confrontate con altre offerte presenti sul mercato.

Il confronto evidenzia la coerenza delle prestazioni di entrambe le piattaforme, con riassunti simili generati per gli stessi prompt. Entrambe le piattaforme sono state in grado di riassumere efficacemente un testo lungo di Paul Graham, dimostrando la loro capacità di gestire contenuti di forma più estesa.

In termini di funzionalità, Groq offre un'API gratuita che consente l'interazione con più modelli, incluso Lamda 3. SambaNova, d'altra parte, si concentra maggiormente sulle offerte a livello aziendale, richiedendo un account a pagamento per accedere alla sua API. Tuttavia, SambaNova offre anche modelli open source che gli utenti possono scaricare ed esperimentare sulle loro macchine locali.

Sia Groq che SambaNova sono aziende leader nel campo dell'hardware dedicato per i modelli linguistici, offrendo velocità di inferenza impressionanti. In questo confronto, metteremo a confronto le loro prestazioni utilizzando il popolare modello Llama 38B.

Innanzi tutto, abbiamo testato un prompt semplice, "Cos'è l'AI generativa?", su entrambe le piattaforme. Groq ha fornito una risposta fulminea di circa 12.200 token al secondo, mentre SambaNova ha registrato un ancora impressionante 1.000 token al secondo.

Successivamente, abbiamo provato un prompt più complesso, "Scrivi un'email di follow-up con un cliente dopo una chiamata di vendita introduttiva". Qui, Groq ha mantenuto il suo vantaggio, generando circa 11.100 token al secondo, rispetto ai costanti 1.000 token al secondo di SambaNova.

Per testare davvero i limiti della loro velocità di inferenza, abbiamo utilizzato un testo più lungo, di 5 pagine, da un saggio di Paul Graham su "Come fare un ottimo lavoro". Entrambe le piattaforme hanno affrontato questa sfida in modo ammirevole, con Groq che ha generato circa 1.200 token al secondo e SambaNova che ha mantenuto il suo ritmo di 1.000 token al secondo.

La piattaforma di SambaNova non solo offre velocità di inferenza impressionanti, ma vanta anche un focus unico sulle capacità multilingue. Oltre al modello Llama 3.8B, la piattaforma SambaNova include modelli dedicati per varie lingue, come SambaNova Lingo per arabo, bulgaro, ungherese e russo. Questo approccio multilingue mira a creare modelli specializzati adattati a diverse esigenze linguistiche, andando oltre il singolo modello Llama 3.8B condiviso sia da SambaNova che da Anthropic's Colab.

Sviluppando questi modelli multilingue dedicati, SambaNova si sta posizionando come una piattaforma in grado di soddisfare una vasta gamma di esigenze linguistiche, offrendo potenzialmente prestazioni e accuratezza migliori per le lingue diverse dall'inglese rispetto a un modello più generalizzato. Questo focus sul multilinguismo si allinea con la crescente domanda di soluzioni di IA specifiche per la lingua in un mondo sempre più globalizzato.

Per testare la vera velocità di inferenza delle piattaforme Croc e Samba NOA, il relatore ha utilizzato un testo più lungo da una delle lettere di Paul Graham, di circa 5 pagine. Il prompt era di riassumere il testo.

Quando ha eseguito il testo più lungo attraverso il modello Lama 3 di Samba NOA, la piattaforma è stata in grado di elaborarlo a un ritmo di circa 1.000 token al secondo, il che il relatore ha considerato impressionante. Allo stesso modo, quando lo stesso testo è stato eseguito attraverso la piattaforma Croc, la velocità era di circa 1.200 token al secondo.

Il riassunto generato da entrambe le piattaforme era coerente, evidenziando i punti chiave del testo originale. Il relatore ha notato che Croc è ancora considerato lo standard di riferimento per la velocità di inferenza, ma è positivo vedere che altre piattaforme come Samba NOA sono in grado di generare testo a un ritmo simile.

Il relatore ha anche menzionato che Croc fornisce un'API gratuita che consente l'interazione non solo con Lama 3, ma anche con altri modelli, e recentemente ha aggiunto la possibilità di utilizzare i modelli Vision. D'altra parte, il focus di Samba NOA sembra essere più sui clienti aziendali e gli utenti dovrebbero iscriversi a un account a pagamento per accedere alla loro API, anche se hanno alcuni modelli open source disponibili per l'esperimentazione locale.

Sia Groq che SambaNova offrono modelli linguistici e velocità di inferenza impressionanti, fornendo agli utenti opzioni convincenti per le loro esigenze di IA. L'API gratuita di Groq consente agli sviluppatori di accedere non solo al modello Lamda 3, ma anche ad altri modelli della loro gamma, inclusa la possibilità di utilizzare i modelli Vision. Questa accessibilità rende Groq una scelta attraente per coloro che cercano di sperimentare e integrare le capacità di IA nei loro progetti.

D'altra parte, il focus di SambaNova sembra essere più sul mercato aziendale. Mentre offrono un playground gratuito per gli utenti di esplorare i loro modelli, inclusi i loro modelli proprietari come SambaLingo, non forniscono attualmente un'API gratuita. Gli utenti interessati a sfruttare la tecnologia di SambaNova dovranno iscriversi a un account a pagamento per accedere alla loro API.

In termini di prestazioni, entrambe le piattaforme hanno dimostrato velocità di inferenza impressionanti, con il modello Lamda 3 di SambaNova che consegna costantemente circa 1.000 token al secondo, mentre le prestazioni di Groq possono raggiungere fino a 1.200 token al secondo. Questo livello di velocità è notevole e dimostra i progressi nell'hardware e nel software di IA.

In definitiva, la scelta tra Groq e SambaNova dipenderà dalle esigenze e dai requisiti specifici dell'utente. L'API gratuita di Groq e la selezione più ampia di modelli potrebbero attirare sviluppatori e ricercatori, mentre il focus aziendale di SambaNova potrebbe essere più adatto per organizzazioni di grandi dimensioni con specifiche esigenze aziendali guidate dall'IA.