Tanto SambaNova como Groq ofrecen velocidades de inferencia impresionantes, con la plataforma de SambaNova capaz de más de 1,000 tokens por segundo y la plataforma de Groq alcanzando alrededor de 12,200 tokens por segundo para los mismos mensajes. Si bien Groq mantiene la ventaja en velocidad bruta, el rendimiento de SambaNova sigue siendo notable, especialmente en comparación con otras ofertas en el mercado.

La comparación resalta el rendimiento consistente de ambas plataformas, con resúmenes similares generados para los mismos mensajes. Ambas plataformas pudieron resumir eficazmente un texto extenso de Paul Graham, demostrando su capacidad para manejar contenido de mayor extensión.

En términos de características, Groq ofrece una API gratuita que permite la interacción con múltiples modelos, incluido Lamda 3. SambaNova, por otro lado, se enfoca más en ofertas a nivel empresarial, requiriendo una cuenta de pago para acceder a su API. Sin embargo, SambaNova ofrece modelos de código abierto que los usuarios pueden descargar y experimentar en sus máquinas locales.

Both Groq y SambaNova son empresas líderes en el campo de hardware dedicado para modelos de lenguaje, ofreciendo velocidades de inferencia impresionantes. En esta comparación, enfrentaremos su rendimiento entre sí utilizando el popular modelo Llama 38B.

En primer lugar, probamos un mensaje simple, "¿Qué es la IA generativa?", en ambas plataformas. Groq entregó una respuesta ultrarrápida de aproximadamente 12,200 tokens por segundo, mientras que SambaNova registró un impresionante 1,000 tokens por segundo.

A continuación, probamos un mensaje más complejo, "Redacta un correo electrónico para hacer un seguimiento con un cliente después de una llamada de ventas introductoria". Aquí, Groq mantuvo su ventaja, generando alrededor de 11,100 tokens por segundo, en comparación con los consistentes 1,000 tokens por segundo de SambaNova.

Para poner a prueba realmente los límites de su velocidad de inferencia, utilizamos un texto más largo de 5 páginas de un ensayo de Paul Graham sobre "Cómo hacer un gran trabajo". Ambas plataformas manejaron este desafío de manera admirable, con Groq generando alrededor de 1,200 tokens por segundo y SambaNova manteniendo su ritmo de 1,000 tokens por segundo.

La plataforma de SambaNova no solo ofrece velocidades de inferencia impresionantes, sino que también se jacta de un enfoque único en las capacidades multilingües. Además del modelo Llama 3.8B, la plataforma de SambaNova incluye modelos dedicados para varios idiomas, como SambaNova Lingo para árabe, búlgaro, húngaro y ruso. Este enfoque multilingüe tiene como objetivo crear modelos especializados adaptados a diferentes requisitos de idioma, más allá del único modelo Llama 3.8B compartido por SambaNova y el Colab de Anthropic.

Para probar la velocidad de inferencia real de las plataformas Croc y Samba NOA, el orador utilizó un texto más largo de una de las cartas de Paul Graham, que tenía aproximadamente 5 páginas. El mensaje era resumir el texto.

Al ejecutar el texto más largo a través del modelo Lama 3 de Samba NOA, la plataforma pudo procesarlo a una velocidad de aproximadamente 1,000 tokens por segundo, lo cual el orador consideró impresionante. De manera similar, cuando se ejecutó el mismo texto a través de la plataforma Croc, la velocidad fue de aproximadamente 1,200 tokens por segundo.

El resumen generado por ambas plataformas fue consistente, destacando los puntos clave del texto original. El orador señaló que Croc sigue siendo considerado el estándar de oro para la velocidad de inferencia, pero es genial ver que otras plataformas como Samba NOA también son capaces de generar texto a un ritmo similar.

Tanto Groq como SambaNova ofrecen modelos de lenguaje y velocidades de inferencia impresionantes, brindando a los usuarios opciones convincentes para sus necesidades de IA. La API gratuita de Groq permite a los desarrolladores acceder no solo al modelo Lamda 3, sino también a otros modelos de su línea, incluyendo la capacidad de usar modelos de visión. Esta accesibilidad hace que Groq sea una opción atractiva para aquellos que buscan experimentar e integrar capacidades de IA en sus proyectos.

Por otro lado, el enfoque de SambaNova parece estar más orientado al mercado empresarial. Si bien ofrecen un patio de recreo gratuito para que los usuarios exploren sus modelos, incluidos sus propios modelos exclusivos como SambaLingo, actualmente no proporcionan una API gratuita. Los usuarios interesados en aprovechar la tecnología de SambaNova deberán suscribirse a una cuenta de pago para acceder a su API.

En términos de rendimiento, ambas plataformas han demostrado velocidades de inferencia impresionantes, con el modelo Lamda 3 de SambaNova entregando constantemente alrededor de 1,000 tokens por segundo, mientras que el rendimiento de Groq puede alcanzar hasta 1,200 tokens por segundo. Este nivel de velocidad es notable y muestra los avances en hardware y software de IA.