Den nya Grok 1.5 Vision-modellen har visat imponerande prestanda på ett brett spektrum av visuella referensmätningar. Av de sju utvärderade visuella referensmätningarna överträffade Grok befintliga multimodala modeller på tre, inklusive Math Vista, Text Visual Q&A och den nyligen lanserade Real World Q&A-datauppsättningen. Även på de andra referensmätningarna var Groks prestanda mycket nära andra ledande modeller som GPT-4, CLIP, Opus och Gemini Pro.

Exemplen som visas i blogginlägget belyser Groks förmåga att översätta flödesdiagram till fungerande Python-kod, beräkna kaloriinformation från näringsetiketter, generera berättelser baserade på bilder och till och med förstå humorn i memes. Dessa funktioner demonstrerar Groks starka multimodala förståelse, vilket gör att den smidigt kan bearbeta och förstå både visuell och textbaserad information.

Lanseringen av Real World Q&A-datauppsättningen, som innehåller bilder från olika källor, inklusive fordon, utökar ytterligare omfattningen av Groks visuella förståelse. Denna datauppsättning kan användas för att utveckla och utvärdera andra visionbaserade modeller, vilket bidrar till utvecklingen av multimodal AI.

Men även om många av Groks funktioner inte är helt nya, är det imponerande att X-plattformen har lyckats integrera dessa funktionaliteter i en enda modell. När Grok 1.5 Vision-modellen blir tillgänglig för tidiga testare och befintliga Grok-användare kommer det att vara intressant att se hur den presterar i verkliga tillämpningar och hur den jämför sig med andra toppmoderna multimodala modeller.

Gro 1.5 Vision:s imponerande funktioner inkluderar förmågan att generera fungerande Python-kod från bilder av beslutscheman. Den här funktionen gör att användarna enkelt kan tillhandahålla en bild av ett schema, och modellen kan sedan översätta den visuella informationen till körbar Python-kod.

Den nya Gro 1.5 Vision-modellen har visat imponerande förmågor när det gäller att förstå och bearbeta visuell information, inklusive förmågan att extrahera data från näringsetiketter. I ett av exemplen kunde modellen korrekt identifiera kalorierna per skiva och sedan beräkna de totala kalorierna för ett annat antal skivor.

Gro 1.5 Vision, den senaste versionen av X-plattformens multimodala modell, har visat imponerande förmågor när det gäller att förstå och bearbeta visuell information. Modellen kan nu generera berättelser baserade på bilder och till och med känna igen humor i memes.

Den nya Real-World Q&A-datauppsättningen som släppts av X-plattformen är en värdefull resurs för att utveckla och testa visuella modeller. Denna datauppsättning består av cirka 1 700 bilder, inklusive sådana som tagits från fordon, vilket kan användas för att bedöma en modells förmåga att extrahera data och information från verkliga visuella indata.

Kunnandegörandet av Gro 1.5 Vision, den första generationens multimodala modell från X-plattformen, är en imponerande milstolpe inom datorseende och naturlig språkbehandling. Modellens förmåga att förstå och bearbeta visuell information, inklusive diagram, dokument, diagram, skärmbilder och fotografier, är verkligen anmärkningsvärd.