OpenAI의 최근 GPT-4 Omni 출시는 실시간으로 오디오, 비전, 텍스트를 처리할 수 있는 강력한 모델을 소개했습니다. 이 새로운 모델은 다음과 같은 인상적인 기능을 제공합니다:

• 다중 모달 상호 작용: GPT-4 Omni는 텍스트, 오디오, 이미지, 비디오 형태의 입력을 받아들이고 이러한 모달리티의 조합으로 출력을 생성할 수 있습니다. 이를 통해 더 자연스러운 인간-컴퓨터 상호 작용이 가능합니다.

• 신속한 대응: 이 모델은 평균 232밀리초 만에 오디오 입력에 응답할 수 있어 인간 대화 속도와 맞춥니다.

• 향상된 성능: GPT-4 Omni는 텍스트 평가, 오디오 ASR, 오디오 번역 등 다양한 벤치마크에서 이전 모델을 능가합니다.

• 비용 효율성: 새로운 모델은 이전 GPT-4 Turbo 모델보다 50% 저렴해 API 사용자들에게 더 접근성이 높습니다. ChatGPT의 무료 버전이 이제 GPT-4 Omni를 사용하여 더 많은 사용자들이 그 기능을 활용할 수 있습니다.

GPT-4 Omni 발표는 이전 모델들에 비해 가격 및 비용 효율성이 크게 향상되었음을 보여줍니다. 주요 내용은 다음과 같습니다:

• 입력 비용이 1,000토큰당 $0.01에서 $0.005로 하락했습니다.
• 출력 비용이 1,000토큰당 $0.03에서 $0.015로 낮아졌습니다.
• 비전 처리 가격도 크게 낮아져 GPT-4 Omni의 전반적인 사용 비용이 더 저렴해졌습니다.
• GPT-3.5 Turbo 대비 50% 가격 인하로 개발자와 사용자들에게 더 접근성이 높습니다.
• ChatGPT의 무료 버전이 GPT-4 Omni 모델을 사용하여 향상된 기능과 성능을 무료로 제공합니다.
• 이러한 가격 변화로 인해 이전 GPT-4 Turbo 모델을 사용할 이유가 거의 없어졌습니다.

OpenAI는 GPT-4 Omni 모델을 다양한 벤치마크 테스트를 통해 성능을 평가했습니다. 이 모델은 GPT-4 Turbo, 원래의 GPT-4, Claude 3, Opus Gemini Pro 1.5, Gemini 1.0, LLaMA 3 등 다른 언어 모델과 비교되었습니다.

결과에 따르면 GPT-4 Omni는 다음과 같은 테스트 범주에서 거의 모든 다른 모델을 능가합니다:

• 텍스트 평가: GPT-4 Omni가 가장 높은 점수를 받았습니다.
• 오디오 ASR(자동 음성 인식): GPT-4 Omni가 이전 Whisper 버전 3 모델보다 오류율이 낮습니다.
• 오디오 번역: GPT-4 Omni가 다른 모든 모델을 능가했습니다.
• M3 Exam Zero-Shot: GPT-4 Omni가 원래의 GPT-4 모델을 능가했습니다.
• 비전 이해 평가: GPT-4 Omni가 각 테스트에서 가장 높은 점수를 받았습니다.

이 기사는 GPT-4 Omni의 비용 효율성이 향상된 이유 중 하나가 언어 토큰화 기능 개선 덕분이라고 설명합니다. 영어의 경우 토큰 수가 1.1배 줄어들었지만, 수십만 단어에 걸쳐 적용되면 상당한 비용 절감이 가능합니다.

이 기사에 따르면 이전에 27개 토큰이 필요했던 문장이 이제 24개 토큰으로 줄었습니다. 이러한 언어 모델링 기능 향상으로 GPT-4 Omni가 토큰 사용에 더 효율적이어서 이전 모델 대비 50% 비용 절감이 가능해졌습니다.

이 향상된 언어 모델링 기능은 대량의 텍스트를 처리하는 애플리케이션에서 GPT-4 Omni를 더 비용 효율적인 선택으로 만드는 핵심 요인이라고 기사는 제안합니다.

OpenAI는 GPT-4 Omni를 포함한 모든 AI 모델의 안전성과 한계에 매우 주목하고 있습니다. 이 기사는 모델이 여전히 대화 흐름을 간헐적으로 방해하고 사용자가 말하기를 마쳤다고 수동으로 알려줘야 한다는 한계가 있다고 지적합니다. 이는 GPT-4 Omni의 향상된 응답 속도에도 불구하고 지속되는 문제입니다.

또한 이 기사는 모델에 잠재적 오용이나 유해한 출력을 해결하기 위한 내장 안전 기능과 제한 사항이 있다고 언급하지만, 이러한 안전 조치의 구체적인 내용은 제공하지 않습니다.

전반적으로 GPT-4 Omni는 OpenAI의 언어 모델에 큰 진전을 이루었지만, 회사는 기술의 잠재적 위험과 한계에 대해 여전히 주의 깊게 모니터링하고 있습니다. 더 광범위하게 배포되면서 모델의 안전 기능 개선이 지속적인 우선 과제가 될 것 같습니다.

OpenAI의 최신 flagship 모델 GPT-4 Omni가 이제 널리 사용 가능해졌습니다. 주요 내용은 다음과 같습니다:

• GPT-4 Omni 텍스트 및 이미지 모델이 ChatGPT의 무료 티어에 통합되어 모든 사용자가 이용할 수 있습니다.
• ChatGPT 무료 티어의 메시지 제한이 5배 늘어나 훨씬 더 접근성이 높아졌습니다.
• 향후 몇 주 내에 GPT-4 Omni 통합 음성 모드 새 버전이 출시될 예정입니다.
• GPT-4 Omni는 OpenAI API를 통해 단독 텍스트 및 비전 모델로 제공되며, 이전 GPT-4 Turbo 모델 대비 2배 속도와 절반 가격을 제공합니다.
• OpenAI는 모든 개발자들에게 GPT-4 Omni 모델로 전환할 것을 강력히 권장하고 있습니다.
• GPT-4 Omni의 가격이 크게 인하되어 입력 비용이 1,000토큰당 $0.005, 출력 비용이 $0.015로 다양한 애플리케이션에 더 접근성이 높습니다.

GPT-4 Omni의 핵심 기능 중 하나는 여러 장면에 걸쳐 일관된 캐릭터를 생성할 수 있는 능력입니다. 시각적 입력에 대한 학습을 통해 이 모델은 의상, 액세서리, 자세 등 캐릭터 속성을 유지하며 다양한 시나리오에서 시각적 출력을 생성할 수 있습니다.

제공된 예에서 모델은 '샐리'라는 미소 짓는 우편 배달부 캐릭터를 일관되게 묘사하며, 가방과 유니폼이 다른 장면에서도 동일하게 유지됩니다. 이는 이전 모델들이 텍스트 설명에 의존해야 했던 것에 비해 큰 진전입니다.

GPT-4 Omni의 신속하고 정확한 시각적 출력은 시각적 프롬프트에 신속하게 반응하고 적절한 시각적 응답을 생성할 수 있게 하여 더 자연스럽고 원활한 상호 작용을 가능하게 합니다. 이는 일관된 캐릭터 표현이 필요한 대화형 스토리텔링, 가상 비서, 게임 개발 등의 새로운 활용 사례를 열어줍니다.