루마 AI는 최근 새로운 비디오 생성 도구인 드림 머신을 출시했습니다. 이 도구는 소어, 비오, 클링, 피카, 런웨이 등의 AI 기반 비디오 제작 플랫폼과 경쟁하는 것을 목표로 합니다. 이 도구는 특정 시나리오에서 유망한 모습을 보이지만, 사용자들이 인지해야 할 몇 가지 제한사항이 있습니다.

드림 머신의 주요 문제 중 하나는 특히 수요가 높은 기간 동안 비디오 생성을 위한 긴 대기 시간입니다. 초기에는 일부 요청이 최대 7시간 동안 처리되기 시작하는 등 상당히 짜증스러웠습니다. 루마는 이후 인프라를 확장했지만, 대기 시간은 여전히 상당합니다.

생성된 비디오의 품질 측면에서 드림 머신은 텍스트-비디오 생성에 어려움을 겪습니다. 트랜스크립트에 제공된 예시에서 보듯이, 도구가 달에 울부짖는 늑대나 롤러스케이트를 탄 원숭이와 같은 요소를 정확하게 묘사하는 데 어려움이 있습니다. 생성된 비디오에는 사지 누락 또는 물체의 잘못된 위치 등의 일관성 문제가 있습니다.

그러나 드림 머신이 두드러지는 부분은 이미지-비디오 기능입니다. 트랜스크립트에는 이에 대한 여러 가지 예시가 나와 있는데, 여기에는 다채로운 미래 도시, 픽셀화된 비디오 게임 늑대 집, 숲 속 오두막 등이 포함됩니다. 이러한 이미지-비디오 변환은 텍스트-비디오 시도보다 더 현실적이고 일관성 있어 보입니다.

드림 머신은 현재 연구 미리보기 단계에 있으며, 사용자는 월 30개의 비디오를 무료로 생성할 수 있습니다. 그 이후에는 비디오당 약 $0.25의 가격 모델이 적용됩니다. 이 도구가 계속 발전함에 따라 루마가 현재의 제한사항을 해결하고 생성된 비디오의 전반적인 품질과 일관성을 개선할 수 있을지 지켜볼 만합니다.

전반적으로 드림 머신은 유망하지만, 특히 텍스트-비디오 생성 부분에서는 현실적인 기대를 가져야 합니다. 이미지-비디오 기능이 현재 이 도구의 더 강력한 측면인 것으로 보입니다.

인기 오픈소스 AI 이미지 생성 모델인 스테이블 디퓨전 3의 최신 버전이 마침내 대중에게 공개되었습니다. 이 새로운 버전이 제공하는 기능을 자세히 살펴보겠습니다.

향상된 텍스트-이미지 기능

스테이블 디퓨전 3의 주요 개선 사항 중 하나는 생성된 이미지에 텍스트를 더 잘 통합할 수 있는 기능입니다. 이 모델은 이제 텍스트 프롬프트를 보다 일관되고 자세한 시각적 표현으로 변환하는 것 같습니다. 제공된 예시에서 볼 수 있듯이, 텍스트 기반 프롬프트가 더 정확하고 시각적으로 매력적인 이미지를 생성합니다.

여전한 프롬프트 엔지니어링 필요

그러나 스테이블 디퓨전 3을 사용하려면 여전히 일정 수준의 프롬프트 엔지니어링이 필요하다는 점에 유의해야 합니다. 모델이 개선되었지만, 사용자는 특히 복잡하거나 자세한 이미지의 경우 더 자세하고 구체적인 프롬프트를 제공해야 할 수 있습니다. 이는 다른 일부 AI 이미지 생성 모델이 보다 간단한 프롬프트로도 높은 품질의 결과를 생성할 수 있는 것과 대조됩니다.

일관되지 않은 품질

생성된 이미지의 품질은 다소 일관되지 않습니다. 모델이 "정글 속 우주 비행사" 예시와 같은 특정 시나리오에서 인상적인 결과를 낼 수 있지만, "롤러스케이트를 탄 원숭이"와 같은 더 단순한 프롬프트에서는 여전히 어려움을 겪습니다. 이는 스테이블 디퓨전 3이 전반적인 이미지 품질과 일관성 측면에서 일부 경쟁 모델 수준에 아직 도달하지 못했음을 시사합니다.

지속적인 발전이 필요

전반적으로 스테이블 디퓨전 3은 AI 이미지 생성 분야에서 한 걸음 앞으로 나아갔지만, 여전히 개선의 여지가 있습니다. 기술이 계속 발전함에 따라 텍스트를 고품질의 일관된 이미지로 변환할 수 있는 모델의 능력이 향상될 것으로 기대됩니다. 스테이블 디퓨전을 개선하고 발전시키려는 커뮤니티의 노력이 이러한 발전에 핵심적일 것입니다.

전적으로 공개하자면, 나는 레오나르도의 자문위원입니다. 하지만 그들은 내가 말하는 내용에 대해 전혀 통제권이 없습니다. 무언가 이상한 점이 있다면 그것을 지적할 것입니다. 그들의 자문위원이 되는 것이 내가 실제로 그들에 대해 말하는 내용에 영향을 미치지 않습니다.

그렇다고 해서, 레오나르도가 새로운 맞춤형 모델인 레오나르도 피닉스를 출시했습니다. 이는 안정 확산의 버전이 아닌 자체 기반 모델입니다. 이 새로운 모델의 주요 기능은 다음과 같습니다:

• 향상된 프롬프트 준수 - 제공된 프롬프트를 더 잘 이해하고 준수할 수 있습니다.
• 이미지 내 일관된 텍스트 - 이미지에 텍스트를 더 자연스럽고 일관되게 통합할 수 있습니다.
• 우수한 이미지 품질 - 생성된 이미지의 품질이 이전 모델보다 높습니다.
• 더 많은 창의적 제어 - 이미지의 창의적 방향에 대한 더 많은 제어권이 있습니다.

그러나 이미지 가이드, 요소, 사실적 버전과 같은 일부 기능은 아직 사용할 수 없습니다. 이러한 추가 기능을 구현하는 작업이 진행 중입니다.

이 모델의 실제 작동 모습을 자세히 살펴보겠습니다. 레오나르도 웹사이트로 이동하여 레오나르도 피닉스 프리셋을 선택하고 "달에 울부짖는 늑대"라는 간단한 프롬프트를 시도해 보겠습니다.

다음은 생성된 이미지들입니다:

[Image 1] [Image 2] [Image 3] [Image 4]

당신 생각은 어떤지 모르겠지만, 이것들은 방금 본 스테이블 디퓨전 3의 결과보다 훨씬 더 인상적입니다. 이 모델이 프롬프트를 이해하고 일관되고 고품질의 이미지를 생성하는 데 훌륭한 성과를 보였습니다.

다른 예를 한 번 더 시도해 보겠습니다 - "Mr eow라고 쓰인 팻말을 들고 있는 펭귄".

[Image 1] [Image 2] [Image 3] [Image 4]

모든 이미지에서 텍스트가 올바르게 표기되어 있고, 팻말을 들고 있는 펭귄의 모습도 꽤 좋습니다. 이 모델이 텍스트 통합을 아주 잘 처리했습니다.

전반적으로 레오나르도 피닉스 모델은 스테이블 디퓨전 3보다 한 단계 발전한 것 같습니다. 두 모델을 모두 사용해 보고 어떤 것이 자신의 needs에 더 잘 맞는지 확인해 보는 것이 좋습니다. 레오나르도 피닉스 모델의 향상된 프롬프트 준수 및 텍스트 통합 기능이 특히 인상적입니다.

AI 기반 음악 창작 플랫폼 Sonno가 최근 사용자의 오디오 녹음을 완성된 노래로 변환할 수 있는 혁신적인 기능을 선보였습니다. 이 기능은 Sonno Premium 구독자들에게 제공되며, 창작자들이 AI의 힘을 활용하여 자신의 음악적 아이디어를 향상시킬 수 있게 해줍니다.

작동 방식은 다음과 같습니다:

1. 오디오 녹음 또는 업로드: 사용자는 Sonno 플랫폼 내에서 직접 오디오를 녹음하거나 기존 오디오 파일을 업로드할 수 있습니다. 이는 간단한 기타 리프, 보컬 멜로디 또는 다른 음악적 스케치일 수 있습니다.

2. 확장 및 향상: 오디오가 업로드되면 사용자는 "확장" 옵션을 선택할 수 있습니다. Sonno의 AI 기반 알고리즘이 입력을 분석하고 추가 악기, 화성, 가사가 포함된 확장된 완성된 노래를 자동으로 생성합니다.

3. 사용자 정의 옵션: 사용자는 장르(예: 어쿠스틱 팝, 일렉트로닉 등), 비트 포함 여부, 무작위 가사 생성 등의 매개변수를 조정하여 생성된 노래를 더 세부적으로 조정할 수 있습니다.

결과는 종종 놀랍도록 인상적이며, Sonno의 AI가 사용자의 원래 오디오와 자체 음악 작곡을 매끄럽게 결합합니다. 생성된 노래는 사용자의 입력 본질을 유지하면서도 전문적인 수준으로 향상됩니다.

이 기능은 음악가, 작사가, 취미 사용자 등에게 새로운 창의적 가능성을 열어줍니다. 사용자는 다양한 아이디어를 실험하고, 스케치를 빠르게 완성된 작품으로 전환하며, AI와 협력하여 자신의 음악적 비전을 실현할 수 있습니다.

Sonno가 기능을 계속 개선하고 확장함에 따라 이 오디오 확장 기능은 현대 음악 창작자들의 필수 도구가 될 것으로 보입니다. 사용자의 아이디어를 완성된 노래로 변환할 수 있게 해줌으로써 Sonno는 음악 제작 및 작곡 방식을 재정의하고 있습니다.

애플은 최근 WWDC 행사에서 AI 기능을 자사의 전체 기기 및 서비스 생태계에 통합하는 등 AI에 큰 힘을 실었습니다. 주요 하이라이트는