Luma AI 最近发布了他们的新视频生成工具 Dream Machine,旨在与其他 AI 驱动的视频创作平台如 Soar、Veo、Cling、Pika 和 Runway 竞争。虽然该工具在某些场景中显示出潜力,但它仍然存在一些用户应该了解的局限性。

Dream Machine 的主要问题之一是视频生成的等待时间长,特别是在需求高峰期。在早期,有些请求需要长达 7 小时才能开始处理,这对用户来说可能非常令人沮丧。Luma 已经扩大了他们的基础设施,但等待时间仍然可能很长。

就生成视频的质量而言,Dream Machine 在文本到视频生成方面存在困难。转录中提供的示例显示,该工具难以准确描绘诸如狼在月亮下嚎叫或猴子在轮滑上的元素。生成的视频常常存在不一致性,如缺失肢体或物体位置不正确。

然而,Dream Machine 在图像到视频功能上似乎更加出色。转录展示了几个这方面的示例,包括一个多彩的未来城市、一个像素化的视频游戏狼屋和一个林中小屋。这些图像到视频的转换似乎比文本到视频尝试更加真实和连贯。

值得注意的是,Dream Machine 目前处于研究预览阶段,用户每月可免费生成 30 个视频。之后,定价模式约为每个视频 0.25 美元。随着该工具的不断发展,有趣的是看看 Luma 是否能解决当前的局限性,并提高生成视频的整体质量和一致性。

总的来说,Dream Machine 显示出了前景,但用户应该抱有现实的期望,特别是在文本到视频生成方面。图像到视频功能目前似乎是该工具的更强劲方面。

开源 AI 图像生成模型 Stable Diffusion 的最新版本 Stable Diffusion 3 终于向公众开放。让我们仔细看看这个新版本有什么可以提供的。

文本到图像能力的提升

Stable Diffusion 3 的一个关键改进是它将文本更好地融入生成的图像中。该模型现在似乎更擅长将文本提示转化为连贯且细节丰富的视觉表现。这可以从提供的示例中看出,基于文本的提示产生了更准确和更具视觉吸引力的图像。

仍需要提示工程

然而,值得注意的是,Stable Diffusion 3 仍然需要一定程度的提示工程才能获得最佳结果。虽然该模型有所改进,但用户可能需要提供更详细和具体的提示来获得所需的结果,特别是对于复杂或细节丰富的图像。这与一些其他 AI 图像生成模型形成对比,它们可以用更简单的提示产生高质量的结果。

质量不一致

生成图像的质量也可能存在一定程度的不一致。虽然该模型在某些场景中能够产生令人印象深刻的结果,如"丛林中的宇航员"示例,但它仍然难以处理像"滚轮上的猴子"这样更简单的提示。这表明,Stable Diffusion 3 在整体图像质量和一致性方面可能还没有达到一些竞争对手的水平。

需要持续改进

总的来说,Stable Diffusion 3 代表了 AI 图像生成的一个进步,但仍有改进的空间。随着技术的不断发展,我们可以期待看到该模型将文本转化为高质量、连贯图像的能力进一步提升,而无需进行大量的提示工程。社区不断努力完善和增强 Stable Diffusion 将是推动这些改进的关键。

坦白说,我是 Leonardo 的顾问,但他们对我说的话没有任何控制权。如果有什么不对劲的地方,我会指出来。作为他们的顾问并不影响我对他们的实际评论。

话说回来,Leonardo 刚刚发布了一个名为 Leonardo Phoenix 的新定制模型。这是他们自己的基础模型,而不是 Stable Diffusion 的版本。这个新模型的主要特点有:

• 增强的提示遵循性 - 它能更好地理解和遵循您提供的提示。
• 图像中的连贯文本 - 它能以更自然、连贯的方式将文本融入图像。
• 更优秀的图像质量 - 生成的图像质量高于之前的模型。
• 更多创意控制 - 您对图像的创意方向有更多控制权。

然而,一些功能如图像指导、元素和逼真版本还没有提供。他们仍在努力实现这些额外的功能。

让我们仔细看看这个模型的实际表现。我将访问 Leonardo 网站,选择 Leonardo Phoenix 预设,并尝试一个简单的提示 - "狼在月亮下嚎叫"。

以下是它生成的图像:

[图像 1] [图像 2] [图像 3] [图像 4]

我不知道你怎么看,但这些明显比我刚刚看到的 Stable Diffusion 3 更加出色。该模型似乎很好地理解了提示,并创造出连贯、高质量的图像。

让我们再试一个例子 - "一只企鹅举着一个写着"Mr eow"的牌子"。

[图像 1] [图像 2] [图像 3] [图像 4]

每张图像中的文字都拼写正确,企鹅举着牌子的样子也不错。该模型很好地处理了文本集成。

总的来说,Leonardo Phoenix 模型感觉比 Stable Diffusion 3 更上一层楼。我强烈建议你尝试使用这两种模型,看看哪一种最适合你的需求。Leonardo Phoenix 模型增强的提示遵循性和文本集成能力尤其令人印象深刻。

Sonno,这个基于 AI 的音乐创作平台,最近推出了一项突破性的功能,允许用户将自己的音频录音转化为成熟的歌曲。这种创新功能,可供 Sonno Premium 订阅用户使用,使创作者能够利用 AI 的力量来提升他们的音乐创意。

它的工作原理如下:

1. 录制或上传音频:用户可以直接在 Sonno 平台内录制音频,或上传现有的音频文件。这可以是一个简单的吉他旋律、一个声音旋律,或任何其他音乐片段。

2. 扩展和增强:音频上传后,用户可以选择"扩展"选项。Sonno 的 AI 驱动算法会分析输入,自动生成一首延长且完全制作好的歌曲,包括额外的乐器、和声和歌词。

3. 定制选项:用户可以通过调整参数,如流派(如民谣流行、电子等)、是否包含节拍,以及随机生成歌词等,进一步完善生成的歌曲。

结果通常令人惊讶,Sonno 的 AI 能够将用户的原始音频与自己的音乐创作无缝融合。生成的歌曲保留了用户输入的本质,同时将其提升到专业水平。

这一功能为音乐家、词曲作者和业余爱好者开辟了新的创意可能性。用户可以尝试不同的想法,快速将草图转化为完整的作品,甚至与 AI 合作,实现他们的音乐愿景。

随着 Sonno 不断完善和扩展其功能,这种音频扩展功能有望成为现代音乐创作者不可或缺的工具。通过让用户将原始创意转化为成熟的歌曲,Sonno 正在重新定义音乐制作和创作的方式。

苹果公司在最近的 WWDC 活动上大幅推进了 AI 技术,将 AI 功能集成到其整个设备和服务生态系统中。以下是主要亮点:

iOS、iPadOS 和 macOS 中的 AI

• 苹果正在构建自己的 AI,并将其深度集成到 iOS、iPadOS 和 macOS 中。这包括以下功能:
  • 在 Notes、Mail 等应用程序中进行校对、重写和总结文本
  • 在 Notes 和 Calculator 等应用程序中使用 AI 视觉功能分析图像和手写内容
  • 使用 AI 优先处理和总结电子邮件和通知

Image Playground

• 苹果的新图像生成功能"Image Playground"允许使用 AI 创建插图、动画和草图。
• 它有一个独特的界面,您可以看到 AI 将融合在一起的不同上下文。
• AI 受限于非现实主义风格,以避免制造深度伪造。

GenEmoji

• 用户可以使用 AI 创建自定义表情符号,然后用作反应和贴纸。

Siri 改进

• Siri 现在可以通过键入而不仅仅是语音使用。
• Siri 将利用设备内部和 iCloud 上的 AI,只有在 OpenAI 的 ChatGPT 可以提供更好的答案时才会使用。

Apple Cloud 和 OpenAI 合作

• 苹果正在构建一个安全的"Apple Cloud"来处理敏感的 AI 处理。
• 他们还与 OpenAI 合作,允许 Siri 在适当时候利用 ChatGPT,并获得用户许可。

总的来说,苹果公司正在将 AI 深度集成到其整个产品线中,利用自己的技术以及战略合作伙伴关系。这代表了一个让 AI 成为苹果体验核心部分的重大推动。