小型高性能模型的时代已经到来。本周,OpenAI发布了GPT-4 Mini,这是一个更小、更快、成本更低的GPT-4版本。GPT-4 Mini的价格为每百万输入令牌15美分,每百万输出令牌60美分,比GPT-3.5 Turbo便宜60%。

GPT-4 Mini在MLU基准测试中得到了82%的分数,目前在LM Cy排行榜上的聊天偏好方面优于GPT-4。它支持API中的文本和视觉输入,未来还将支持文本、图像、视频和音频输入输出。该模型的上下文窗口为128,000个令牌,知识覆盖到2023年10月。

在性能测试中,GPT-4 Mini展现了其速度和能力。它能够快速生成一个Python脚本来输出1到100的数字,创建一个可工作的贪吃蛇游戏,并解决各种逻辑和推理问题。与GPT-4相比,GPT-4 Mini在某些任务中的速度快了三倍。

然而,在涉及视觉的任务中,如分析图像和将Excel文档转换为CSV格式,GPT-4 Mini耗时更长,使用的令牌也明显更多。这表明对于涉及视觉的任务,如果延迟是一个关注点,GPT-4可能是更好的选择。

总的来说,GPT-4 Mini是OpenAI的一个杰出成就,以极低的成本提供了出色的性能。这个模型的速度和成本效率使其成为开发者和企业在不破费的情况下利用大型语言模型的一个引人注目的选择。

我首先测试了GPT-4 Mini生成简单Python脚本的能力。它能够快速准确地输出一个打印1到100数字的脚本。接下来,我让它编写Python版的贪吃蛇游戏,它在5.8秒内就交付了一个可工作的脚本,这比GPT-4快3倍。

然后,我测试了它处理更敏感提示的能力,比如如何破坏一辆汽车。虽然GPT-4 Mini提供了一些信息,但我知道这类内容很快就会被修复,所以我将其标记为失败。

转向更多逻辑和推理类的任务,GPT-4 Mini表现非常出色。它正确解释了衬衫的干燥时间,解决了一个基本的数学问题,甚至准确地统计了我之前回复的单词数。

当面对一个经典的关于房间里杀手的逻辑难题时,GPT-4 Mini提供了一个详细的分步解释,与GPT-4的响应相匹配。

我还测试了它的视觉能力,让它解释一个meme并将Excel屏幕截图转换为CSV格式。虽然GPT-4在视觉任务上更快,但GPT-4 Mini仍然能够成功完成这些任务。

总的来说,我对GPT-4 Mini的能力印象深刻。它在各种任务中表现出色,经常与更大的GPT-4模型的性能相匹配或超越。它以极低的成本提供这种质量水平,这是OpenAI的一个重大成就。

GPT-4 Mini在整个测试过程中展现了出色的推理和逻辑技能。以下是关键亮点:

• 正确解决了输出1到100数字的Python脚本,以及贪吃蛇游戏的实现,展示了其编程能力。
• 为衬衫干燥时间问题提供了合理的解释,认识到干燥时间与衬衫数量无关。
• 准确计算了酒店总费用,包括房间费率、税费和附加费用。
• 正确识别了给定响应中的单词数,优于更大的GPT-4模型。
• 在"杀手问题"场景中进行了逻辑推理,确定了剩余杀手的正确数量。
• 展现了对大理石问题的深入理解,正确推断出大理石的最终位置。

虽然GPT-4 Mini在某些任务上有所挣扎,如"以苹果结尾的10个句子"和基于视觉的图像分析,但它总体上展现了对推理和逻辑思维的扎实掌握。该模型的速度和成本效率使其成为许多重视这些认知能力的应用程序的引人注目的选择。

GPT-4 Mini在呈现的视觉和图像处理任务中展现了出色的性能。以下是关键发现:

• 图像解释:当展示一个对比初创公司与大公司动态的meme时,GPT-4 Mini准确地解释了这个笑话和两个图像所描述的差异。

• 图像到CSV的转换:当给定一个Excel电子表格的屏幕截图时,GPT-4 Mini能够正确地将数据转换为CSV格式,展示了它处理和转换视觉信息的能力。

• 存储分析:当展示一个iPhone存储空间分布的屏幕截图时,GPT-4 Mini正确识别了剩余的存储空间和占用最多存储的应用程序,展示了它从视觉数据中提取和解释相关信息的能力。

然而,分析还显示,尽管GPT-4 Mini在基于文本的任务中表现出色,但在处理视觉输入时,它的速度较慢,使用的令牌也明显更多,与更大的GPT-4模型相比。这表明,对于高度依赖视觉和图像处理的应用程序,标准的GPT-4模型可能是更合适的选择,优先考虑性能而不是GPT-4 Mini的成本效率。

总的来说,结果突出了GPT-4 Mini在处理各种任务(包括视觉和图像处理)方面的多样性,同时保持了与其更大对应物相比的显著性能优势和成本效率。这使得GPT-4 Mini成为一个引人注目的选择,适用于权衡成本和性能是关键考虑因素的应用程序。

GPT-40 mini的测试揭示了这个更小、更经济高效的模型的一些令人印象深刻的能力。与更大的GPT-4相比,GPT-40 mini在各种任务中展现了出色的速度和性能,包括编写Python脚本、解决逻辑问题,甚至生成创意内容。

GPT-40 mini的一个关键优势是其显著较低的成本,价格比GPT-3.5 Turbo便宜60%。这使其成为开发者和企业在不高成本的情况下利用强大语言模型的一个有吸引力的选择。

然而,测试也突出了GPT-40 mini的一些局限性,特别是在涉及视觉处理的任务中。该模型在图像分析和转换等任务中难以与GPT-4匹敌,通常需要更长的处理时间并使用更多的令牌。

总的来说,GPT-40 mini的出现代表了语言模型发展的一个重要步骤,展示了小型、更高效模型以极低的成本提供出色能力的潜力。随着小型模型时代的不断展开,人们将很感兴趣地观察GPT-40 mini及类似模型在各种应用中的采用和利用情况。