本课程旨在教您如何利用大型语言模型(LLM)的力量有效地与基于文本的文档进行交互。重点将放在处理PDF文档,因为它们是商业环境中最常见的格式。然而,您将学习到的技术可以应用于任何类型的基于文本的文档。

本课程将从构建基本的检索管道并探索其不同组件开始。从那里,我们将深入探讨更高级的技术,如重排序、查询扩展、多查询检索和假设文档嵌入。我们还将介绍如何将语义搜索与传统的基于关键字的搜索相结合,并探讨使用金字塔文档检索器来扩展嵌入模型检索到的上下文。

目标不仅是教您这些不同技术是什么,还要教您何时以及为什么使用它们。在整个课程中,我们将提供实用的代码示例,帮助您在自己的项目中实施这些技术。到课程结束时,您将拥有一个完全可用的Python软件包,可以在自己的工作中使用。

本课程的目标受众是SaaS创始人、开发人员、高管和业余爱好者。要充分利用本课程,您需要具有Python背景。本课程将帮助您将您的出色想法转化为可工作的原型,并在几分钟而不是几天内分析数千份文档。

在本课程中,我们将涵盖一系列与使用大型语言模型(LLM)与基于文本的文档进行交互相关的主题。重点将放在处理PDF文档,因为它们是商业环境中最常见的格式。

我们将从构建基本的检索管道并在代码中实现其不同组件开始。从那里,我们将深入探讨更多高级技术,以提高检索管道的性能,如重排序、查询扩展和多查询检索。

此外,我们将探讨基于您正在解决的问题生成假设文档的技术,即"假设文档嵌入"。我们还将研究如何结合多个检索来提高检索管道的性能,将语义搜索技术与传统的基于关键字的搜索相结合。

此外,我们将介绍金字塔文档检索器,这是一种有助于扩展嵌入模型检索到的上下文的技术。

在整个课程中,重点不仅在于理解这些不同的技术,还在于何时以及为什么使用它们。我们将提供实用的代码示例,演示如何在各种场景中应用这些技术。

本课程将最初涵盖这些核心主题,但由于检索和生成(RAG)领域正在不断发展,课程将随时更新新的讲座和主题,以确保您始终处于最新进展的前沿。

本课程旨在为您提供实用的技能和知识,以利用大型语言模型(LLM)与基于文本的文档(特别是PDF)进行交互。作为参与者,您将学习如何构建强大的检索管道,应用重排序、查询扩展和多查询检索等高级技术,并探索基于您具体需求生成假设文档的方法。

讲师拥有博士学位,在领导机器学习和人工智能团队方面有超过7年的行业经验,具有扎实的技术背景和对开源项目的热情。他们构建了为数十万台消费设备提供动力的系统,并创建了最受欢迎的开源RAG项目之一Local GPT,在GitHub上拥有超过19,000颗星。

通过参加本课程,您将有机会提升技能,在您的领域创新,并与志同道合的专业人士建立联系。本课程将为您提供一个完全可用的Python软件包,供您在自己的项目中使用,您还将获得Prompt Engineering Discord服务器上的专用频道,可以直接与讲师和其他从业者就课程涵盖的主题及更多内容进行交流。

本课程将主要关注使用OpenAI的大型语言模型(LLM)和嵌入模型。这样做的原因是OpenAI的API提供了一种简单直接的方式来快速构建原型。

然而,在课程的后期,我们还将探讨如何使用本地LLM和嵌入模型来完全离线运行整个管道,而不依赖任何外部API。这将使您能够灵活地使用您选择的模型,并完全离线运行该系统。

我们将使用的具体模型包括:

• OpenAI的GPT-3和其他LLM,用于各种文本生成和理解任务
• OpenAI的嵌入模型,用于生成文本的语义表示
• 来自Hugging Face等的本地LLM和嵌入模型,以实现完全离线部署

到课程结束时,您将深入了解如何利用这些模型构建强大的基于文本的文档处理应用程序,并拥有一个完全可用的Python软件包,可以在您自己的项目中使用。

这个"超越基础"课程旨在为您提供知识和技能,以利用大型语言模型(LLM)有效地与基于文本的文档进行交互。无论您是SaaS创始人、开发人员、高管还是业余爱好者,本课程都将为您提供实用的技术,帮助您将想法转化为可工作的原型,并在极短的时间内分析大量文档。

在整个课程中,我们将涵盖广泛的主题,包括构建基本的检索管道、重排序、查询扩展和多查询检索等高级技术。我们还将探讨文档嵌入,以及如何将语义搜索与传统的基于关键字的搜索方法相结合。此外,我们还将深入探讨使用金字塔文档检索器来扩展嵌入模型检索到的上下文。

本课程的重点不仅在于理解这些技术,还在于何时以及为什么使用它们。您将获得实用的代码示例,帮助您在自己的项目中实施这些策略。此外,您还将获得一个完全可用的Python软件包,供您在未来的工作中使用。

本课程将最初涵盖这些核心主题,但由于检索和生成(RAG)领域正在不断发展,课程将随时更新新的讲座和内容,以确保您始终处于最新进展的前沿。

讲师拥有博士学位,在领导机器学习和人工智能团队方面有超过7年的行业经验,对开源充满热情,并创建了最受欢迎的开源RAG项目之一Local GPT,在GitHub上拥有超过19,000颗星。您将有机会通过Prompt Engineering Discord服务器上的专用频道直接与讲师和其他从业者互动,从而提升技能、在您的领域创新,并与志同道合的专业人士建立联系。

加入我们,一起踏上利用LLM与基于文本的文档进行交互的精彩之旅,开启您领域的新可能性。