Do bản chất của chúng, các mô hình ngôn ngữ lớn (LLM) có một số hạn chế nhất định. Ví dụ, hầu hết các LLM không tốt trong việc thực hiện các phép tính toán toán học hoặc truy cập thông tin cập nhật mới nhất ngoài ngày cắt đào tạo của chúng. Để giải quyết những hạn chế này, các LLM có thể được cung cấp khả năng sử dụng các công cụ bên ngoài hoặc thực hiện các cuộc gọi chức năng để thực hiện các chức năng cụ thể.

Luồng gọi chức năng hoạt động như sau:

1. Khi nhận được truy vấn của người dùng, LLM trước tiên xác định xem có cần sử dụng công cụ bên ngoài hay không.
2. Nếu LLM quyết định sử dụng công cụ, nó cần chọn công cụ phù hợp từ các tùy chọn có sẵn dựa trên truy vấn.
3. Sau đó, LLM thực hiện một cuộc gọi đến công cụ được chọn, có thể là một API hoặc một chức năng bên ngoài.
4. Phản hồi từ công cụ sau đó được chuyển lại cho LLM, và LLM sử dụng nó cùng với truy vấn ban đầu của người dùng để tạo ra phản hồi cuối cùng.

Do bản chất của chúng, các mô hình ngôn ngữ lớn (LLM) có một số hạn chế nhất định. Ví dụ, hầu hết các LLM không tốt trong việc thực hiện các phép tính toán toán học hoặc truy cập thông tin cập nhật mới nhất ngoài ngày cắt đào tạo của chúng. Để giải quyết những hạn chế này, các LLM có thể được cung cấp khả năng sử dụng các công cụ bên ngoài hoặc thực hiện các cuộc gọi chức năng để thực hiện các chức năng cụ thể.

Luồng gọi chức năng hoạt động như sau:

1. Xác định công cụ: Khi nhận được truy vấn của người dùng, LLM sẽ đánh giá trước liệu có cần sử dụng công cụ bên ngoài để tạo phản hồi hay không. Nếu không cần công cụ, LLM sẽ sử dụng dữ liệu đào tạo nội bộ của mình để tạo phản hồi.

2. Lựa chọn công cụ: Nếu LLM xác định cần sử dụng công cụ, nó sẽ chọn công cụ phù hợp từ các tùy chọn có sẵn. Ví dụ, nếu truy vấn yêu cầu tính toán, LLM sẽ chọn công cụ máy tính; nếu truy vấn yêu cầu thông tin thời tiết, LLM sẽ chọn công cụ tìm kiếm trên web.

3. Gọi công cụ: Sau khi chọn công cụ, LLM sẽ thực hiện một cuộc gọi đến chức năng bên ngoài hoặc API thực hiện chức năng của công cụ. Các tham số đầu vào cho công cụ được xác định bởi lược đồ đầu vào của công cụ.

4. Tạo phản hồi: Phản hồi từ công cụ bên ngoài hoặc cuộc gọi chức năng sau đó được chuyển lại cho LLM, và LLM sẽ sử dụng thông tin này cùng với truy vấn người dùng ban đầu để tạo ra phản hồi cuối cùng.

Luồng này cho phép LLM khai thác các khả năng và tài nguyên bên ngoài để cung cấp các phản hồi toàn diện và chính xác hơn cho các truy vấn của người dùng.

Để định nghĩa các công cụ trong gia đình Cloud 3, có hai thành phần chính:

1. Mô tả: Đây là mô tả chi tiết về công cụ, mà mô hình Cloud sử dụng để xác định công cụ nào sẽ được sử dụng cho một truy vấn cụ thể. Mô tả nên cung cấp càng nhiều chi tiết càng tốt, bao gồm công cụ làm gì, khi nào nên sử dụng, bất kỳ tham số nào nó yêu cầu, và bất kỳ điều khoản hoặc giới hạn quan trọng nào.

2. Triển khai: Đây là triển khai thực tế của công cụ, có thể là một API hoặc chức năng bên ngoài. Định nghĩa công cụ chỉ định lược đồ đầu vào cho công cụ, xác định những đầu vào mà truy vấn người dùng cần cung cấp.

Khi người dùng cung cấp một truy vấn, mô hình Cloud trước tiên xác định công cụ nào sẽ được sử dụng dựa trên các mô tả công cụ. Sau đó, nó thực hiện một cuộc gọi đến triển khai công cụ tương ứng, truyền vào các đầu vào cần thiết. Phản hồi của công cụ sau đó được truyền lại vào mô hình Cloud, tạo ra phản hồi cuối cùng cho người dùng.

Một số thực hành tốt nhất để định nghĩa các công cụ bao gồm:

• Cung cấp mô tả rất chi tiết, bao phủ tất cả các khía cạnh chính của công cụ.
• Đảm bảo tên công cụ rõ ràng và mô tả.
• Định nghĩa cẩn thận lược đồ đầu vào để phù hợp với truy vấn của người dùng.
• Xem xét kết nối nhiều công cụ với nhau để xử lý các trường hợp phức tạp hơn.
• Kiểm tra kỹ lưỡng các định nghĩa và triển khai công cụ để đảm bảo chúng hoạt động như mong đợi.

Khi định nghĩa các công cụ để sử dụng với gia đình mô hình Anthropic Cloud 3, điều quan trọng là phải tuân theo các thực hành tốt nhất sau đây cho các mô tả công cụ:

1. Cung cấp mô tả chi tiết: Đảm bảo rằng mô tả của mỗi công cụ rất chi tiết. Bao gồm thông tin về công cụ làm gì, khi nào nên sử dụng và cách nó ảnh hưởng đến hành vi của công cụ.

2. Giải thích các tham số: Giải thích rõ ràng ý nghĩa và tác động của từng tham số yêu cầu bởi công cụ. Điều này giúp mô hình ngôn ngữ hiểu cách sử dụng công cụ một cách hiệu quả.

3. Nêu bật các hạn chế: Đề cập bất kỳ điều khoản hoặc hạn chế quan trọng nào của công cụ, chẳng hạn như loại thông tin nó không trả về.

4. Đảm bảo sự rõ ràng: Đảm bảo tên công cụ rõ ràng và không mơ hồ. Mô hình ngôn ngữ sẽ sử dụng mô tả để xác định công cụ nào sẽ được sử dụng, vì vậy tên rõ ràng và súc tích là rất quan trọng.

5. Ưu tiên tính hữu ích: Tập trung vào việc cung cấp các công cụ thực sự hữu ích và liên quan đến nhiệm vụ đang xử lý. Tránh bao gồm các công cụ không cần thiết hoặc trùng lặp.

6. Xem xét chuỗi công cụ: Nếu trường hợp sử dụng của bạn yêu cầu một chuỗi các cuộc gọi công cụ, hãy xem xét sử dụng mô hình Opus, vì nó được trang bị tốt hơn để xử lý việc sử dụng công cụ tuần tự.

7. Kiểm tra kỹ lưỡng: Kiểm tra kỹ lưỡng các định nghĩa và triển khai công cụ của bạn để đảm bảo chúng hoạt động như mong đợi và cung cấp chức năng mong muốn.

Để xây dựng một chatbot dịch vụ khách hàng sử dụng gia đình mô hình Cloud 3, chúng ta sẽ thực hiện các bước sau:

1. Cài đặt gói Anthropic: Chúng tôi sẽ bắt đầu bằng cách cài đặt gói khách hàng Python của Anthropic.

2. Thiết lập khóa API Anthropic: Chúng tôi sẽ thiết lập khóa API Anthropic, cần thiết để sử dụng các mô hình Cloud 3.

3. Chọn mô hình Cloud 3: Trong ví dụ này, chúng tôi sẽ sử dụng mô hình CLA 3 Opus, vì nó hỗ trợ việc sử dụng và kết nối công cụ phức tạp hơn.

4. Định nghĩa các công cụ phía khách hàng: Chúng tôi sẽ định nghĩa ba công cụ cho chatbot dịch vụ khách hàng của chúng tôi:

   • Lấy thông tin khách hàng
   • Lấy chi tiết đơn hàng
   • Hủy đơn hàng

   Mỗi công cụ có một mô tả chi tiết, lược đồ đầu vào và triển khai thông qua các chức năng bên ngoài.

5. Triển khai vòng lặp chính: Chúng tôi sẽ tạo một vòng lặp chính xử lý đầu vào của người dùng, xác định công cụ nào sẽ được sử dụng, gọi chức năng thích hợp và truyền phản hồi trở lại vào mô hình ngôn ngữ để tạo ra đầu ra cuối cùng.

6. Kiểm tra chatbot: Chúng tôi sẽ kiểm tra chatbot bằng cách cung cấp các truy vấn người dùng khác nhau, chẳng hạn như lấy địa chỉ email của khách hàng, kiểm tra trạng thái của một đơn hàng và hủy đơn hàng.

Bằng cách thực hiện quy trình này, chúng ta có thể xây dựng một chatbot dịch vụ khách hàng khai thác các khả năng của gia đình mô hình Cloud 3 và khả năng gọi các công cụ hoặc chức năng bên ngoài để nâng cao chức năng của nó.

Trong video này, chúng tôi đã khám phá khái niệm gọi chức năng và sử dụng công cụ bên ngoài với gia đình mô hình Anthropic Cloud 3. Chúng tôi đã học được các điểm chính sau:

1. Động lực cho Gọi chức năng: LLM có một số hạn chế nhất định, chẳng hạn như không thể thực hiện các tính toán phức tạp hoặc truy cập thông tin cập nhật. Gọi chức năng cho phép LLM khai thác các công cụ và API bên ngoài để vượt qua những hạn chế này.

2. Luồng Gọi chức năng: LLM trước tiên xác định xem có cần sử dụng công cụ bên ngoài hay không, sau đó chọn công cụ phù hợp dựa trên các mô tả được cung cấp, và cuối cùng thực hiện một cuộc gọi đến triển khai công cụ để lấy thông tin cần thiết.

3. Định nghĩa Công cụ: Các công cụ được định nghĩa với tên, mô tả chi tiết và lược đồ đầu vào. Mô tả là rất quan trọng vì nó giúp LLM quyết định công cụ nào sẽ được sử dụng.

4. Các Thực hành Tốt nhất: Cung cấp các mô tả rõ ràng và toàn diện cho các công cụ, bao gồm chi tiết về chức năng, tham số và hạn chế của chúng. Điều này đảm bảo LLM có thể đưa ra quyết định thông minh về