대규모 언어 모델(LLM)은 본질적으로 특정한 한계를 가지고 있습니다. 예를 들어, 대부분의 LLM은 수학 계산을 수행하거나 교육 종료 날짜 이후의 최신 정보에 액세스하는 데 능숙하지 않습니다. 이러한 한계를 해결하기 위해 LLM에 외부 도구를 사용하거나 특정 기능을 구현하기 위해 함수 호출을 수행할 수 있는 기능을 부여할 수 있습니다.

함수 호출 흐름은 다음과 같습니다:

1. 사용자 쿼리가 수신되면 LLM은 먼저 외부 도구를 사용해야 하는지 여부를 결정합니다.
2. LLM이 도구를 사용하기로 결정하면 쿼리에 따라 사용 가능한 옵션에서 적절한 도구를 선택해야 합니다.
3. LLM은 선택한 도구(API 또는 외부 함수)에 호출을 수행합니다.
4. 도구의 응답은 LLM에 다시 전달되며, LLM은 이를 초기 사용자 쿼리와 함께 사용하여 최종 응답을 생성합니다.

이러한 접근 방식을 통해 LLM은 외부 기능과 리소스를 활용하여 사용자 쿼리에 대한 더 포괄적이고 정확한 응답을 제공할 수 있습니다.

대규모 언어 모델(LLM)은 본질적으로 특정한 한계를 가지고 있습니다. 예를 들어, 대부분의 LLM은 수학 계산을 수행하거나 교육 종료 날짜 이후의 최신 정보에 액세스하는 데 능숙하지 않습니다. 이러한 한계를 해결하기 위해 LLM에 외부 도구를 사용하거나 특정 기능을 구현하기 위해 함수 호출을 수행할 수 있는 기능을 부여할 수 있습니다.

함수 호출 흐름은 다음과 같습니다:

1. 도구 결정: 사용자 쿼리가 수신되면 LLM은 먼저 응답을 생성하기 위해 외부 도구를 사용해야 하는지 평가합니다. 도구가 필요하지 않은 경우 LLM은 내부 교육 데이터를 사용하여 응답을 생성합니다.

2. 도구 선택: LLM이 도구가 필요하다고 판단하면 사용 가능한 옵션에서 적절한 도구를 선택합니다. 예를 들어, 쿼리에 계산이 필요한 경우 LLM은 계산기 도구를 선택하고, 날씨 정보가 필요한 경우 웹 검색 도구를 선택합니다.

3. 도구 호출: 도구가 선택되면 LLM은 도구의 기능을 구현하는 외부 함수 또는 API에 호출을 수행합니다. 도구의 입력 매개변수는 도구의 입력 스키마에 따라 결정됩니다.

4. 응답 생성: 외부 도구 또는 함수 호출의 응답은 LLM에 다시 전달되며, LLM은 이 정보와 원래 사용자 쿼리를 사용하여 최종 응답을 생성합니다.

이 흐름을 통해 LLM은 외부 기능과 리소스를 활용하여 사용자 쿼리에 대한 더 포괄적이고 정확한 응답을 제공할 수 있습니다.

Cloud 3 제품군에 도구를 정의하려면 두 가지 핵심 구성 요소가 있습니다:

1. 설명: 이는 도구에 대한 자세한 설명으로, Cloud 모델이 특정 쿼리에 사용할 도구를 결정하는 데 사용됩니다. 설명에는 도구의 기능, 사용 시기, 필요한 매개변수, 중요한 주의 사항 또는 제한 사항 등 최대한 자세한 내용이 포함되어야 합니다.

2. 구현: 이는 외부 API 또는 함수로 구현된 실제 도구입니다. 도구 정의에는 도구의 입력 스키마가 지정되어 있어 사용자 쿼리에 제공해야 하는 입력을 결정합니다.

사용자가 쿼리를 제공하면 Cloud 모델은 먼저 도구 설명을 기반으로 사용할 도구를 결정합니다. 그런 다음 필요한 입력을 전달하면서 해당 도구 구현에 호출을 수행합니다. 도구의 응답은 Cloud 모델로 다시 전달되며, 이를 사용하여 최종 사용자 응답을 생성합니다.

도구를 정의할 때의 모범 사례는 다음과 같습니다:

• 도구의 모든 핵심 측면을 다루는 매우 자세한 설명을 제공합니다.
• 도구 이름이 명확하고 설명적인지 확인합니다.
• 사용자 쿼리와 일치하도록 입력 스키마를 신중하게 정의합니다.
• 더 복잡한 사용 사례의 경우 여러 도구를 연결하는 것을 고려합니다.
• 도구 정의와 구현을 철저히 테스트하여 예상대로 작동하는지 확인합니다.

이러한 지침을 따르면 Cloud 3 제품군의 도구 사용 기능을 효과적으로 활용하여 언어 모델의 기능을 향상시킬 수 있습니다.

Anthropic Cloud 3 제품군에 사용할 도구를 정의할 때는 다음과 같은 모범 사례를 따르는 것이 중요합니다:

1. 자세한 설명 제공: 각 도구에 대한 설명을 매우 자세히 제공합니다. 도구의 기능, 사용 시기 및 도구 동작에 미치는 영향에 대한 정보를 포함합니다.

2. 매개변수 설명: 도구에 필요한 각 매개변수의 의미와 영향을 명확히 설명합니다. 이를 통해 언어 모델이 도구를 효과적으로 사용할 수 있습니다.

3. 제한 사항 강조: 도구의 중요한 주의 사항 또는 제한 사항(예: 반환하지 않는 정보 유형)을 언급합니다.

4. 명확성 보장: 도구 이름이 명확하고 모호하지 않도록 합니다. 언어 모델은 설명을 사용하여 사용할 도구를 결정하므로 명확하고 간결한 이름이 중요합니다.

5. 유용성 우선: 실제로 유용하고 관련성 있는 도구를 제공하는 데 중점을 둡니다. 불필요하거나 중복된 도구는 포함하지 않습니다.

6. 도구 체인 고려: 사용 사례에 도구 호출 시퀀스가 필요한 경우 Opus 모델을 사용하는 것을 고려하십시오. Opus는 연속적인 도구 사용을 더 잘 처리할 수 있습니다.

7. 철저한 테스트: 도구 정의와 구현을 철저히 테스트하여 예상대로 작동하고 원하는 기능을 제공하는지 확인합니다.

이러한 모범 사례를 따르면 Anthropic Cloud 3 모델이 외부 기능을 효과적으로 활용하고 기능을 향상시킬 수 있는 고품질 도구 정의를 만들 수 있습니다.

Cloud 3 제품군을 사용하여 고객 서비스 채팅봇을 구축하려면 다음 단계를 따르면 됩니다:

1. Anthropic 패키지 설치: Anthropic Python 클라이언트 패키지를 설치합니다.

2. Anthropic API 키 설정: Cloud 3 모델을 사용하려면 Anthropic API 키를 설정해야 합니다.

3. Cloud 3 모델 선택: 이 예에서는 더 복잡한 도구 사용과 체인을 지원하는 CLA 3 Opus 모델을 사용합니다.

4. 클라이언트 측 도구 정의: 고객 서비스 채팅봇에 대해 다음 세 가지 도구를 정의합니다:

   • 고객 정보 가져오기
   • 주문 세부 정보 가져오기
   • 주문 취소하기

   각 도구에는 자세한 설명, 입력 스키마 및 외부 함수를 통한 구현이 있습니다.

5. 메인 루프 구현: 사용자 입력을 처리하고, 사용할 도구를 결정하고, 적절한 함수를 호출하고, 응답을 언어 모델에 다시 전달하여 최종 출력을 생성하는 메인 루프를 만듭니다.

6. 채팅봇 테스트: 고객 이메일 주소 검색, 주문 상태 확인, 주문 취소 등 다양한 사용자 쿼리로 채팅봇을 테스트합니다.

이 프로세스를 따르면 Cloud 3 제품군의 기능과 외부 도구 또는 함수 호출 기능을 활용하여 고객 서비스 채팅봇을 구축할 수 있습니다.

이 비디오에서는 Anthropic Cloud 3 제품군에서의 함수 호출 및 외부 도구 사용에 대해 살펴보았습니다. 다음과 같은 핵심 사항을 학습했습니다:

1. 함수 호출의 동기: LLM에는 복잡한 계산 수행 또는 최신 정보 액세스 등의 한계가 있습니다. 함수 호출을 통해 LLM은 외부 도구와 API를 활용하여 이러한 한계를 극복할 수 있습니다.

2. 함수 호출 흐름: LLM은 먼저 외부 도구를 사용해야 하는지 여부를 결정한 다음, 제공된 설명을 기반으로 적절한 도구를 선택하고 마지막으로 도구의 구현에 호출을 수행합니다.

3. 도구 정의: 도구는 이름, 자세한 설명 및 입력 스키마로 정의됩니다. 설명은 LLM이 어떤 도구를 사용할지 결정하는 데 중요합니다.

4. 모범 사례: 도구의 기능, 매개변수 및 제한 사항에 대한 자세하고 포괄적인 설명을 제공합니다. 이를 통해 LLM이 어떤 도구를 사용할지 잘 결정할 수 있습니다.

5. 구현 예시: Anthropic의 Cloud 3 모델과 클라이언트 측 도구를 사용하여 고객 서비스 채팅봇을 구축하는 예를 살펴보았습니다. 이 예에서는 도구 정의, 기능 구현 및 LLM의 의사 결정 프로세스에 통합하는 방법을 보여줍니다.

6. Opus와 Haiku의 비교: Opus와 Haiku 모두 함수 호출에 사용할 수 있지만, Opus는 연속적이거나 체인된 도구 사용이 필요한 더 복잡한 시나리오에 더 적합합니다.

이러한 개념을 이해하면 함수 호출 및 외부 도구 사용의 장점을 활용하여 Anthropic Cloud 3 기반 애플리케이션의 기능을 향상시킬 수 있습니다.