이 다중 에이전트 연구 시스템을 구축하는 핵심 단계는 다음과 같습니다:

1. 세 가지 다른 GPT 어시스턴트 생성하기:

   • Director: Airtable 데이터베이스를 읽고 업데이트하며, 연구 과제를 분해하고 Research Manager와 Researchers에게 위임합니다.
   • Research Manager: 연구 계획을 생성하고, Researchers가 제공한 연구 결과를 검토하며 품질 보증을 합니다.
   • Researcher: 실제로 인터넷을 탐색하고, 정보를 수집하며, 연구 결과를 생성하는 에이전트입니다.

2. Anthropic의 Autogon 프레임워크 사용하기:

   • Autogon은 OpenAI Assistant API 사용을 간소화하여 다양한 에이전트 간 협업을 쉽게 구현할 수 있습니다.

3. 필요한 기능 구현하기:

   • Google 검색
   • 웹사이트 스크래핑 및 요약
   • Airtable 레코드 검색 및 업데이트

4. 에이전트들을 연결하기:

   • User Proxy Agent, Researcher, Research Manager, Director가 참여하는 그룹 채팅을 생성합니다.
   • 연구 프로세스를 시작하기 위해 그룹에 메시지를 보냅니다.

이 결과로 복잡한 연구 과제를 처리할 수 있는 강력하고 자율적인 연구 시스템이 만들어집니다. 이는 단일 강력한 AI가 아닌 전문화된 에이전트들의 협업 시스템이라는 패러다임 전환을 나타냅니다.

과거에는 연구 에이전트가 매우 단순한 선형 언어 모델 체인이었습니다. 연구 주제를 받아 Google 검색을 수행하고, 대형 언어 모델이 가장 관련성 있는 링크를 선택하여 웹사이트를 스크립팅했습니다. 에이전트는 수집된 정보를 기반으로 보고서를 생성했습니다. 이 접근 방식은 작동했지만 기본적이고 명확한 연구 과제에만 제한되었습니다.

2개월 후, 연구 에이전트는 대형 언어 모델, 메모리, 도구의 조합인 AI 에이전트로 진화했습니다. 이 에이전트는 큰 목표를 하위 과제로 분해할 수 있었고, Google 검색 API와 같은 다양한 도구에 접근할 수 있었습니다. 또한 이전 행동을 기억할 수 있는 장기 메모리를 가지고 있었습니다. 핵심적인 차이점은 AI 에이전트가 목표 지향적이었다는 것입니다. 이를 통해 상당히 모호한 목표라도 여러 단계의 행동을 취할 수 있었습니다.

이 연구 에이전트의 두 번째 버전은 상당한 발전이었고, 더 높은 품질의 연구 결과와 참고 링크 목록을 제공했습니다. 그러나 여전히 몇 가지 문제가 있었습니다. 결과의 품질이 항상 일관되지 않았고, OpenAI 모델이 설계되지 않은 특정 연락처 정보 찾기와 같은 복잡하거나 제한된 작업에 어려움을 겪었습니다.

다음 돌파구는 M-GPT, ChatDef와 같은 다중 에이전트 시스템의 등장이었습니다. 이러한 시스템은 하나의 에이전트가 아닌 여러 에이전트가 협력하여 작업 성능을 높이고자 했습니다. 최근 Autogon과 같은 프레임워크는 이러한 협업 시스템 구축을 더욱 쉽게 만들었고, 다양한 계층 구조와 구조를 유연하게 만들어 에이전트 간 협력을 조율할 수 있게 했습니다.

OpenAI Assistant API와 GPT-3의 출시로 유용한 에이전트를 구축하는 비용이 크게 낮아졌습니다. 이에 따라 AI Researcher 3.0을 만들었습니다. 기존 연구 에이전트는 여전히 연구를 수행하지만, 연구 관리자 에이전트가 도입되어 결과를 검토하고 품질 관리를 합니다. 또한 연구 책임자 에이전트를 추가하여 큰 연구 목표를 하위 과제로 분해하고 연구 관리자와 연구원에게 위임할 수 있습니다. 이 에이전트는 Airtable 데이터베이스에서 읽고 쓰는 작업도 처리합니다.

이 다중 에이전트 시스템은 AGI(인공 일반 지능)에 대한 우리의 사고방식 전환을 나타냅니다. 모든 것을 할 수 있는 단일 AI가 아니라 공동의 목표를 향해 협력하는 전문화된 에이전트들에 초점을 맞추고 있습니다. 이 접근 방식은 단일 강력한 AGI 시스템을 훈련하는 기술적 과제를 해결합니다.

이러한 고도로 전문화된 에이전트를 훈련하는 핵심은 미세 조정(fine-tuning)과 지식 기반 검색 증강 생성(RAG)이라는 두 가지 일반적인 방법입니다. 미세 조정은 특정 작업 수행 능력을 향상시키는 데 유용하고, RAG는 대형 언어 모델에 정확하고 최신의 데이터를 제공하는 데 더 적합합니다.

미세 조정 프로세스를 더 접근 가능하게 만들기 위해 Gradio와 같은 플랫폼이 등장했습니다. Gradio는 LLaMA, Hermit 등의 고성능 오픈 소스 모델을 미세 조정할 수 있게 해줍니다. 전용 인프라와 컴퓨팅 장치가 필요 없어 개발자와 기업이 몇 줄의 코드와 종량제 가격 모델로 모델을 미세 조정할 수 있습니다.

이러한 발전을 활용하여 AI Researcher 3.0 시스템은 이제 더 일관되고 자율적인 연구 결과를 제공할 수 있습니다. 다양한 에이전트가 협력하여 품질과 효율성을 보장합니다.

AI 연구원의 초기 버전에는 선형 흐름과 일관되지 않은 품질과 같은 한계가 있었습니다. 이러한 문제를 해결하기 위해 저자는 대형 언어 모델, 메모리, 도구의 조합인 AI 에이전트 사용을 탐구했습니다. 이를 통해 에이전트가 과제를 하위 과제로 분해하고 다양한 도구를 활용하여 연구를 수행할 수 있는 더 목표 지향적인 연구가 가능해졌습니다.

M8GT, ChatDef와 같은 다중 에이전트 시스템의 도입은 여러 에이전트의 협업을 통해 작업 성능을 더욱 향상시켰습니다. Anthropic의 Autogen과 같은 최근 프레임워크는 이러한 협업 시스템 구축을 더욱 쉽게 만들어, 다양한 계층 구조와 구조를 유연하게 만들어 에이전트 간 협력을 조율할 수 있게 했습니다.

저자는 그 후 AI Researcher 3.0을 만들었습니다. 여기서 기존 연구 에이전트는 실제 연구에 집중하고, 연구 관리자 에이전트가 도입되어 결과를 검토하고 품질 관리를 합니다. 또한 연구 책임자 에이전트가 추가되어 연구 목표를 하위 과제로 분해하고 연구 관리자와 연구원에게 위임합니다. 이 다중 에이전트 접근 방식은 더 일관된 연구 품질과 더 자율적인 시스템을 가능하게 했습니다.

저자는 또한 전문화된 에이전트를 훈련하는 두 가지 일반적인 방법인 미세 조정과 지식 기반 검색 증강 생성(RAG)에 대해 논의했습니다. 미세 조정은 특정 작업 수행 능력을 향상시킬 수 있지만, 어려운 과정이며 전문 하드웨어가 필요할 수 있습니다. 저자는 Anthropic의 Gradio 플랫폼이 미세 조정 프로세스를 간소화하고 개발자와 기업이 접근할 수 있게 해준다고 강조했습니다.

결국 저자는 Autogen을 사용하여 이 다중 에이전트 연구 시스템을 구축하는 단계별 가이드를 제공했습니다. 이를 통해 자율적이고 협력적인 AI 시스템을 만드는 이 접근 방식의 유연성과 힘을 보여주었습니다.

고성능 오픈 소스 모델을 미세 조정하는 것은 종종 큰 메모리 용량을 가진 전문 하드웨어를 요구하는 어려운 작업입니다. 그러나 Anthropic이 개발한 Gradient 플랫폼은 이 과정을 극도로 간단하고 접근 가능하게 만들어 모든 개발자와 기업이 활용할 수 있습니다.

몇 줄의 코드만으로 Node.js, Python, 명령줄 인터페이스 등 다양한 프로그래밍 언어를 사용하여 LLaMA, Noris, Hermès 등의 모델을 미세 조정할 수 있습니다. 플랫폼은 시작하는 데 필요한 모든 도구와 튜토리얼을 제공합니다.

Gradient를 사용하는 주요 장점 중 하나는 가격 모델입니다. 전통적으로 미세 조정에는 전용 인프라와 컴퓨팅 장치에 대한 선결제가 필요했습니다. 반면 Gradient는 인프라가 필요 없으며 토큰 기반 시스템에 따라 사용한 만큼만 지불하면 됩니다.

설명란의 링크를 클릭하면 Gradient 시작을 위한 $5의 무료 크레딧을 받을 수 있습니다. 모델을 미세 조정해야 할 필요가 있지만 어디서 시작해야 할지 모르는 경우 특히 유용할 것입니다. Gradient의 사용자 친화적인 플랫폼과 포괄적인 리소스를 통해 프로세스가 원활해지며, 특정 사용 사례와 요구 사항에 집중할 수 있습니다.

효과적인 다중 에이전트 연구 시스템을 구축하는 핵심은 각 에이전트의 역할과 책임을 명확히 정의하고 강력한 조정 프레임워크를 수립하는 것입니다. 이 시스템에는 세 가지 distinct 에이전트가 있습니다:

1. Research Director: 디렉터는 전체 연구 프로세스를 관리할 책임이 있습니다. Airtable 데이터베이스에서 연구 대상 기업 목록을 추출하고, 연구 과제를 분해하여 Research Manager와 Researchers에게 위임합니다. 또한 완료된 연구 결과를 Airtable 레코드에 업데이트합니다.

2. Research Manager: 연구 관리자는 품질 관리의 관문 역할을 합니다. Researchers가 제공한 연구 결과를 검토하고 피드백을 제공하며, 수집된 정보가 연구 목표와 일치하는지 확인합니다.