بناء مساعد صوتي ذي ذاكرة يمكن أن يكون مشروعًا قويًا ومشاركًا. فيما يلي نظرة عامة موجزة على الخطوات الرئيسية المشاركة:

1. التقاط الصوت: استخدم مكتبة التعرف على الكلام مثل speech_recognition لالتقاط إدخال الصوت من ميكروفون المستخدم.

2. نسخ الصوت: أرسل الصوت المسجل إلى واجهة برمجة تطبيقات Whisper من OpenAI لنسخ الكلام إلى نص.

3. تتبع سجل المحادثة: حافظ على قائمة من القواميس لتتبع المحادثة، مع تخزين إدخال المستخدم واستجابات المساعد.

4. توليد الاستجابة: استخدم واجهة برمجة تطبيقات GPT-3 من OpenAI لتوليد استجابة ذات صلة بناءً على إدخال المستخدم وسجل المحادثة.

5. تحويل النص إلى كلام: استخدم واجهة برمجة تطبيقات تحويل النص إلى كلام من OpenAI لتحويل نص الاستجابة المولدة إلى ملف صوتي.

6. تشغيل الصوت: شغّل ملف الصوت المولد باستخدام مكتبة مثل pygame.

7. التفاعل التكراري: ضع العملية بأكملها في حلقة، مما يسمح للمستخدم بمتابعة المحادثة والمساعد بالحفاظ على السياق.

يوضح المخطط المعماري المقدم في هذا الفيديو حلاً يستخدم واجهات برمجة تطبيقات خارجية لتمكين التفاعل الصوتي الفعال. من خلال الاستفادة من قدرات هذه واجهات برمجة التطبيقات، يتمكن النظام من توفير تجربة سلسة للمستخدم، من التقاط الصوت إلى تحويل النص إلى كلام.

المكونات الرئيسية للمعمارية هي:

1. التقاط الصوت: يلتقط النظام إدخال الصوت من ميكروفون المستخدم ويخزنه في ملف للمعالجة اللاحقة.

2. النسخ: يتم إرسال ملف الصوت المخزن إلى واجهة برمجة تطبيقات Whisper من OpenAI، والتي تنسخ الصوت إلى نص. يتم إضافة هذا النص إلى سجل المحادثة، ليمثل إدخال المستخدم.

3. توليد الاستجابة: يتم إرسال نسخة النص إلى واجهة برمجة تطبيقات GPT-4، والتي تولد استجابة بناءً على سجل المحادثة. يتم إضافة هذه الاستجابة أيضًا إلى سجل المحادثة.

4. تحويل النص إلى كلام: يتم إرسال الاستجابة المولدة إلى واجهة برمجة تطبيقات الصوت من OpenAI، والتي تحول النص إلى ملف صوتي يمكن تشغيله للمستخدم.

5. تتبع سجل المحادثة: طوال العملية، يحافظ النظام على سجل محادثة، والذي يشمل إدخال المستخدم واستجابات المساعد. يتم استخدام هذا السجل لتوفير السياق لنموذج GPT-4، مما يسمح له بتوليد استجابات أكثر ترابطًا وصلة.

تعد وظيفة record_audio() مسؤولة عن التقاط الصوت من الميكروفون وتخزينه في ملف. وهي تستخدم حزمة speech_recognition لتهيئة مُعرِّف والاستماع بنشاط إلى الميكروفون. عندما تكتشف الوظيفة صوتًا، تبدأ في التسجيل وتكتب تيار الصوت إلى ملف test.wav. يستمر هذا الإجراء حتى يتوقف المستخدم عن التحدث، وعندئذٍ يكتمل تسجيل الصوت.

الخطوات الرئيسية المشاركة في وظيفة record_audio() هي:

1. تهيئة Recognizer من حزمة speech_recognition.
2. ابدأ الاستماع إلى الميكروفون باستخدام طريقة Recognizer.listen_in_background().
3. عند اكتشاف الصوت، اكتب تيار الصوت إلى ملف test.wav باستخدام طريقة Recognizer.write_to_file().
4. استمر في عملية التسجيل حتى يتوقف المستخدم عن التحدث.

تُعد مرحلة النسخ مكونًا حاسمًا في النظام الكلي، حيث نستفيد من نموذج النسخ القوي Whisper من OpenAI لتحويل الصوت المسجل إلى نص. يتم استخدام هذا التمثيل النصي كإدخال لنموذج اللغة لتوليد استجابة.

في وظيفة transcribe_audio()، نقرأ أولاً ملف الصوت الذي تم تسجيله بواسطة وظيفة record_audio(). ثم نقوم بإنشاء عميل OpenAI وتحديد نموذج Whisper v2 كبير كنموذج نسخ للاستخدام. يتم بعد ذلك إرسال ملف الصوت إلى نقطة نهاية واجهة برمجة تطبيقات OpenAI للنسخ، وإرجاع النص الناتج.

يتم بعد ذلك إضافة هذا النص المنسوخ إلى سجل المحادثة، مع تعيين دور المستخدم له. هذا يضمن حصول نموذج اللغة على السياق الكامل للمحادثة عند توليد استجابة.

يكمن جوهر مساعدنا الحواري في وظيفة generate_response، والتي تستفيد من قوة نموذج اللغة GPT-4 لتوليد استجابات متماسكة وسياقية. تأخذ هذه الوظيفة سجل المحادثة الحالي كإدخال وتنتج استجابة ذات صلة وموجزة.

فيما يلي كيفية عملها:

1. تتلقى الوظيفة عميل OpenAI وسجل المحادثة الحالي وإدخال المستخدم.
2. تضيف إدخال المستخدم إلى سجل المحادثة، مع تعيين الدور إلى "مستخدم".
3. ثم تستخدم الوظيفة طريقة chat.create() من OpenAI لتوليد استجابة من نموذج GPT-4.
4. يتم توجيه النموذج لاستخدام سجل المحادثة المقدم كسياق وتوليد استجابة ذات صلة وموجزة.
5. يتم إضافة الاستجابة المولدة إلى سجل المحادثة، مع تعيين الدور إلى "مساعد".
6. أخيرًا، تقوم الوظيفة بإرجاع نص الاستجابة المولدة.

الخطوة النهائية في مساعدنا الذكي القائم على الحوار هي تحويل استجابة النص المولدة إلى كلام طبيعي وسلس. يتحقق هذا من خلال استخدام نموذج تحويل النص إلى كلام (TTS)، والذي يحول الإخراج النصي إلى ملف صوتي يمكن تشغيله للمستخدم.

في تنفيذنا، نستفيد من قدرات تحويل النص إلى كلام التي توفرها واجهة برمجة تطبيقات OpenAI. تحديدًا، نستخدم نقطة نهاية audio_to_text لتوليد ملف صوتي من استجابة النموذج النصية. تسمح هذه النقطة النهائية لنا بتحديد نموذج الصوت المرغوب، والذي يحدد خصائص الكلام المولد، مثل النغمة والنبرة ومعدل الكلام.

توفر التنفيذ الحالي للمساعد الذكي القائم على الصوت أساسًا متينًا، ولكن هناك العديد من الفرص لتحسين التجربة وتوسيع قدرات النظام. يسلط المقدم الضوء على بعض المجالات الرئيسية للتحسين:

1. الاستفادة من Grok Whisper: اكتسب المقدم مؤخرًا إمكانية الوصول إلى نموذج Grok Whisper، والذي من المتوقع أن يوفر زيادة كبيرة في سرعة عملية النسخ، مما يحسن الاستجابة الشاملة للنظام.

2. دمج Grok لتوليد النماذج بشكل أسرع: من خلال استبدال توليد النماذج القائم على واجهة برمجة التطبيقات الحالية بـ Grok، يهدف المقدم إلى تحقيق مزيد من السرعة والكفاءة في توليد استجابة النموذج.

3. استكشاف بدائل تحويل النص إلى كلام: يُعتبر المقدم استبدال نموذج تحويل النص إلى كلام الحالي بحل من Eleven Labs، والذي قد يوفر صوتًا أكثر طبيعية، ربما صوت Jaris.

توضح تنفيذ المساعد الذكي القائم على الصوت باستخدام واجهات برمجة تطبيقات OpenAI نهجًا متدرجًا وقابلاً للتوسيع. تم تصميم المكونات الرئيسية، بما في ذلك تسجيل الصوت والنسخ وتوليد الاستجابة وتحويل النص إلى كلام، لتكون سهلة الاستبدال بحلول بديلة، مثل نماذج Whisper و Grok، وكذلك نماذج تحويل النص إلى كلام من Eleven Labs.

التركيز على التدرج والمرونة يسمح بالتحسينات المستقبلية والتخصيصات للنظام، مما يمكّن من دمج ميزات إضافية مثل المحادثات القائمة على المستندات وقدرات الاتصال بالوظائف. توفر الطبيعة المفتوحة المصدر للمشروع والمجتمع النشط على Discord فرصًا للمساهمات والتعاون من المجتمع، مما يعزز قدرات المساعد الذكي بشكل أكبر.