Модель Whisper, разработанная OpenAI, зарекомендовала себя как мощный инструмент для транскрипции речи в текст. Однако, когда речь идет о скорости, реализация API Groq Whisper значительно превосходит API OpenAI.

В тесте на скорость с использованием 30-минутного аудиофайла, API Groq завершил транскрипцию всего за 24 секунды, в то время как API OpenAI потратил 67 секунд. Это означает, что API Groq смог транскрибировать аудио примерно в три раза быстрее, чем API OpenAI.

Основное преимущество API Groq заключается в его специализированном оборудовании и оптимизированной инфраструктуре, что позволяет ему обрабатывать аудиоданные гораздо быстрее, чем общедоступные облачные сервисы, предлагаемые OpenAI. Это различие в скорости становится еще более заметным при работе с более крупными аудиофайлами, что делает API Groq привлекательным выбором для приложений с речевым вводом в режиме реального времени или близком к реальному времени.

В этом видео мы исследуем мощную комбинацию Groq и DeepGram для создания молниеносного голосового чат-ассистента. Используя API Whisper Groq для транскрипции аудио и модель Llama 3.8 миллиарда для генерации текста, мы достигаем впечатляющей скорости и эффективности.

Для дополнения этого мы используем возможности DeepGram по преобразованию текста в речь для генерации окончательного аудиовывода. Однако мы столкнулись с проблемой, когда ответы Groq были настолько быстрыми, что генерация аудио DeepGram не успевала за ними. Чтобы решить эту проблему, нам пришлось ввести буферное время перед вызовом API DeepGram, чтобы обеспечить соответствие аудиовывода сгенерированному тексту.

Эта настройка обеспечивает впечатляющее повышение производительности по сравнению с предыдущей реализацией, использующей сервисы OpenAI. Транскрипция Whisper на Groq почти в три раза быстрее, чем на OpenAI, что делает ее привлекательным выбором для больших аудиофайлов.

В этой реализации мы столкнулись с проблемой с API преобразования текста в речь DeepGram. Ответы от API Groq были настолько быстрыми, что аудио, сгенерированное DeepGram, часто было короче фактического ответа, что приводило к несинхронизированному выводу.

Чтобы решить эту проблему, нам пришлось ввести буферное время перед вызовом API DeepGram. Это позволило системе подождать определенное время перед генерацией окончательного аудио, обеспечивая, что аудиовывод соответствует ответу модели языка.

Однако определение оптимального буферного времени было непростой задачей. Нам пришлось экспериментировать с различными значениями, чтобы найти правильный баланс между скоростью и синхронизацией. Это область, которая требует дальнейшего исследования и тонкой настройки.

При использовании API Whisper Groq для транскрипции аудио важно учитывать ограничения на скорость, налагаемые этим сервисом. По мере масштабирования инфраструктуры Groq эти ограничения на скорость могут улучшиться, но в настоящее время они могут вызывать озабоченность, особенно если вы активно тестируете систему.

Что касается DeepGram, сервиса преобразования текста в речь, используемого в реализации, это платный сервис. Однако при регистрации вы получаете $200 в кредитах, которые можно использовать для бесплатного тестирования сервиса. Это отличная возможность поэкспериментировать с моделями последнего поколения и высокоскоростными возможностями, предлагаемыми DeepGram, без немедленных затрат.

В следующем видео я планирую исследовать возможность использования локальных моделей для системы голосового чат-ассистента. Хотя текущая реализация использует скорость и возможности облачных сервисов, таких как Groq и DeepGram, использование локальных моделей может иметь преимущества, такие как улучшенная конфиденциальность и потенциально меньшая задержка.

Я еще не нашел идеальную комбинацию локальных моделей, но активно экспериментирую с различными вариантами. Цель - создать полностью локальную версию системы голосового чат-ассистента, без использования каких-либо внешних API.