Сегодня мы с вами научимся клонировать любой голос и воспроизводить его через текст (TTS - text to sound). Делать мы всё это будем с помощью Fish Speech. Её отличительная особенность в том, что она с открытым исходным кодом, а следовательно бесплатная. Использовать мы будем её локально на своём компьютере, системные требования - видеокарта Nvidia, от 8gb памяти для комфртной работы, но говоря, что работает и на 6gb (про AMD - без понятия, простите). А так же мы создадим подобие подкаста, то есть сделаем озвучку диалогов несколькими голосами. И сразу хочется отдельное спасибо сказать каналу Нейро-Софт (
за репак, там улучшен интерфейс, есть перевод с китайского языка на русский, а так же скачивание аудиодорожек доступно в форматах WAV, MP3, и FLAC. Плюс очень легко и быстро можно делать голосовые модели! К тому же благодаря им установка будет гораздо проще и быстрее. Ссылки из урока:
- Fish Speech Mod Portrable ZIP (для одного голоса)
- Fish Speech Dialogue DLC (для нескольких голосов)
- здесь скрипт, который нужно вставить в Start.bat после установки и затем удалить
- Тут чат с поддержкой по репаку
- тут база готовых голосов (можете делиться и своими тоже)
- для транскрибации текста
- тут модель для Whisper
- тут нарезаем аудио (1 минуты достаточно для обучения)
- программа для удаления шума
- Исходный код Fish-Speech на Github Отдельная благодарность за репак
и
Не забудьте подписаться на наш тг-канал "Личка забита", где выходят полезные уроки и актуальные новости по нейросетям:
- вот сюда тык :) Таймкоды: 0:00 - О чём видео 0:42 - Установка Fish Speech 02:10 - Ошибка RuntimeError: Numpy 03:53 - Интерфейс Fish Speech 04:25 - Создание голоса и настройки 05:19 - Результат 1 05:45 - Создаём свою модель голоса 06:36 - Моя запись 06:47 - Нарезаем запись в mp3cut 08:18 - Делаем текст для аудио 08:50 - Установка Whisper 11:02 - Установка Ultimate Vocal Remover 12:30 - Загружаем модель в Fish Speech 13:20 - Тестируем свой клон голоса 14:10 - Результат 2 14:34 - Результат 3 15:00 - Установка Fish Speech Dialogue 15:50 - Тестим Fish Speech Dialogue 16:35 - Результат 4 17:00 - Рекомендации
