The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Опубликована AI-модель ChatTTS для синтеза речи"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от opennews (??), 29-Май-24, 15:18 
Проект ChatTTS опубликовал модель и связанный с ней инструментарий машинного обучения для синтеза эмоциональной речи. Проект ChatTTS специально оптимизирован для использования в диалоговых системах, таких как интерактивные помощники, и нацелен на воспроизведение свойств естественного эмоционального общения. Поддерживается взаимодействие с несколькими говорящими и построение интерактивного диалога. Корректно отслеживаются и воспроизводятся при синтезе просодические элементы, такие как смех, паузы и междометия...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=61265

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


2. "Опубликована AI-модель ChatTTS для синтеза речи"  +2 +/
Сообщение от Аноним (2), 29-Май-24, 15:18 
А можно синтезировать синтезатор Стивена Хокинга с его помощью?
Ответить | Правка | Наверх | Cообщить модератору

3. "Опубликована AI-модель ChatTTS для синтеза речи"  +11 +/
Сообщение от Tron is Whistling (?), 29-Май-24, 15:24 
> для защиты от использования модели для совершения мошеннических и криминальных действий при обучении модели использована подстановка высокочастотного шума и задействован максимальный уровень сжатия звука

Короче сама модель даёт на выходе Г, но вы это, слушайте свист с бульканьем, и наслаждайтесь "возможностями" "AI".

Ответить | Правка | Наверх | Cообщить модератору

5. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (-), 29-Май-24, 15:31 
Держу пари, что только в бесплатной версии.
Ответить | Правка | Наверх | Cообщить модератору

12. "Опубликована AI-модель ChatTTS для синтеза речи"  +4 +/
Сообщение от Женя Вертолёт (?), 29-Май-24, 17:54 
Вообще нездоровая тенденция. Почему кто-то ограничивает одних, ради того, чтобы огородить других? Это примерно из той же оперы, когда государство лезет к тебе на кухню и отнимает ножи, веди ими зарэзать можно.
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

17. "Опубликована AI-модель ChatTTS для синтеза речи"  –1 +/
Сообщение от Аноним (-), 29-Май-24, 18:35 
> Вообще нездоровая тенденция. Почему кто-то ограничивает одних, ради того, чтобы огородить других?

О, ты не представляешь как я благодарен государству, за то что оно огораживает отбойниками меня от всяких нехороших людей, которые по встречке прутся.
И вокруг остановок столбики от пакрующихся чудаков.
Еще бы что-то с бухими самокатчиками сделать и вообще будет ништяк!


Ответить | Правка | Наверх | Cообщить модератору

25. "Опубликована AI-модель ChatTTS для синтеза речи"  +4 +/
Сообщение от Аноним (25), 29-Май-24, 21:06 
Вот когда их огородят на столько что ограда вокруг тебя  сомкнется - вот тогда-то ты запоешь по другому..
Ответить | Правка | Наверх | Cообщить модератору

42. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (42), 29-Май-24, 23:57 
тех кого государство не отгородило от придурков на встречной уже не запоют вааще никак...
а у него есть шанс проверить твое нелепое предположение...

Ответить | Правка | Наверх | Cообщить модератору

45. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от нейм (?), 30-Май-24, 07:57 
нет, ну технически, у них сейчас тоже оградка есть и практическм сомкнутая
Ответить | Правка | Наверх | Cообщить модератору

43. "Опубликована AI-модель ChatTTS для синтеза речи"  +1 +/
Сообщение от Аноним (43), 30-Май-24, 02:10 
Если бы государство не ограничивала тебя от решения своих проблем, то нехороших людей на встречке, паркующихся чудаков, бухих самокатчиков было бы сильно меньше и жили бы они не долго. Но т.к. максимум что ты можешь с ними сделать это смириться, то страдай и плати налоги, может часть из них пойдёт на отбойники и столбики.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

56. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (-), 31-Май-24, 17:08 
> Еще бы что-то с бухими самокатчиками сделать и вообще будет ништяк!

Можно просто тебя в тюрьму посадить. Заранее. Сразу столько проблем одним махом! И с отбойниками, и с столбиками, и самокаты там не ездят. Красота.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

4. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Tron is Whistling (?), 29-Май-24, 15:31 
И да, сторонники альтернативной теории информации - ну что, отделите шум от плевел в данном вопросе? Если бы было так легко - всё бы было легко и просто.
Ответить | Правка | Наверх | Cообщить модератору

6. "Опубликована AI-модель ChatTTS для синтеза речи"  +1 +/
Сообщение от Аноним (6), 29-Май-24, 15:50 
А что это ещё за альтернативная теория информации?
Ответить | Правка | Наверх | Cообщить модератору

10. "Опубликована AI-модель ChatTTS для синтеза речи"  –2 +/
Сообщение от n00by (ok), 29-Май-24, 17:50 
Это где T9 называют "ИИ".
Ответить | Правка | Наверх | Cообщить модератору

15. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (15), 29-Май-24, 18:29 
вот только это уже давно и близко не t9, внутри там все очень сложно
Ответить | Правка | Наверх | Cообщить модератору

24. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (24), 29-Май-24, 20:36 
Ничего сложного там и в помине нету...
Ответить | Правка | Наверх | Cообщить модератору

22. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Tron is Whistling (?), 29-Май-24, 18:59 
> А что это ещё за альтернативная теория информации?

Это где чтобы шум, превышающий уровень полезного сигнала, отделить, надо набрать чуть-чуть рандомной статистики. Обычно эксперды в безопастности.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

33. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Анонимemail (33), 29-Май-24, 22:00 
Эксперды в __теории__ безопасности, важно учесть.
Ответить | Правка | Наверх | Cообщить модератору

35. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Tron is Whistling (?), 29-Май-24, 22:06 
В практике, думаю, выйдут не хуже ;)
Ответить | Правка | Наверх | Cообщить модератору

11. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Женя Вертолёт (?), 29-Май-24, 17:52 
Ты сам то понял что написал?!
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

7. "Опубликована AI-модель ChatTTS для синтеза речи"  +1 +/
Сообщение от Аноним (7), 29-Май-24, 16:12 
> для русского языка можно рекомендовать фреймворк TTS и модель XTTS-v2, которые кроме синтеза поддерживают клонирование голоса по короткой записи речи, в том числе для синтеза на другом языке

Нет, лучше уж модель TTS от OpenAI. Она хоть и проприетарная, и с американским акцентом говорит, но результат больше похож на русскую речь, чем этот синтезатор, который даже числительные не может нормально озвучить.

Ответить | Правка | Наверх | Cообщить модератору

19. "Опубликована AI-модель ChatTTS для синтеза речи"  +3 +/
Сообщение от Аноним (-), 29-Май-24, 18:46 
> Нет, лучше уж модель TTS от OpenAI. Она хоть и проприетарная, и с американским
> акцентом говорит, но результат больше похож на русскую речь, чем этот синтезатор,
> который даже числительные не может нормально озвучить.

Если что, "CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0)" не сильно далеко от проприетарных лицензий ушел.

Ответить | Правка | Наверх | Cообщить модератору

8. "Опубликована AI-модель ChatTTS для синтеза речи"  +2 +/
Сообщение от Аноним (8), 29-Май-24, 17:01 
Microsoft Agent и Ivona как-то же работают без RTX4090.
Ответить | Правка | Наверх | Cообщить модератору

9. "Опубликована AI-модель ChatTTS для синтеза речи"  +2 +/
Сообщение от Женя Вертолёт (?), 29-Май-24, 17:46 
Где это можно попробовать онлайн?
Ответить | Правка | Наверх | Cообщить модератору

13. "Опубликована AI-модель ChatTTS для синтеза речи"  +3 +/
Сообщение от Женя Вертолёт (?), 29-Май-24, 17:57 
> Кроме того, для защиты от использования модели для совершения мошеннических и криминальных действий при обучении модели использована подстановка высокочастотного шума и задействован максимальный уровень сжатия звука, используя формат MP3.

А если я хочу использовать это для озвучки видосиков на ютуб? Нафига вообще эта модель тогда нужна, если из неё нельзя извлечь никакого практического толка?

Ответить | Правка | Наверх | Cообщить модератору

39. "Опубликована AI-модель ChatTTS для синтеза речи"  –2 +/
Сообщение от Аноним (25), 29-Май-24, 22:58 
переводи в wav. выводи синтез на колонки и снимай с них микрофоном
Ответить | Правка | Наверх | Cообщить модератору

14. "Опубликована AI-модель ChatTTS для синтеза речи"  +1 +/
Сообщение от InuYasha (??), 29-Май-24, 18:13 
> Для генерации 30-секундной записи требуется GPU с 4 ГБ памяти. На GPU NVIDIA GeForce RTX 4090D скорость генерации составляет приблизительно 7 семантических токенов в секунду.

Вот же ж блин! И как я только живу со своим espeak, который кушает КИЛОбайты и о GPU никогда и не слыхал?..

Ответить | Правка | Наверх | Cообщить модератору

23. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (23), 29-Май-24, 20:18 

> Вот же ж блин! И как я только живу со своим espeak,
> который кушает КИЛОбайты и о GPU никогда и не слыхал?..

Еще и не булькает поди как вон то. Экий ты читер!

Ответить | Правка | Наверх | Cообщить модератору

28. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (28), 29-Май-24, 21:26 
Послушал. Поржал. По-моему, даже SAM естественнее звучит.
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

41. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от nshmyrev (ok), 29-Май-24, 23:41 
Попробуйте https://github.com/alphacep/vosk-tts. Качество выше, скорость высокая. На CPU 0.06xRT
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

46. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от InuYasha (??), 30-Май-24, 11:26 
> Languages Python 99.9%

Нет, спасибо, не надо. Минимизирую зависимости.

Ответить | Правка | Наверх | Cообщить модератору

26. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (26), 29-Май-24, 21:16 
Когда они наконец сделают рилтайм замену голоса. Я давно хочу попробовать под гитару попеть голосом челентано, или бейонсе, или... ну короче не своим отстойным голосом, а заипадым вокалом.
Ответить | Правка | Наверх | Cообщить модератору

38. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (25), 29-Май-24, 22:34 
RVC
Ответить | Правка | Наверх | Cообщить модератору

40. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от nshmyrev (ok), 29-Май-24, 23:39 
Скорее на основе RVC https://github.com/w-okada/voice-changer
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

53. "Опубликована AI-модель ChatTTS для синтеза речи"  +1 +/
Сообщение от Аноним (53), 30-Май-24, 16:40 
Так голос поменять не проблема, проблема в вокале. Если петь ты не умеешь то меняй хоть на голос шакиры - будешь голосом шакиры, но так же как и раньше хреново петь.
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

27. "Опубликована AI-модель ChatTTS для синтеза речи"  –2 +/
Сообщение от Геймер (?), 29-Май-24, 21:23 
Юниксвей для нейросеток. Нейросетка должна делать что-то одно и делать это хорошо, и весить не более 50 мегабайт. ChatTTS всё таки ещё не юниксвей. Но может им быть.
Ответить | Правка | Наверх | Cообщить модератору

29. "Опубликована AI-модель ChatTTS для синтеза речи"  –1 +/
Сообщение от Аноним (28), 29-Май-24, 21:29 
> и весить не более 50 мегабайт.

А лучше 50 килобайт, чтобы прямо в PDP-7 влазила. Вот тогда точно юниксвей будет.

Ответить | Правка | Наверх | Cообщить модератору

30. "Опубликована AI-модель ChatTTS для синтеза речи"  –1 +/
Сообщение от Геймер (?), 29-Май-24, 21:38 
"640 КБ должно хватить для любых задач"
Ответить | Правка | Наверх | Cообщить модератору

31. "Опубликована AI-модель ChatTTS для синтеза речи"  –3 +/
Сообщение от Геймер (?), 29-Май-24, 21:42 
Если нейросеть заточена под только одну функцию и при этом может работать вместе с другими нейрсетями, используя универсальный текстовой интерфейс, то её объём не будет стремиться к бесконечности.
Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

48. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от _kp (ok), 30-Май-24, 12:57 
Минимальный TTS на Spectrum влазил в 0.7 кБ! Качество соответсвующее, но размер, точнее его отсутствие, все равно впечатляет.
Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

49. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (28), 30-Май-24, 13:11 
Предпочитаю впечатляться качеством, а не размером, всё-таки не времена спектрумов.
Ответить | Правка | Наверх | Cообщить модератору

50. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от _kp (ok), 30-Май-24, 13:44 
Про качество логично.

Но, если у ПО совсем непомерные требования к железу, то пахнет плохим проектированием, а то и JS/Pytnon.
Подобное ПО с качеством можно использовать для наговаривания книг, генерации озвучки, но между делом в фоне работать подобному ПО тяжеловато.

Ответить | Правка | Наверх | Cообщить модератору

51. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (28), 30-Май-24, 14:45 
Требования-то, конечно, да, но размер модели меня не напрягает. ≈Гигабайт локально, если будет _нормальный_ голос — это ни о чём.
Ответить | Правка | Наверх | Cообщить модератору

52. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от _kp (ok), 30-Май-24, 15:17 
Проблема не в ги6абайтах, что дешево, в том что для генерации на лету надо ещё и толстую видеокарту, которая не будет выводить видео, а займется синтезом речи.

А в сотни мегабайт уже влазит база с полностью нароворененными фразами, с интонацией и правильным произношением, и далее работает не требуя ресурсов, хоть на игрушечном esp32.
А вот как такая база готовится, то секрет, ибо делать "в лоб" долго. А для её генерации подобный движок уже более чем уместен, с любыми его требованиями.


Ответить | Правка | Наверх | Cообщить модератору

54. "Опубликована AI-модель ChatTTS для синтеза речи"  +1 +/
Сообщение от Аноним (28), 31-Май-24, 10:10 
Ветка началась с мерянья пиписьками, у кого меньше.

А так-то проблема всех нейросетей сейчас не в объёме, а в вычислительной мощности. Пока не появятся массовые недорогие NPU, для персональных компьютеров это всё малоприменимо. Вот, может, MS с квалкомом пендаля в этом направлении дадут.

Ответить | Правка | Наверх | Cообщить модератору

47. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от InuYasha (??), 30-Май-24, 11:30 
Кстати, а никто не знает, какой MLG voice использовали Pendulum в своём эпичном Blood Sugar? :)

It's drum and bass - what you gonna do?

Ответить | Правка | Наверх | Cообщить модератору

55. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от rvs2016 (ok), 31-Май-24, 10:23 
Из описания не понял - можно ли эту "модель" использовать где-то у себя и какой пакадж для этого установить надо?
Ответить | Правка | Наверх | Cообщить модератору

57. "Опубликована AI-модель ChatTTS для синтеза речи"  +/
Сообщение от Аноним (57), 31-Май-24, 19:40 
Если почитать сабж в Гите то оно обучалось на китайском и английском языках. Поэтому основное применение его именно там. Хотеть от нее хорошего русского... Ну такое...
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру