Google створила нейромережу MusicLM, яка генерує музику будь-якого жанру за текстовим описом

Компанія Google представила нову генеративну нейромережу під назвою MusicLM. Це нова модель ШІ, яка вміє створювати якісну музику за текстовим описом. Для навчання нейромережі використовувалось 280 годин музичних композицій. У результаті вона вміє генерувати музику різних жанрів за абстрактним описом на кшталт «заспокійлива мелодія скрипки» тощо. Також доступна генерація музики за картинкою та описом для неї.

MusicLM створює музику при частоті дискретизації 24 кГц у будь-якому жанрі та з будь-якими інструментами, які вказані в описі. На сторінці проєкту викладено приклади композицій, які згенеровані за детальним описом. Це «оптимістичний саундтрек для аркадної гри з гітарними рифами», «повільне реггі з басом, барабаном та електрогітарою». Деякі приклади несподівано якісні, і в них навіть є вокал. В інших багато шумів та спотворених звуків. Проте результати все одно вражають. MusicLM ще у розробці, особисто випробувати можливості ШІ не вдасться.

Слід зазначити, що вже є проєкт генерації музики на базі нейромережі Stable Diffusion за допомогою візуальних спектрограм. І ця модель ШІ доступна для публічного та комерційного використання.

На тлі успіхів популярної нейромережі Midjourney для генерації зображень, не можна виключати, що в майбутньому нейромережі частково замінять людей при створенні аудіо-візуального контенту.

Джерело: sundries.com.ua