Автор: Eugen Onegin
Тема: Тексты для симфо-рок-оркестровых новелл. Проблема моделирования жанра с использованием GenAI.
Коллеги-литераторы,
Большой проблемой для меня до последних месяцев этого года являлось представление / моделирование жанровой совместимости моих текстов с потенциальным заказчиком или исполнителем, связанное со сложностью жанра и собственно процесса оркестровки. Поэтому налицо была проблема: сложный эпический текст есть, но при исполнении только партии одного инструмента (например, на концертном рояле у нас в студии) и вокала или сведении с сырыми цифровыми инструментами (без полноценной работы звукооператора и вокалиста) его эмоциональная глубина не чувствуется. Иногда не удаётся донести глубину акцентов до вокалиста, если он не слышит полноценного звучания оркестра (а это - немыслимые деньги, если делать прогоны с оркестром для каждой репетиции, для каждой версии звучания).
И, кажется, развитие генеративного искусственного интеллекта и возможности обучения на примерах, а также расстановки акцентов в промптах для нейросети даёт возможность вырваться из порочного круга. Конечно, чтобы получить качественный результат, адекватный задаче, нужно не просто нажать на кнопку "выбор жанра", как на самоиграющей Yamah-е (или соответствующим "ботам" в ТГ), но, как мне кажется, текущие версии генеративного искусственного интеллекта уже достаточно развиты, чтобы использовать их, по крайней мере, для моделирования звучания сложных жанров текстовиками, которым недостаточно просто наиграть мелодию на гитаре.
Привожу пример из своего опыта. Фрагмент "застывающая прорубь" для симфо-новеллы "Гардарика" (вообще-то это предполагается в оконечной версии как титры и заставка для исторического фильма, но просто в нынешних нестабильных условиях это никому не нужно). Предлагаю Вашему вниманию пример звучания с текстом, что иллюстрирует возможность предварительного моделирования звучания нестандартных текстов для сложных оркестровых жанров - без проведения полноценных оркестровых дебютов, без аранжировки и доработки композитором собственной музыки в том же жанре до партитур с множеством инструментов (или многочасовой / многодневной записи на собственной рабочей станции виртуальной версии звучания на столько же дорожек). Звучание вокала (опять же, если говорить об оперном, то дело недешевое) также может моделироваться с использованием GAI в моделях преобразования текста в аудио, типа классической Bark.
Что точно (в чём я как текстовик убедился), это не заменяет ни работы автора, ни работы аранжировщика (всё-таки GenAI в музыке стереотипен), ни работы вокалиста, ни психологической эмпатии продюсера в расстановке драматических акцентов и человеческой работе с вокалистом, но очень сильно помогает: а) текстовику осознать жанровую применимость своего текста в заданном концепте / либретто (до провала на первой репетиции); б) продюсеру вокалиста или художественному руководителю проекта правильно расставить акценты, а может быть и выбрать вокалиста заранее под "модель звучания" (иначе иногда оказывается, что позиционируемый "баритон", "баритональный тенор" или "бас" у современных певцов - это только про амплитудно-частотную характеристику, а не про возможность артикулировать / модулировать); в) вокалисту - правильно интонировать драматизм звучания или предложить обоснованные отклонения от модели, а может быть и отрефлексировать свой драматизм, который может быть неуместен в конкретных условиях либретто.
Примеры звучания для вышеуказанного модельного фрагмента привожу в MP3.
Каково Ваше мнение?
Большой проблемой для меня до последних месяцев этого года являлось представление / моделирование жанровой совместимости моих текстов с потенциальным заказчиком или исполнителем, связанное со сложностью жанра и собственно процесса оркестровки. Поэтому налицо была проблема: сложный эпический текст есть, но при исполнении только партии одного инструмента (например, на концертном рояле у нас в студии) и вокала или сведении с сырыми цифровыми инструментами (без полноценной работы звукооператора и вокалиста) его эмоциональная глубина не чувствуется. Иногда не удаётся донести глубину акцентов до вокалиста, если он не слышит полноценного звучания оркестра (а это - немыслимые деньги, если делать прогоны с оркестром для каждой репетиции, для каждой версии звучания).
И, кажется, развитие генеративного искусственного интеллекта и возможности обучения на примерах, а также расстановки акцентов в промптах для нейросети даёт возможность вырваться из порочного круга. Конечно, чтобы получить качественный результат, адекватный задаче, нужно не просто нажать на кнопку "выбор жанра", как на самоиграющей Yamah-е (или соответствующим "ботам" в ТГ), но, как мне кажется, текущие версии генеративного искусственного интеллекта уже достаточно развиты, чтобы использовать их, по крайней мере, для моделирования звучания сложных жанров текстовиками, которым недостаточно просто наиграть мелодию на гитаре.
Привожу пример из своего опыта. Фрагмент "застывающая прорубь" для симфо-новеллы "Гардарика" (вообще-то это предполагается в оконечной версии как титры и заставка для исторического фильма, но просто в нынешних нестабильных условиях это никому не нужно). Предлагаю Вашему вниманию пример звучания с текстом, что иллюстрирует возможность предварительного моделирования звучания нестандартных текстов для сложных оркестровых жанров - без проведения полноценных оркестровых дебютов, без аранжировки и доработки композитором собственной музыки в том же жанре до партитур с множеством инструментов (или многочасовой / многодневной записи на собственной рабочей станции виртуальной версии звучания на столько же дорожек). Звучание вокала (опять же, если говорить об оперном, то дело недешевое) также может моделироваться с использованием GAI в моделях преобразования текста в аудио, типа классической Bark.
Что точно (в чём я как текстовик убедился), это не заменяет ни работы автора, ни работы аранжировщика (всё-таки GenAI в музыке стереотипен), ни работы вокалиста, ни психологической эмпатии продюсера в расстановке драматических акцентов и человеческой работе с вокалистом, но очень сильно помогает: а) текстовику осознать жанровую применимость своего текста в заданном концепте / либретто (до провала на первой репетиции); б) продюсеру вокалиста или художественному руководителю проекта правильно расставить акценты, а может быть и выбрать вокалиста заранее под "модель звучания" (иначе иногда оказывается, что позиционируемый "баритон", "баритональный тенор" или "бас" у современных певцов - это только про амплитудно-частотную характеристику, а не про возможность артикулировать / модулировать); в) вокалисту - правильно интонировать драматизм звучания или предложить обоснованные отклонения от модели, а может быть и отрефлексировать свой драматизм, который может быть неуместен в конкретных условиях либретто.
Примеры звучания для вышеуказанного модельного фрагмента привожу в MP3.
Каково Ваше мнение?
|
|
Автор: 7wing
Тема: Re: Тексты для симфо-рок-оркестровых новелл. Проблема моделирования жанра с использованием GenAI.
Eugen Onegin
Скиньте пожалуйста пример своего текста, чтобы разговор был более предметным.
И если не секрет - названия коллективов с которыми работаете.
Скиньте пожалуйста пример своего текста, чтобы разговор был более предметным.
И если не секрет - названия коллективов с которыми работаете.