Когда канадский продюсер Джордан Янг начал экспериментировать с технологией клонирования голоса ИИ — в конечном итоге создав фальшивую песню Канье Уэста, которая звучала, ну, в общем, так же, как Канье Уэст, — это сразу же побудило его задуматься об этических последствиях этой технологии.
«Как только я это сделал, я начал думать… если кто-то может создавать музыку чьим-либо голосом, что это значит для артистов? Что это значит для музыки?» сказал Янг, который работал с Бейонсе, BTS и Дуа Липа.
Он и его компания Hooky недавно разработали технологию, которая может заставить артиста звучать так, будто он поет на языке, отличном от его собственного.
Это нашло отклик у американского поп-певца Лаува, который в то время только что закончил корейский тур и хотел найти осмысленный способ поблагодарить своих поклонников. Почему бы не разработать новую версию его песни Love U Like That, преобразованную так, чтобы она звучала так, как будто он выступал на корейском языке?
Процесс начался с того, что компания Янга обратилась к Кевину Ву, южнокорейскому певцу и автору песен, свободно владеющему английским и корейским языками, чтобы тот переписал и спел песню на новом языке. Эта интерпретация должна отражать нюансы корейского языка, объяснил Янг. «Это не просто бросить это на веб-сайт переводчика, и что бы он ни выдал, это ваша песня. Вы должны подойти к этому творчески», - сказал Янг.
Записи также должны были совпадать в музыкальном плане. Например, если Лаув в нескольких тактах пел фальцетом, Ву сделал то же самое в своем демо на корейском языке.
Введите искусственный интеллект.
По словам Янга, технология тренируется на «каждом уголке» голоса Лаува — от самых высоких частот и тонов до самых низких — чтобы построить комплексную модель его вокала. Демо на корейском языке, написанное и исполненное Ву, затем объединяется с искусственной моделью голоса Лаува, создавая песню на корейском языке, которая звучит так, как будто ее поет Лаув.