La batalla de medio tiempo de AIGC Music: de la tecnología, los productos y las reglas de negocio

Fuente original: Music Pioneer

Fuente de la imagen: Generado por Unbounded AI

Recientemente, Google ha reproducido una serie de “golpes combinados” en torno a la música de AIGC.

El 16 de noviembre, DeepMind de Google lanzó el último modelo de generación de música de AIGC, Lyria, y cooperó con YouTube para crear dos escenarios de aplicación importantes: Dream Track y las herramientas de IA musical. Al mismo tiempo, Google y YouTube también están extendiendo la herramienta de reconocimiento de IA SynthID al sector de la música, poniendo una marca de agua en el trabajo de IA generado por Lyria.

Además de una serie de herramientas musicales de IA lanzadas en paracaídas, Google también está trabajando intensamente para eliminar los problemas de derechos de autor y ética a los que se enfrenta la música de AIGC. El 14 de noviembre, YouTube de Google también publicó una entrada de blog “Formas de implementar la innovación responsable de IA en YouTube”, en la que se anunciaba una serie de normas de gobernanza sobre el contenido de AIGC, que se implementarán gradualmente en los próximos meses.

Se puede ver que Google está captando el diseño en el campo de la música AIGC con sus súper herramientas de producción musical y un camino de gobierno claro. Por otro lado, los propietarios de los derechos de autor representados por Universal Music y Warner Music y plataformas como Spotify y Deezer no están de brazos cruzados, y la batalla de medio tiempo de AIGC Music ha comenzado.

Lyria, la herramienta de música AIGC más potente que existe

"Cambiando el futuro de la creación musical. "

El 16 de noviembre, DeepMind publicó una entrada de blog con este sucinto titular en el que presentaba su último modelo de generación de música de AIGC, Lyria. En comparación con el audio de diálogo generado por IA, los modelos musicales de IA necesitan “generar largas secuencias de sonidos al mismo tiempo”, y la dificultad radica en “mantener la continuidad de la música en la escucha”.

Este nuevo modelo de IA es más maduro y es bueno para “generar música de alta calidad con instrumentos y voces, completando tareas que incluyen diferentes transiciones de estilos musicales y continuaciones de canciones, lo que permite a los usuarios afinar el estilo y el rendimiento de la música de salida con más detalle”.

Al mismo tiempo, DeepMind se asoció con YouTube para crear dos casos de uso importantes para Lyria: Dream Track y las herramientas de IA musical.

Entre ellos, Dream Track está dirigido principalmente a creadores de videos cortos en YouTube Shorts. Actualmente, la herramienta ofrece una variedad de fuentes de artistas con licencia para seleccionar creadores estadounidenses, simplemente ingrese un tema, seleccione un artista y el modelo Lyria generará una banda sonora de video de 30 segundos, junto con la banda sonora y la letra.

Hasta la fecha, los artistas participantes incluyen a Alec Benjamin, Charlie Puth, Charli XCX, Demi Lovato, John Legend, Sia, T-Pain, Troye Sivan, Papoose y muchos más.

Las herramientas de IA musical, por otro lado, están dirigidas principalmente a músicos, artistas y productores. Google dice que sus investigadores han estado trabajando con artistas, compositores y productores en la incubadora de IA de YouTube para probar la herramienta para apoyar mejor la creación musical.

En las herramientas de IA musical, los músicos solo necesitan tararear una melodía para generar la partitura correspondiente, ingresar un acorde MIDI para generar el canto de IA correspondiente y agregar un acompañamiento instrumental a la pista de sonido a voluntad para generar la composición musical correspondiente.

Con esta herramienta, los músicos crean composiciones originales con voces e instrumentos, y luego la IA les ayuda a experimentar con una variedad de estilos musicales y a afinar las complejidades de los instrumentos de acompañamiento para producir una composición completa con acompañamiento instrumental y voces.

Además, con el fin de proteger los derechos e intereses de los músicos y creadores, todas las obras musicales creadas y publicadas con la ayuda de los modelos Lyria serán etiquetadas e identificadas con SynthID. En noviembre, SynthID se expandió oficialmente para agregar y reconocer marcas de agua de IA en el espacio de música y audio.

Se entiende que SynthID incrustará una marca de agua en el contenido de audio de AIGC, que es inaudible para el oído humano y no afectará la experiencia auditiva del usuario. Solo cuando el sonido se convierta en un espectrograma visual 2D, la marca de agua será capturada por la herramienta de reconocimiento, y SynthID aún podrá detectar la presencia de la marca de agua en la canción, incluso si la canción se procesa con mayor ruido, compresión MP3, aceleración o desaceleración, etc.

Una vez que se lance Lyria, atraerá mucha atención con sus poderosas características, y los medios extranjeros alguna vez lo llamaron “el futuro de la industria de la música”. ** Sin embargo, la fuerza de Lyria es inseparable de la base técnica que Google ha acumulado en la práctica de AudioLM y MusicLM.

AudioLM es un modelo de música de IA lanzado por Google en septiembre de 2022, como modelo de solo audio, puede generar música coherente que coincida con el estilo del mensaje con solo escuchar el audio.

En febrero de 2023, Google lanzó otro modelo de música de AIGC, MusicLM. A diferencia de AudioLM, etiqueta una serie de clips de sonido y los asigna a clips semánticos para el entrenamiento. Esto significa que el modelo es capaz de recibir entradas de texto o audio del usuario y generar una composición musical de IA. Sin embargo, Google dijo que no lanzó oficialmente el modelo debido a “la posibilidad de protestas de los músicos y los riesgos de derechos de autor”, y solo realizó una pequeña prueba abierta.

No hay duda de que la música generada por el modelo Lyria es más precisa y profunda después de más entrenamiento de material musical de MusicLM a Lyria. Sin embargo, lo más importante es que el modelo musical de AIGC está siendo aceptado por más músicos, y Google está aprendiendo gradualmente a evitar los riesgos de derechos de autor de AIGC en el juego con las compañías discográficas.

¿Cómo construir reglas de negocio en la era de la música AIGC?

Retrocede 7 meses.

Una canción de AIGC llamada “Heart on My Sleeve” se hizo viral en Internet. Pronto, la canción enfureció a Universal Music, el sello discográfico detrás de Drake y The Weeknd. Bajo la queja de Universal Music, “Heart on My Sleeve” marcó el comienzo de la eliminación de toda la red.

Ahora, el efecto long tail de esta canción ha hecho que YouTube comience a enfrentarse a las limitaciones del uso de la música de AIGC.

En una publicación de blog pública el 14 de noviembre, YouTube dijo que “lanzará un nuevo beneficio para los socios musicales en la plataforma” que pueden solicitar la eliminación del “contenido de AIGC que imita el canto o el rap únicos de un artista”. Las plataformas tienen en cuenta una serie de factores a la hora de evaluar estas afirmaciones, como si la música procede de “noticias, análisis o comentarios”.

Al mismo tiempo, YouTube se asoció con Universal Music en agosto de este año para desarrollar conjuntamente herramientas musicales de IA. Como resultado, este controvertido contenido también estará disponible para los artistas y sellos discográficos del equipo de desarrollo de herramientas de IA, y YouTube seguirá ampliando su alcance en los próximos meses.

Se puede ver que si los materiales utilizados para entrenar el modelo de IA cumplen con las regulaciones de derechos de autor es el núcleo de la disputa entre las plataformas de música y las compañías discográficas. Evitar los riesgos de los derechos de autor y obtener el apoyo de los artistas es la misma dirección de todos los esfuerzos.

Siguiendo esta lógica de acción, Spotify ha optado por “clonar” estrellas con IA en el espacio de los podcasts, en lugar del campo musical más controvertido.

En septiembre de este año, Spotify lanzó una nueva herramienta de clonación de voz con IA. Con el soporte técnico del modelo de reconocimiento automático de voz Whisper de OpenAI, los personajes pueden cambiar automáticamente a varios idiomas como español, francés y alemán, y es “completamente original”, e incluso se puede restaurar el ritmo y el tono del habla. Esto no solo no estaba insatisfecho con el mercado de los podcasts, sino que fue autorizado por muchos podcasters famosos como Dax Shepard, Monica Padman, Lex Fridman, etc.

Además de sofocar la controversia sobre los derechos de autor de los contenidos musicales, la plataforma también está reforzando la detección y la difusión de contenidos de AIGC.

Se informa que las nuevas reglas de YouTube requerirán que los creadores divulguen su “contenido sintético o modificado” e indiquen su “material modificado o sintetizado”, así como las “herramientas de IA que utilizan”. YouTube agregará una nueva etiqueta a la página de descripción para indicar que el contenido tiene “el sonido o la imagen ha sido alterado o compuesto”.

El movimiento de YouTube puede haber sido inspirado por TikTok.

Ya el 19 de septiembre de este año, TikTok pidió a los creadores que etiquetaran el contenido generado por IA como “generado por IA”. Además, TikTok dijo que está probando nuevas herramientas automatizadas para marcar “el contenido que hemos detectado que está editado o creado con IA”, lo que se ha convertido en el foco de muchas plataformas para regular AIGC en el futuro.

En un blog público de YouTube, dijo que el siguiente paso será centrarse en implementar una “combinación de tecnología de aprendizaje automático y moderadores” para “hacer cumplir las pautas de la comunidad”. Entre otras cosas, “las herramientas de IA ayudan a detectar contenido potencialmente infractor a escala, y los revisores trabajan para confirmar que el contenido realmente cruza los límites de la política”. Esto puede estar refiriéndose a SynthID, que se está expandiendo en el sector de la música por primera vez.

Casi al mismo tiempo, Believe también anunció la tecnología de reconocimiento de música con IA y reveló la precisión del reconocimiento.

Recientemente, Believe dijo en su informe de ganancias del tercer trimestre que han “creado una tecnología de IA emocionante” que puede decir con un 98% de precisión si la música es generada por IA y un 93% de precisión si es “deepfake”. Según el anuncio, esta tecnología, conocida como “radar de IA”, se está aplicando gradualmente.

** Desde la protección de los derechos de autor de la música de AIGC, las indicaciones de los usuarios hasta las tecnologías de identificación relacionadas, Google, Spotify, Believe, TikTok y otras plataformas han tomado aproximadamente el mismo camino regulatorio. Sin embargo, ante la avalancha de AIGC, en la otra cara de la moneda, varias plataformas también han intensificado su diseño en el campo de AIGC. **

Como se mencionó anteriormente, YouTube se ha asociado con Universal Music para lanzar una incubadora de IA musical para explorar el uso de la inteligencia artificial en la música en colaboración con los artistas de Universal. Los artistas tienen acceso anticipado a los productos de IA en desarrollo y proporcionan comentarios. En esta ocasión, Music AI Tools tiene en cuenta las opiniones de estos artistas.

Al mismo tiempo, YouTube también está en conversaciones con los tres principales sellos discográficos, con la esperanza de utilizar su música con derechos de autor para el entrenamiento de modelos de IA. Sin embargo, a juzgar por el hecho de que los socios actuales de Dream Track están compuestos principalmente por músicos de Universal Music, Warner Music y otros sellos discográficos, parece que Sony Music aún no ha llegado a un acuerdo.

Cuando las oportunidades de colaborar con los sellos discográficos para la creación de contenidos de AIGC son limitadas, no faltan plataformas que encuentran caminos alternativos.

Por ejemplo, en diciembre de 2022, Deezer lanzó la aplicación Zen, que proporciona a los usuarios “orientación sobre la salud, audio de entrenamiento y ayudas inmersivas para dormir, música curativa y audio”. Actualmente, Deezer está utilizando tecnología de IA para producir contenido para la plataforma.

En China, NetEase Cloud Music también ha lanzado la plataforma de producción musical de IA Xstudio, cooperando con Xiaoice para proporcionar a los creadores de música fuentes de sonido de IA que puedan utilizarse; Galaxy Sound, MUSE, Tianqin Lab y Tencent AI Lab de TME crearon conjuntamente un asistente de creación musical inteligente TME Studio, que integra una serie de funciones de IA como la separación de música, el cálculo MIR, las letras auxiliares y las partituras musicales inteligentes.

Obviamente, en la ola de la música AIGC, los sellos discográficos y los músicos que poseen los derechos siempre han estado a la vanguardia de las limitaciones técnicas. Las plataformas están tratando de conciliarse para lograr un equilibrio entre permitir la innovación en las plataformas y proteger las obras protegidas por derechos de autor de los artistas.

Como dijo Jerónimo Folgueira, CEO de Deezer, “la IA es un gran problema para las plataformas de streaming, pero una oportunidad mayor”.

La ola AIGC no retrocederá, la era UGC ya ha dado la respuesta

A finales de septiembre de 2023, el nuevo CEO de Warner Music Group, Robert Kyncl, asistió a la Code Conference 2023 en California. En su intervención, ha señalado que la “analogía entre AIGC” y UGC es “muy obvia”. La amenaza de la tecnología de IA también se puede resolver desde el UGC.

Antes de Warner Music, Kyncl pasó 20 años en YouTube y Netflix, donde ayudó a marcar el comienzo de la era del contenido UGC y los influencers de YouTube para mantener a YouTube competitivo a escala global.

Este currículum ha hecho que Kyncl esté menos enojado y más tranquilo frente a AIGC,** después de todo, AIGC “no va a retroceder”. **

Durante su charla, Kyncl reflexionó en YouTube cuando el UGC apenas estaba emergiendo. En ese momento, YouTube a menudo recibía muchas quejas de los propietarios de contenido de que sus videos o música se subían a la plataforma sin su permiso.

No fue hasta 2006, cuando Google adquirió YouTube, que estableció una tecnología de identificación de derechos de autor que rastrea el contenido protegido por derechos de autor en la plataforma y otorga a los propietarios de derechos de autor el derecho a eliminarlo o beneficiarse de él.

Fue este movimiento el que transformó la relación entre YouTube y los propietarios de derechos de autor, que pasó de ser una relación conflictiva a una comercial en la que todos ganan.

"Como resultado, hemos construido un negocio de miles de millones de dólares, y ahora es un negocio de miles de millones de dólares cada año. “Es una fuente de ingresos increíblemente nueva para todos”. Y la IA es una nueva súper herramienta. Por lo tanto, también tenemos que abordarlo con la misma idea. "**

De acuerdo con la lógica de gobernanza de YouTube en la era UGC, parece que se espera que la tecnología Synth ID sea la próxima en garantizar los intereses de todas las partes en la ola AIGC, y lo siguiente es que la plataforma negocie con el propietario de los derechos de autor sobre las reglas de distribución.

En otras palabras, cuando la plataforma marque esta música de AIGC, qué harán con la música, cómo se distribuirán los ingresos por derechos de autor con las diferentes partes involucradas y qué proporción de los ingresos se compartirá entre la música utilizada como corpus de IA de entrenamiento, y esta será la clave para que la plataforma pueda establecer una relación comercial sostenible.

Sin embargo, aunque hay varios problemas que deben resolverse con urgencia, la dirección de los esfuerzos de la plataforma es clara y clara.

Desde PGC hasta UGC y AIGC, cada cambio en el poder discursivo de la producción de contenidos en Internet debe enfrentarse a una nueva ronda de dudas y normas. Al igual que entonces, para satisfacer las necesidades del desarrollo de la ola UGC, las plataformas de videos largos y cortos han abierto la era de la compra centralizada de derechos de autor de música.

Hoy en día, los problemas de infracción a los que se enfrenta AIGC son más complejos. Sin embargo, ante la explosión de la productividad y el entusiasmo por el consumo de contenidos, la plataforma acabará volviendo a seguir el viejo camino de la era del UGC, y se enzarzará en un tira y afloja de los derechos de autor con los creadores y propietarios de los derechos de autor que puede durar mucho tiempo.

Sin embargo, ya sea una plataforma o una compañía discográfica, todos se están moviendo en la misma dirección, pero en el camino a seguir, solo están explorando las reglas de funcionamiento juntos.