Si alguna vez hubo una empresa que ganaría el premio a las mejores iniciativas de IA, sería Adobe. En el Adobe Max En su Conferencia de Innovación de octubre de 2023, Adobe dio un adelanto de sus últimas innovaciones en inteligencia artificial en etapa inicial.
Project Stardust permite a los usuarios editar elementos de una foto con un solo clic. Project See Through elimina los reflejos de las fotos. El Proyecto Primrose transforma textiles en pinturas creativas. Project Neo ayuda a integrar formas 3D en diseños 2D. Project Poseable ajusta dinámicamente las poses humanas dentro de las fotografías.
Sin embargo, lo más importante para la industria del lenguaje es Project Dub Dub Dub, que dobla automáticamente el vídeo preservando la voz del hablante original. La decisión de agregar doblaje a la suite de Adobe es parte de una tendencia más amplia entre las principales empresas de tecnología de inyectar capacidades lingüísticas de inteligencia artificial en sus productos.
Manifestación Doblaje de funciones En la fase «sigilosa» de la conferencia, Xiu Jin, científico investigador de audio de Adobe, explicó cómo se podría aplicar el doblaje automático al audio y al vídeo «manteniendo el audio intacto».
Jin compartió dos «pruebas de estrés» con la audiencia. Primero, un investigador de Adobe dobló la voz de un colega a seis idiomas. Luego, Gene dobló un clip del clásico «His Girl Friday» al español y alemán, conservando las voces de los actores originales Rosalind Russell y Cary Grant.
La demostración tenía como objetivo proporcionar sólo un «adelanto» de la innovación en una etapa temprana y no contenía muchos detalles técnicos. Esta función utiliza «traducción de voz a voz», pero no está claro si Adobe está aprovechando su propia familia de modelos creativos de IA («FireFly») o, como la función de traducción de voz de Spotify, confiando en las capacidades de traducción y síntesis de voz de los principales proveedores. Modelos de Lenguajes Grandes (LLM).
Los comentarios iniciales sobre la calidad del doblaje fueron decepcionantes por parte de algunos usuarios de YouTube. Interrogatorio Claridad y sincronización del doblaje en español y alemán. Sin embargo, otros usuarios señalaron que la función era sólo un prototipo y compartieron sus expectativas de que la calidad mejorará inevitablemente con el tiempo.
Adobe enmarca la función como una forma de permitir que “las marcas generen confianza con audiencias internacionales”, y Jin describe la opción de doblaje automático como una forma para que los creadores de contenido obtengan más vistas, al “hacer llegar el contenido a personas que no hablan el idioma nativo”. » Idioma del vídeo.
Es un objetivo compartido por un grupo cada vez mayor de proveedores y soluciones de localización basados en IA, desde el popular YouTuber Mr Beast hasta nuevas empresas de doblaje de IA bien financiadas (como VOISEED, Neural Garage, Dubverse, Blanc, Dubdub y Deepdub). y empresas más establecidas (como PaperCup, Synthesia y AppTek), así como empresas tradicionales de localización de medios que ahora también están aprovechando la IA para complementar los servicios de doblaje humano.
Al combinar funciones creativas y multilingües impulsadas por IA en una tecnología líder, Adobe se une a otras empresas tecnológicas importantes como Microsoft (junto con su Copiloto de IA Offer) al presentar una propuesta nueva y convincente para resolver sus necesidades de traducción.
Sin embargo, como Adobe para explicar, “El proyecto Dub Dub Dub aún está en desarrollo y aún no está disponible. Siga las actualizaciones para obtener actualizaciones.
«Fanático del café. Amable aficionado a los zombis. Devoto practicante de la cultura pop. Malvado defensor de los viajes. Organizador típico».