From Stories to AI-Assisted Videos - De los relatos a los vídeos con IA

                 How I Turned Stories from Twilight’s Flash Fiction into                 AI-Assisted Videos

            Tools, Workflow and Real-World Problems

Twilight’s Flash Fiction brings together more than six hundred short stories exploring science fiction, fantasy, memory, humour and philosophical speculation. The aim of the audiovisual project was to transform some of them into short videos that could be published on YouTube and encourage viewers to read the original stories.

To achieve this, I combined generative artificial intelligence tools with conventional editing applications. The process evolved as new creative requirements—and new technical problems—appeared.

Tools Used

ChatGPT was used to analyse the stories, identify the main scenes, condense the narration, prepare visual scripts, create prompts, and review the Spanish and English versions.

The first images were generated with Stable Diffusion through Hugging Face. Later, I moved the process to my local computer using ComfyUI and SDXL Base 1.0, running on an HP OMEN Max 16 equipped with an NVIDIA GeForce RTX 5070 Ti Laptop GPU with 12 GB of memory.

The final editing was completed in Canva, where I added the images, text, transitions, camera movements and music, and adjusted the duration of each scene. The finished videos were published on YouTube and subsequently embedded in the blog through Blogger.

Workflow

1. Selecting and Adapting the Story

The first step was to identify the core of the story: the image, conflict or revelation that had to survive the adaptation. We then divided the text into a small number of scenes.

Trying to illustrate every sentence produced a sequence of slides rather than an audiovisual narrative. The result improved when we selected only a few meaningful moments and allowed viewers to fill in the transitions themselves.

2. Preparing the Prompts

Each scene was transformed into a visual description that included:

• Characters and clothing.
• Location and historical period.
• Lighting and colour palette.
• Camera position and distance.
• Aspect ratio and general style.
• Elements that should not appear.

Maintaining a common structure across the prompts helped reduce visual differences between the generated images.

3. Local Generation with ComfyUI

The basic ComfyUI workflow consisted of the following nodes:

Load Checkpoint → CLIP Text Encode → Empty Latent Image → KSampler → VAE Decode → Save Image

Both positive and negative prompts were used, and the resulting images were saved as PNG files. For horizontal videos, I worked with resolutions such as 1344 × 768 before preparing the final export at 1920 × 1080.

Saving the TXT2IMG_BASE and IMG2IMG_BASE workflows prevented me from having to rebuild the process after each session or computer restart.

4. Editing in Canva

The selected images were imported into Canva, where I adjusted:

• Scene duration.
• Cropping and framing.
• Slow zoom effects.
• Transitions.
• Titles and captions.
• Music.
• MP4 export settings.

Titles were always added in Canva. Asking the image generator to produce text usually resulted in distorted letters or nonexistent words.

Problems Encountered

Problem	Solution
Changes in faces, clothing or visual style	Reuse descriptions and maintain a common visual guide
Scenes with incompatible colours	Define a palette in advance, such as midnight blue
Black images during VAE decoding	Set the batch size to 1 and launch ComfyUI with --fp32-vae.
Defective text inside generated images	Generate images without text and add it later in Canva
CUDA illegal instruction in KSampler	Work in small batches and save every valid result
Computer restarts after several generations	Preserve the workflows and export approved images immediately
Unwanted cropping after changing formats	Choose 16:9 or 9:16 before starting image generation

Lessons Learned

The main conclusion is that the story must govern the technology. A spectacular image is of little value if it breaks the visual continuity of the video.

I also learned that a reusable workflow is more valuable than a lucky prompt, that a few coherent images work better than many unrelated ones, and that the final aspect ratio must be chosen before image generation begins.

Artificial intelligence allows a writer working alone to produce a small audiovisual narrative. However, it does not remove authorship or creative decision-making. On the contrary, the more powerful the tools become, the more important it is to know exactly which story we want to tell. 

 

Cómo convertí relatos de Twilight’s Flash Fiction en vídeos con IA

Herramientas, flujo de trabajo y problemas reales

Twilight’s Flash Fiction reúne más de seiscientos relatos breves de ciencia ficción, fantasía, memoria, humor y especulación filosófica. El propósito del proyecto audiovisual era convertir algunos de ellos en vídeos breves que pudieran publicarse en YouTube y conducir al espectador hacia el texto original.

Para hacerlo combiné herramientas de inteligencia artificial generativa con aplicaciones convencionales de edición. El proceso fue evolucionando a medida que aparecían nuevas necesidades y, también, nuevos problemas.

Herramientas utilizadas

ChatGPT se utilizó para analizar los relatos, identificar las escenas principales, condensar la narración, preparar los guiones visuales, elaborar los prompts y revisar las versiones española e inglesa.

Las primeras imágenes se generaron con Stable Diffusion a través de Hugging Face. Más adelante trasladé el proceso al ordenador local mediante ComfyUI y SDXL Base 1.0, ejecutados en un HP OMEN Max 16 con una tarjeta NVIDIA RTX 5070 Ti Laptop de 12 GB.

El montaje se realizó en Canva, donde incorporé las imágenes, los textos, las transiciones, los movimientos de cámara, la música y la duración de cada escena. Los vídeos terminados se publicaron en YouTube y se incorporaron posteriormente al blog mediante Blogger.

Flujo de trabajo

1. Selección y adaptación del relato

El primer paso consistía en localizar el núcleo del cuento: la imagen, el conflicto o la revelación que debía conservarse. Después dividíamos el relato en un pequeño número de escenas.

Intentar ilustrar cada frase producía una sucesión de diapositivas, no una narración audiovisual. El resultado mejoraba al seleccionar pocos momentos significativos y permitir que el espectador completara las transiciones.

2. Preparación de los prompts

Cada escena se transformaba en una descripción visual que incluía:

• Personajes y vestuario.
• Lugar y época.
• Iluminación y paleta cromática.
• Distancia y posición de la cámara.
• Formato y estilo general.
• Elementos que no debían aparecer.

Mantener una estructura común en los prompts ayudaba a reducir las diferencias entre las imágenes.

3. Generación local con ComfyUI

El flujo básico utilizado en ComfyUI estaba formado por los siguientes nodos:

Checkpoint Loader → CLIP Text Encode → Empty Latent Image → KSampler → VAE Decode → Save Image

Se empleaban prompts positivos y negativos, y las imágenes se guardaban en PNG. Para los vídeos horizontales se trabajó con proporciones como 1344 × 768, preparando posteriormente la exportación final a 1920 × 1080.

Guardar los flujos TXT2IMG_BASE e IMG2IMG_BASE evitaba tener que reconstruir el proceso después de cada sesión o reinicio.

4. Montaje en Canva

Las imágenes seleccionadas se importaban en Canva. Allí se ajustaban:

• Duración de las escenas.
• Recortes y encuadres.
• Acercamientos lentos.
• Transiciones.
• Títulos y textos.
• Música.
• Exportación a MP4.

Los títulos se añadían siempre en Canva. Pedir al generador de imágenes que escribiera texto producía letras deformadas o palabras inexistentes.

Problemas encontrados

Problema	Solución aplicada
Cambios de rostro, vestuario o estilo	Repetir descripciones y mantener una guía visual común
Escenas con colores incompatibles	Definir previamente una paleta, como el azul noche
Imágenes negras durante la decodificación VAE	Establecer el tamaño del lote en 1 e iniciar ComfyUI con --fp32-vae.
Texto defectuoso dentro de las imágenes	Generar sin letras y añadirlas después en Canva
Error CUDA illegal instruction in KSampler	Trabajar en lotes pequeños y guardar cada resultado válido
Reinicios después de varias generaciones	Conservar los flujos y exportar inmediatamente las imágenes
Recortes al cambiar el formato	Elegir 16:9 o 9:16 antes de comenzar la generación

Lecciones aprendidas

La principal conclusión es que el relato debe gobernar la tecnología. Una imagen espectacular no resulta útil si rompe la continuidad del vídeo.

También aprendí que un flujo de trabajo reutilizable vale más que un prompt afortunado, que unas pocas imágenes coherentes funcionan mejor que muchas imágenes inconexas y que el formato final debe decidirse antes de generar.

La inteligencia artificial permite que un escritor que trabaja solo pueda producir una pequeña narración audiovisual. Sin embargo, no elimina la autoría ni las decisiones creativas. Al contrario: cuanto más potentes son las herramientas, más importante resulta saber qué historia se quiere contar.

 

Amazon Author Page _ Página de autor de Amazon

 

Amazon Author Page

Life could be as a recipe, but on the contrary, it is like a labyrinth. You never know what will be the character you will perform in each stage of your life. I earned my life in the past as a telecom engineer. My first job was as an audio specialist at a broadcasting company. Later, I worked as an expert in integrated services digital networks (ISDN) and private communication networks. In this latest phase, I am trying to learn about AI. For this reason, I have translated some English-to-Spanish books featured on my Amazon author page. There aren't many roles left to play, so I would like to share my Amazon author page if anyone is interested in learning about AI:

Amazon Author Page

Thank you very much for consulting it.

Página de autor de Amazon

La vida podría ser como una receta, pero, por el contrario, es como un laberinto. Nunca sabes cuál será el papel que desempeñarás en cada etapa de tu vida. En el pasado, me gané la vida como ingeniero en telecomunicaciones. Mi primer trabajo fue como especialista en audio en una empresa de radiodifusión. Más tarde, trabajé como experto en redes digitales de servicios integrados (ISDN) y redes privadas de comunicación. En esta última etapa, estoy tratando de aprender sobre IA. Por esta razón, he traducido algunos libros del inglés al español que aparecen en mi página de autor de Amazon. No quedan muchos papeles por interpretar, así que me gustaría compartir mi página de autor de Amazon por si alguien está interesado en aprender sobre IA

Página de autor de Amazon

Muchas gracias por consultarla.

Paradox about Relativity - Paradoja sobre relatividad

 Paradox about Relativity

Two identical spaceships cross paths in space, and when their centers align, two wavefronts are created that advance towards the ends of the ships. At the ends of each ship, some mirrors reflect the light waves. Observers at the center of each ship see the wavefronts reach the center of each ship simultaneously. However, from the time the waves are produced until they reach the center of each ship, the ships have moved relative to each other and their centers have separated. Nonetheless, the wavefronts reach the center simultaneously in each ship. The observers verify the simultaneity of the wavefronts. However, when analyzing what happens in the other ship, they will say that the rays are not simultaneous for the observer in the other ship. If the wavefronts are unique, what seems to be happening is that a point in space is not uniquely corresponding to the position of the wavefront, meaning that space is not unique, as we are accustomed to reasoning.

ChatGPT reply

What you describe is an interesting example that can be analyzed within the framework of Einstein's theory of special relativity. Let's break down the problem and understand how special relativity explains these phenomena.

Context and Problem Statement

1. Two identical spaceships cross paths in space. When their centers align, wavefronts are emitted towards the ends of the ships.
2. Mirrors at the ends of each ship reflect the waves.
3. Observers at the center of each ship see the wavefronts reach the center simultaneously. However, the ships have moved relative to each other during the time the wavefronts travel to the ends and back.
4. Simultaneity and Relativity: Each observer concludes that the wavefronts reach the center simultaneously in their own ship, but not in the other ship.

Analysis from Special Relativity

Principle of Relativity

Special relativity tells us that the laws of physics are the same in all inertial reference frames. This means there is no "privileged reference frame," and each observer can consider their own reference frame as valid.

Relative Simultaneity

One of the postulates of special relativity is that simultaneity is relative. This means that two events that are simultaneous in one reference frame do not have to be simultaneous in another reference frame that is moving relative to the first one.

In your example, observers in each ship see the wavefronts reach the center of their respective ships simultaneously. However, due to the relative motion of the ships, what one observer sees as simultaneous will not be simultaneous for the other.

Detailed Explanation

1. Wavefronts in Ship 1:
• In ship 1, when the wavefronts are emitted from the center, they travel to the ends, are reflected by the mirrors, and return to the center. The observer in ship 1 sees the wavefronts reach the center simultaneously.
2. Wavefronts in Ship 2:
• The same happens in ship 2. The wavefronts are emitted from the center, travel to the ends, are reflected, and return to the center, and the observer in ship 2 sees the wavefronts reach the center simultaneously.
3. Perception from Ship 1 about Ship 2:
• The observer in ship 1, who sees their own event as simultaneous, will not see the wavefronts in ship 2 reach the center of ship 2 at the same time. This is because, from their perspective, ship 2 has moved during the travel time of the wavefronts. According to special relativity, the positions and times measured from a moving frame differ from those measured in the observer's own frame of reference.
4. Perception from Ship 2 about Ship 1:
• Similarly, the observer in ship 2 will not see the wavefronts in ship 1 reach the center of ship 1 simultaneously, due to the relative motion of ship 1 from their point of view.

Conclusion

Special relativity introduces the idea that space and time are not absolute but are interrelated and depend on the observer's state of motion. This explains why the wavefronts can arrive simultaneously in each ship from the perspective of the observers in each ship, but not when observing the event in the other ship.

In summary, the wavefronts are unique, but the perception of their simultaneity depends on the observer's frame of reference, reflecting the non-uniqueness of space-time in special relativity.

 

 

Paradoja sobre relatividad

 

Dos naves espaciales exactamente iguales se cruzan en el espacio y cuando los centros de estas se enfrentan, se crean dos frentes de onda que avanzan hacia los extremos de las naves. En los extremos de cada nave hay dos espejos que reflejan las ondas luminosas. Los observadores que están en el centro de cada nave ven que los frentes de onda llegan al mismo tiempo al centro de cada nave. Sin embargo, desde que se producen las ondas hasta que llagan al centro de cada nave, estas se han desplazado una con respecto a la otra y sus centros se han separado. sin embargo, los frentes de onda llegan de forma simultánea a cada centro. Los observadores comprueban la simultaneidad de los frentes de onda. Sin embargo, cuando analizan que ocurre en la otra nave, dirán que los rayos no son simultáneos para el observador de la otra nave. Si los frentes de onda son únicos, lo que parece que ocurre es que un punto del espacio no es unívoco con la posición del frente de onda, es decir, que el espacio no es único, como estamos acostumbrados a razonar.

Respuesta de ChatGPT

Lo que describes es un interesante ejemplo que se puede analizar dentro del marco de la teoría de la relatividad especial de Einstein. Vamos a desglosar el problema y entender cómo la relatividad especial explica estos fenómenos.

Contexto y Planteamiento del Problema

1. Dos naves espaciales idénticas se cruzan en el espacio. Cuando sus centros se alinean, se emiten frentes de onda hacia los extremos de las naves.
2. Espejos en los extremos de cada nave reflejan las ondas.
3. Observadores en el centro de cada nave ven que los frentes de onda llegan al mismo tiempo. Sin embargo, las naves se han desplazado una respecto a la otra durante el tiempo que tardan los frentes de onda en viajar a los extremos y regresar.
4. Simultaneidad y Relatividad: Cada observador concluye que los frentes de onda llegan simultáneamente en su propia nave, pero no en la otra nave.

Análisis desde la Relatividad Especial

Principio de la Relatividad

La relatividad especial nos dice que las leyes de la física son las mismas en todos los marcos de referencia inerciales. Esto significa que no hay un "marco de referencia privilegiado" y cada observador puede considerar su propio marco de referencia como válido.

La Simultaneidad Relativa

Uno de los postulados de la relatividad especial es que la simultaneidad es relativa. Esto significa que dos eventos que son simultáneos en un marco de referencia no tienen por qué ser simultáneos en otro marco de referencia que se mueve respecto al primero.

En tu ejemplo, los observadores en cada nave ven los frentes de onda llegar simultáneamente al centro de sus respectivas naves. Sin embargo, debido al movimiento relativo de las naves, lo que un observador ve como simultáneo no lo será para el otro.

Explicación Detallada

1. Frentes de Onda en la Nave 1:
• En la nave 1, cuando los frentes de onda son emitidos desde el centro, estos viajan hacia los extremos, son reflejados por los espejos y regresan al centro. El observador en la nave 1 ve que los frentes llegan simultáneamente al centro.
2. Frentes de Onda en la Nave 2:
• En la nave 2 ocurre lo mismo. Los frentes de onda son emitidos desde el centro, viajan hacia los extremos, son reflejados y regresan al centro, y el observador en la nave 2 ve que los frentes llegan simultáneamente al centro.
3. Percepción desde la Nave 1 sobre la Nave 2:
• El observador en la nave 1, que ve su propio evento de forma simultánea, no verá los frentes de onda de la nave 2 llegar al centro de la nave 2 al mismo tiempo. Esto es porque, desde su perspectiva, la nave 2 se ha movido durante el tiempo de viaje de los frentes de onda. Según la relatividad especial, las posiciones y tiempos medidos desde un marco en movimiento difieren de los medidos en el propio marco de referencia.
4. Percepción desde la Nave 2 sobre la Nave 1:
• De manera similar, el observador en la nave 2 no verá los frentes de onda en la nave 1 llegar simultáneamente al centro de la nave 1, debido al movimiento relativo de la nave 1 desde su punto de vista.

Conclusión

La relatividad especial introduce la idea de que el espacio y el tiempo no son absolutos, sino que están interrelacionados y dependen del estado de movimiento del observador. Esto explica por qué los frentes de onda pueden llegar de forma simultánea en cada nave desde la perspectiva de los observadores en cada nave, pero no cuando observan el evento en la otra nave.

En resumen, los frentes de onda son únicos, pero la percepción de su simultaneidad depende del marco de referencia del observador, lo que refleja la no unicidad del espacio-tiempo en la relatividad especial.

Strategies to Get Hired by Nvidia for Remote Work - Estrategias a seguir para ser contratado por Nvidia para trabajar en remoto

 Strategies to Get Hired by Nvidia for Remote Work

To secure a remote job at Nvidia, it's essential to combine solid technical preparation with effective job search and networking strategies. Here are some detailed strategies:

1. Develop Relevant Skills

Nvidia specializes in areas such as artificial intelligence, computational graphics, and cloud computing. Ensure you have skills in these fields:

• Programming Languages: Python, C++, CUDA.
• Frameworks and Tools: TensorFlow, PyTorch, Keras, OpenCV.
• Technical Knowledge: Deep learning, graphics algorithms, parallel processing.

2. Build a Strong Portfolio

Showcase your skills and experience through a well-structured portfolio:

• Personal Projects: Publish your projects on platforms like GitHub.
• Open Source Contributions: Participate in relevant open-source projects.
• Publications and Technical Articles: Write about your projects and knowledge on blogs or sites like Medium.
• Competition Participation: Participate in data science and AI competitions on platforms like Kaggle.

3. Networking and Professional Connections

• LinkedIn: Optimize your profile and connect with Nvidia employees and other industry professionals.
• Conferences and Events: Attend (virtually or in-person) AI, graphics, and technology-related conferences and meetups.
• Online Groups and Forums: Join communities on Reddit, Stack Overflow, and other forums discussing topics relevant to Nvidia.

4. Apply for Remote Jobs at Nvidia

• Nvidia’s Website: Regularly check the careers section and filter for remote jobs.
• Job Platforms: Use LinkedIn, Glassdoor, Indeed, and other platforms to search for Nvidia job openings.
• Job Alerts: Set up alerts to receive notifications of new job openings at Nvidia.

5. Customize Your Application

• Resume and Cover Letter: Tailor your resume and cover letter to highlight your skills and experiences relevant to each specific position.
• Relevant Projects: Highlight the projects in your portfolio that align with the job you are seeking at Nvidia.

6. Interview Preparation

• Company Research: Thoroughly research Nvidia, its products, and its corporate culture.
• Technical Interviews: Practice coding problems and algorithms on sites like LeetCode, HackerRank, and CodeSignal.
• Soft Skills: Prepare for questions about teamwork, problem-solving, and time management, especially in a remote environment.

7. Advanced Certifications and Courses

• Technical Certifications: Obtain relevant certifications such as TensorFlow Certification or specialized courses in AI and deep learning.
• Online Courses: Complete advanced courses on platforms like Coursera, edX, Udacity, or Udemy in key areas for Nvidia.

8. References and Recommendations

• Request Recommendations: Ask colleagues and supervisors to provide recommendations that validate your skills and experience.
• Internal Referrals: If you know someone working at Nvidia, ask them to refer you internally.

9. Build an Online Presence

• Professional Profile: Ensure your LinkedIn profile is complete and updated, highlighting your skills and relevant projects.
• Social Media: Use Twitter and other professional social networks to follow Nvidia and participate in relevant conversations.

Applying these approaches will help you stand out and increase your chances of being hired by Nvidia for a remote position.

 

 

 

Estrategias a seguir para ser contratado por Nvidia para trabajar en remoto

ChatGPT

Para conseguir un trabajo remoto en Nvidia, es fundamental que combines una sólida preparación técnica con estrategias efectivas de búsqueda de empleo y networking. Aquí tienes algunas estrategias detalladas:

1. Desarrolla Habilidades Relevantes

Nvidia se especializa en áreas como inteligencia artificial, gráficos computacionales y computación en la nube. Asegúrate de tener habilidades en estos campos:

• Lenguajes de Programación: Python, C++, CUDA.
• Frameworks y Herramientas: TensorFlow, PyTorch, Keras, OpenCV.
• Conocimientos Técnicos: Deep learning, algoritmos de gráficos, procesamiento paralelo.

2. Crea un Portafolio Sólido

Muestra tus habilidades y experiencia a través de un portafolio bien estructurado:

• Proyectos Personales: Publica tus proyectos en plataformas como GitHub.
• Contribuciones a Código Abierto: Participa en proyectos de código abierto relevantes.
• Publicaciones y Artículos Técnicos: Escribe sobre tus proyectos y conocimientos en blogs o sitios como Medium.
• Participación en Competencias: Participa en competencias de data science y AI en plataformas como Kaggle.

3. Networking y Conexiones Profesionales

• LinkedIn: Optimiza tu perfil y conecta con empleados de Nvidia y otros profesionales del sector.
• Conferencias y Eventos: Asiste a conferencias y meetups (virtuales o presenciales) relacionados con AI, gráficos y tecnología.
• Grupos y Foros Online: Únete a comunidades en Reddit, Stack Overflow, y otros foros donde se discutan temas relevantes para Nvidia.

4. Aplica a Trabajos Remotos en Nvidia

• Sitio Web de Nvidia: Revisa regularmente la sección de carreras y filtra por trabajos remotos.
• Plataformas de Empleo: Usa LinkedIn, Glassdoor, Indeed, y otras plataformas para buscar ofertas de Nvidia.
• Alertas de Empleo: Configura alertas para recibir notificaciones de nuevas ofertas de trabajo en Nvidia.

5. Personaliza Tu Aplicación

• Currículum y Carta de Presentación: Adapta tu CV y carta de presentación para resaltar tus habilidades y experiencias relevantes para cada puesto específico.
• Proyectos Relevantes: Destaca los proyectos en tu portafolio que estén alineados con el trabajo que buscas en Nvidia.

6. Preparación para Entrevistas

• Estudio de la Empresa: Investiga a fondo sobre Nvidia, sus productos y su cultura empresarial.
• Entrevistas Técnicas: Practica problemas de programación y algoritmos en sitios como LeetCode, HackerRank, y CodeSignal.
• Soft Skills: Prepárate para preguntas sobre trabajo en equipo, resolución de problemas y manejo del tiempo, especialmente en un entorno remoto.

7. Certificaciones y Cursos Avanzados

• Certificaciones Técnicas: Obtén certificaciones relevantes como la Certificación de TensorFlow, o cursos especializados en AI y deep learning.
• Cursos en Línea: Completa cursos avanzados en plataformas como Coursera, edX, Udacity o Udemy en áreas clave para Nvidia.

8. Referencias y Recomendaciones

• Solicita Recomendaciones: Pide recomendaciones de colegas y supervisores que puedan validar tus habilidades y experiencia.
• Referencias Internas: Si conoces a alguien que trabaja en Nvidia, pídele que te refiera internamente.

9. Construye una Presencia en Línea

• Perfil Profesional: Asegúrate de que tu perfil en LinkedIn esté completo y actualizado, destacando tus habilidades y proyectos relevantes.
• Redes Sociales: Utiliza Twitter y otras redes sociales profesionales para seguir a Nvidia y participar en conversaciones relevantes.

Aplicar estos enfoques te ayudará a destacar y aumentar tus posibilidades de ser contratado por Nvidia para un trabajo remoto.