La aplicación de openFrameworks titulada “All work and no play” de Guillaume Massol observa videos procedentes de diferentes conjuntos de datos de entrenamiento y genera frases basadas de forma libre en lo que está ocurriendo en la pantalla, a veces creando perlas de sabiduría por coincidencia.
Parte del texto es generado utilizando los modelos creados por Ross Goodwin para su proyecto NeuralSnap. NeuralSnap es parte de la investigación continua de Ross, desarrollando herramientas que espera servirán para aumentar la creatividad humana. Específicamente, NeuralTalk2 usa redes neuronales convolucionales y recurrentes para poner subtítulos a imágenes. Ross entrenó su propio modelo en el conjunto de datos MSCOCO, utilizando las directrices generales pero hizo ajustes para aumentar la verbosidad. Luego entrenó una red neuronal recurrente usando Char-RNN en aproximadamente 40MB de poesía (principalmente) del siglo XX de una variedad de escritores (y una variedad de culturas) de todo el mundo.
En el ejemplo creado por Guillaume, el texto es la combinación de subtítulos de imagen y el texto generado por la red entrenada en poesía. Aunque en ocasiones el texto parece arbitrario, inevitablemente buscamos significado en las imágenes – casi de la misma manera que lo hacen las máquinas entrenadas.
Todo el contenido es generado en tiempo real (excepto los videos). También puedes ver la versión en vivo (pre-generada) aquí.
