Aranhaverso: Linhas de tinta e aprendizado de máquina.

Artigo original do fxguide.

Pav Grochola é supervisor de efeitos na Sony Pictures Imageworks (SPI) e foi o co-supervisor de efeitos no Homem-Aranha no Aranhaverso vencedor do Oscar (junto com Ian Farnsworth). Ele foi encarregado de resolver como produzir o trabalho linha de tinta natural para o filme.

O Machine Learning deu ao SPI a aparência natural de que precisavam para um estilo ilustrativo de quadrinhos em animação CG

Um componente visual crítico para alcançar com sucesso o estilo ilustrativo de quadrinhos, em CGI, foi a criação de linhas de trabalho ou “linhas de tinta”. A SPI nos testes descobriu que qualquer abordagem que envolva a criação de linhas de tinta com base em "regras" procedurais (por exemplo, toon shaders) era ineficaz para alcançar a aparência natural desejada. O problema fundamental é que os artistas simplesmente não desenham com base em "conjuntos de regras" ou diretrizes limitadas. A SPI precisava de uma solução muito mais robusta para o problema de criar linhas de tinta desenhadas à mão e uma maneira de colar e ajustar esses desenhos nas animações.


Pav Grochola se junta como um colaborador convidado para explicar como o SPI usou o aprendizado de máquina (ML) para resolver o problema.

A versão do Toon Shader

A imagem acima ilustra o desafio de criar linhas de tinta desenhadas à mão em cima de personagens animados. Isso mostra um exemplo típico de uso de um "toon shader" e o resultado indesejável que ele produz. Existe uma falta do design de um desenho feito à mão e o aspecto resultante é processual. A SPI precisava de uma maneira melhor de capturar as complexas decisões artísticas feitas quando se desenha.


Na próxima imagem, as linhas de tinta são desenhadas com o desenho desejado no painel esquerdo, no entanto, elas não são ajustadas conforme o personagem se move. Observe como as linhas de tinta ficam bem no painel esquerdo - no entanto, elas rapidamente desmoronam quando Miles vira a cabeça. “O trabalho de linha não corresponde corretamente mais, particularmente a linha do maxilar. Nós obteríamos esse resultado se tentássemos criar linhas de tinta como um simples mapa de textura. Precisávamos de uma maneira de ajustar facilmente os desenhos para que eles mantivessem seu design correto durante toda a animação ”, explicou Grochola.

Linhas de tinta não se movem corretamente

Na figura de baixo abaixo, o sistema ML ajusta corretamente o desenho quando Miles vira a cabeça.


Método SPI

Curta metragem "Paperman" da Disney

A equipe investigou outras técnicas de linha de tinta, por exemplo, o "Paperman", da Disney. Esse método criou campos de velocidade de espaço de tela a partir dos dados de animação e advectando linhas com esses campos. “Apesar de bem-sucedidos, descobrimos que lidar com os campos de velocidade é incômodo. Eles eram particularmente problemáticos quando havia geometria sobreposta - por exemplo, se uma mão se movia em um rosto. Dividir vários campos de velocidade torna-se impraticável ”, diz Grochola. A abordagem da Disney Paperman também não se prestava a armazenar soluções de desenho de uma cena para outra, uma eficiência que a equipe estava disposta a ter, dada a contagem de cenas de seu filme. Após análise, Grochola explica que eles concordaram, “nós queríamos criar um sistema que aproveitasse o aprendizado de máquina”.


A ferramenta de linha de tinta SPI possui dois modos para superar os dois principais desafios técnicos com a criação de um conjunto realístico de linhas de tinta: A ferramenta “modo manual” foi criada para colar linhas de tinta (geometria de curva) em geometria 3D animada com controles para facilitar para artistas modificarem os desenhos. As linhas de tinta precisavam de ajustes constantes para manter seu design inspirado em 2D correto, para evitar que aparecessem como um mapa de textura padrão, em vez de um desenho dinâmico. O segundo desafio técnico foi capturar e catalogar esses ajustes artísticos feitos em linhas de tinta, a fim de acelerar o fluxo de trabalho usando o aprendizado de máquina. Esse "modo de aprendizado de máquina" acelerou a capacidade do artista de produzir linhas de tinta de maneira muito mais previsível e com maior eficiência.


Modo manual

Para o filme, os artistas desenham diretamente no personagem para obter a linha correta para uma pose específica em um personagem. Depois de desenhar linhas de tinta, os artistas usavam um "pincel" para ajustar seus desenhos com rapidez e facilidade. Os ajustes foram automaticamente adicionados e interpolados pela ferramenta. “Projetamos as curvas diretamente na geometria e interpolamos os ajustes no espaço da tela ou em um espaço UV arbitrário (no caso de interpolações de aprendizado de máquina). Ter artistas trabalhando em um espaço de tela 2D foi fundamental, já que este é o espaço mais intuitivo para os artistas desenharem e ajustarem para obter o resultado que procuravam ”, lembra Grochola. A tradução de volta para um espaço 3D aconteceu automaticamente, economizando tempo e esforço do artista para fazer esses ajustes. (Veja a imagem abaixo). Os artistas poderiam trabalhar no espaço 2D e usar um pincel macio para ajustar o desenho.

Captura de tela de um artista usando a ferramenta no "modo manual"

Modo de aprendizado de máquina

Existe uma relação complexa entre os ajustes feitos pelos artistas nas linhas de tinta e a posição dos personagem para ver os ângulos e expressões. Usando a ferramenta manual, a equipe faria esses ajustes manualmente. "Determinamos que, a fim de acelerar a produtividade do artista ao longo do projeto, utilizaríamos o aprendizado de máquina para ajudar nossos animadores a obterem um resultado inicial previsto que lhes proporcionaria uma primeira passagem razoável da criação de linhas de tinta", explicou Grochola. A imagem abaixo mostra uma previsão de aprendizado de máquina. Usando o fluxo de trabalho padrão de “ajustar”, o artista ainda poderia fazer ajustes para corrigir o desenho.

A ferramenta aprendizado de máquina: um exemplo de previsão

Treinamento de Aprendizado de Máquina

Para treinamento em aprendizado de máquina, a equipe moveu seus desenhos para um espaço UV arbitrário. O desenho se moveria nesta base espacial no ajuste artístico. O movimento desses pontos, neste espaço, tornou-se o dado “alvo” para aprendizado de máquina. Quando as previsões eram chamadas, elas eram chamadas nesse espaço e depois "transformadas" de volta no espaço 3D. O aprendizado de máquina tenta responder à pergunta: qual é a relação entre desenhos neste espaço em relação aos recursos de entrada - como ângulo relativo da câmera e deformação relativa? Ver abaixo.

Espaços de aprendizagem

Para dados de treinamento, “criamos animações arbitrárias de 360º a partir de diferentes ângulos, juntamente com alterações de expressão. Usando a ferramenta de linha de tinta no “Modo Manual”, os artistas criaram desenhos para esses ângulos e expressões ”(como visto nas imagens finais abaixo). A equipe moveu essas curvas animadas para um espaço UV arbitrário para treinamento de aprendizado de máquina. Isso se tornou o “alvo” de um conjunto de dados de treinamento da primeira geração (cerca de 600 quadros por personagem).

Os "recursos" eram o ângulo relativo da câmera e as mudanças de expressão. “Nós então treinamos um modelo usando scikit-learn (especificamente GradientBoostingRegressor) diretamente no Houdini. Usando python e scikit-learn nós carregamos esses modelos de aprendizado recém-criados em Houdini e podemos chamar a previsão para novas animações ”, diz Grochola. “Passamos por essas etapas mais uma vez em outro conjunto de animações arbitrárias. Desta vez, usamos a previsão de aprendizado de máquina a partir dos dados de treinamento de primeira geração e os inserimos usando a ferramenta no modo Aprendizado de máquina. ”Esses dados de treinamento da segunda geração reforçaram as soluções corretas e ajustaram as incorretas. O modelo final treinado usou o primeiro e o segundo conjunto de dados de treinamento e mostrou melhora definitiva em relação ao primeiro.


Texto traduzido de: https://www.fxguide.com/fxfeatured/ink-lines-and-machine-learning/


  • Facebook
Se inscreva para receber os posts.

©2020 Dama Invisível por anavfx.com