Memória de vídeo 4G com configuração baixa para reproduzir AIGC! O novo trabalho do autor do ControlNet alcançou o topo da hot list do GitHub

Fonte do artigo: Qubit

Texto: Cressy Xiaoxiao

Jogue AI Painting, agora você não precisa se preocupar em ser "apunhalado pelas costas" pelas habilidades de faca do Velho Huang!

Tudo que você precisa é de uma GTX 1650 (memória de vídeo de 4 GB) de 4 anos atrás, e o efeito de renderização de IA é comparável ao melhor modelo de código aberto SDXL atual.

** **△ Fonte: Twitter @ナビ

Este é um novo projeto Fooocus que dominou a lista TOP 1 do GitHub por vários dias consecutivos. Ele foi marcado com 4K em três dias. Ele é produzido pelo autor ControlNet.

Antes que acontecesse, se você quiser rodar o modelo XL mais recente do Stable Diffusion sem problemas, você terá que usar o 4060ti com memória de vídeo de 16G (o 3060 original com memória de vídeo de 12G reluta muito em rodar).

Ao contrário de outras ferramentas de IA de código aberto, Fooocus "foca na geração em si", não apenas tem baixos requisitos de hardware, mas também é fácil de usar, muito amigável para iniciantes——

Não há necessidade de ajustar nenhum parâmetro em todo o processo, basta clicar com o mouse e uma imagem pode ser gerada em 3 etapas.

** ****△**Fonte da imagem Twitter @Photogenic Weekend

Alguns internautas gritaram: “Este é simplesmente o culminar de Stable Diffusion e Midjourney”:

Diga adeus ao ajuste manual! Off-line, de código aberto e gratuito, basta solicitar palavras e imagens e deixar a mágica acontecer!

Alguns internautas lamentaram: Até mesmo Xiaobai pode aproveitar ao máximo o efeito do modelo Stable Diffusion XL.

Então, qual é o efeito real de geração desta nova ferramenta de IA de imagem? Nós tentamos.

Colab desenha a imagem em meio minuto, o efeito é comparável ao SD

Do ponto de vista da interface de execução, o Fooocus tem mais de cem estilos integrados para você escolher.

** ****△**Fonte da imagem Twitter @camenduru

Quanto à eficiência, Fooocus também é muito rápido no desenho. No Colab, leva cerca de meio minuto para desenhar uma imagem no modo de prioridade de velocidade:

O tempo exibido no log é o tempo de desenho, mas antes havia um processo de análise de texto, que demorava cerca de 40 segundos no total:

** **### △A imagem foi acelerada

Em seguida, deixe-o desenhar uma caricatura primeiro e veja como será a “Guerra Mazar” da perspectiva da IA. (Não este Mazaha)

Devido à geração direta de retratos com IA, ainda existem alguns problemas com o manuseio das mãos, então simplesmente deixamos Musk e Zuckerberg usarem luvas:

O efeito parece ser muito bom. Não sei se eles têm alguma aposta, mas é melhor deixar o perdedor vir se fantasiar.

(Lembrete: não há vencedor em uma luta)

No final, os dois “apertam as mãos e fazem as pazes”, e essa cena preciosa também foi registrada pelo fotógrafo. O quadro geral tem esse gosto?

Após o término da “Batalha de Mazar”, Lao Ma obedientemente retornou à empresa e vendeu Tesla.

Se você ignorar o LOGOTIPO, o sentido do design do pôster é bastante on-line.

Na verdade, cada estilo integrado do Fooocus é muito interessante, então vamos dar uma olhada nessas imagens ao vivo de estilos diferentes:

Quando se trata de imitar obras famosas, há uma versão Cyberpunk, uma versão Zelda, uma versão Minecraft e até uma versão Pokémon de Musk para assistir.

Quanto a outras formas de arte, existem os estilos Pixel e Lowpoly, bem como versões Nendoroid e Scissorial…

Claro, existem infinitos exemplos, leitores e amigos de mais estilos podem experimentar por si próprios.

(É preciso dizer que o texto no desenho da IA finalmente não é um desenho fantasma)

Os grandes pintores já estão impacientes e querem experimentar? Apresentaremos como jogar Fooocus em um momento!

A interface do Fooocus pertence à tia Jiang, que pode ser considerada muito concisa:

Se você está apenas tentando algo novo e não tem requisitos especiais, esta caixa de prompt é suficiente.

Como o autor internalizou muitas habilidades complexas no programa, essas operações de ajuste de parâmetros não precisam mais ser feitas manualmente.

Entre diretamente na caixa abaixo, clique no botão gerar e aguarde a produção do desenho.

(Por padrão, duas imagens são exibidas por vez, o tamanho é 1152×896, o estilo é cinematográfico padrão e a velocidade é priorizada)

Se forem necessárias configurações avançadas, marque Avançado no canto inferior esquerdo e as informações de configuração aparecerão no lado direito da página, divididas em três guias:

Os itens que podem ser ajustados incluem tamanho, quantidade, estilo, desempenho e muito mais.

Se você é jogador profissional, também pode escolher a versão do modelo e até ajustar os parâmetros LoRA.

Além disso, há um jogo sofisticado de ajuste de nitidez.

Para o mesmo conteúdo, o GIF a seguir mostra a mudança de nitidez de 2 para 10 e depois para 20. Pode-se observar que à medida que a nitidez aumenta, os detalhes da imagem tornam-se cada vez mais abundantes:

No entanto, quanto ao suporte do Fooocus para chinês, também tentamos, mas é uma pena que ainda não esteja disponível.

Por exemplo, inserimos a palavra “maçã” e o resultado é uma menina.

Isso... está tentando dizer "Você é a menina dos meus olhos"?

Agora você provavelmente sabe como jogar Fooocus, então como configurá-lo?

Se você tiver uma máquina Windows com placa gráfica Nvidia, poderá usar a versão pronta para uso. (Provavelmente esta é a 114514ª vez que Lao Huang ganha mahjong)

Ao mesmo tempo, o hardware precisa atender aos requisitos mínimos de configuração – 4 GB de memória de vídeo + 8 GB de memória.

Baixe diretamente daqui primeiro:

Após a descompactação, clique duas vezes em run.bat para executar, o sistema baixará automaticamente o modelo e o implantará, podendo ser usado após a conclusão da configuração.

Os requisitos de configuração da versão Linux são os mesmos do Windows, mas o processo de configuração é mais complicado.

(Se você possui o Jupyter, também pode consultar o arquivo de notas usado no Colab)

Primeiro, instale as dependências do ambiente:

clone cd Fooocus conda env create -f ambiente.yaml conda ativar fooocus pip instalar -r requisitos_versões.txt

Em seguida, baixe o arquivo do modelo e armazene-o no diretório especificado:

** **△ Para obter detalhes, consulte a página do GitHub

Claro, você também pode permitir que o sistema baixe automaticamente o modelo:

python lançamento.py

Se você estiver usando um Mac ou se a configuração do hardware não atender aos requisitos, você também pode executá-lo diretamente com o Colab.

(Portal:

Porém, o que ainda tenho do que reclamar é que a versão do Colab irá travar diversas vezes de vez em quando, parando automaticamente ou estourando a memória...

Se você deseja executar o Fooocus com mais facilidade no Mac ou no computador com cartão A, pode aguardar a atualização do autor.

No geral, o efeito de saída de imagem do Fooocus é bom. Se a palavra de prompt for bem selecionada, ela pode até ser usada como Difusão Estável. A chave é que os requisitos de configuração de hardware não são altos.

Como diabos isso é possível?

Do último projeto do autor da ControlNet

Em termos de design de arquitetura, o Fooocus está dividido principalmente em duas partes: a interface interativa e o modelo de IA.

Entre eles, interface interativa refere-se a dois projetos, nomeadamente stable-diffusion-webui e ComfyUI.

stable-diffusion-webui é principalmente o design front-end da interface interativa:

ComfyUI tem GUI e design de back-end de Stable Diffusion:

Quanto ao modelo AI, pode-se observar que é utilizado o novo modelo SDXL de Difusão Estável:

Esta é atualmente uma das melhores versões do Stable Diffusion, e o efeito de geração foi muito melhorado em comparação com a versão anterior 1.5.

No entanto, embora o modelo e o design da UI do Fooocus se refiram ao projeto de código aberto Stable Diffusion pronto, o autor incorporou muito de seu próprio design de otimização ao criá-lo, fazendo com que o modelo funcionasse de maneira mais suave.

Por exemplo, o autor adotou cuidadosamente o método avançado de amostragem de difusão k projetado por ele mesmo em Fooocus, que pode melhorar a continuidade da amostragem, reduzir a perda de desempenho e melhorar a eficiência da amostragem;

Além disso, o autor também ajustou cuidadosamente os parâmetros do amostrador (Sampler) e modificou e adicionou algumas novas configurações, incluindo o estilo do filme com base na versão original.

A razão pela qual a opção LoRA foi adicionada ao Fooocus é que o autor descobriu que o modelo SDXL com LoRA (configuração de peso inferior a 0,5) é quase sempre melhor que o modelo SDXL sem LoRA.

O autor que desenvolveu o projeto Fooocus se chama Lvmin Zhang. Ele se formou na Soochow University em 2021 e atualmente é estudante de doutorado na Stanford University.

Vários projetos que ele fez, incluindo ControlNet e style2paints, quase todos explodiram:

Agora, o projeto mais recente, Fooocus, parece ser igualmente popular.

Nas redes sociais, alguns internautas compilaram espontaneamente a versão Fooocus de uma coleção de palavras prontas em diferentes estilos do Excel.

Se você não sabe que tipo de imagem gerar, basta consultar as palavras deste documento:

Você já descobriu que tipo de imagens deseja gerar com o Fooocus?

endereço do projeto:

Link de referência: [1] [2] Coleção de palavras de alerta: [3] [4]