Quanto eu preciso pra rodar uma IA no PC?
Discussion
LLM e modelos de difusão local? Modelos de texto são bastante pesados e os disponíveis para uso local geralmente não têm a mesma qualidade dos online, mas funcionam. Para rodar modelos locais de geração de imagem é necessário no mínimo 6 GB de VRAM, mas a geração pode levar cerca de 5 minutos ou mais dependendo do tamanho do modelo.
O mínimo para ambos os casos é um Ryzen 5 de terceira geração ou superior, ou um i5 de oitava geração ou superior, com 16 GB de RAM e GPU com 6 GB de VRAM. Essa configuração está no limite, a máquina pode travar, mas eventualmente consegue rodar. Com o dobro de memória RAM e VRAM o desempenho já fica muito bom, mas os modelos locais já não conseguem mais competir com os modelos online em muitas áreas, especialmente em vídeo, então se você quiser investir especialmente para rodar IA pode não ser uma boa ideia.
Tem projetos para rodar LLM num raspberry pi 4 ou 5, o pessoal jura que é bom, mas nunca vi como funciona.
depende do modelo, mas pra um deepseek da vida, pelo menos uns 32gb de ram e um processador de 8 nucleos e 16 threads