Boa, sim precisa de gpu boa, eu ainda tenho só uma 3060 e um Intel integrado pra essa brincadeira, senão dava pra testar essas mais pesadas
Discussion
Estou baixando alguns de 13bi e 30bi, minha GPU só tem 4 GB de VRAM, e o processador 6 nucleos, vamos ver como vai se comportar, se alguma funcionar muito bem eu te passo aqui qual
Boa mano,eu tenho 16 núcleos, pelo 16 gbram e 3060 12gb modelos até 14gb roda de boa liso, mas ollama 3.2 foi a melhor pelo que testei também mas testei pouco...
Pra códigos não achei excelente achei algos bem aproximados ao gpt, as vezes repeditos coisas e sugeridos códigos brisados ....
Nos meus testes atendeu melhor que o GPT pra código em alguns casos, ainda tem alucinações, mas aà até o GPT tem kkk
E o melhor é que o llama3.2 de 1b é melhor que o de 3b. Vou usar pra gerar testes pro meu código por enquanto, sempre tenho que revisar mesmo de qualquer forma. Gostei muito do llama3.2 de 1b, recomendo.
Boa vou testar esse 1gb
Cara, encontrei um modelo muito bom, os não sencurados são bem ruins e alucina muito porque foram destreinados e etc, mas ollama3.2 normal de 1 bilhão de parâmetros é muito bom pelo tamanho, estou testando, só tem 1.3 GB roda em qualquer máquina sem GPU, é rápido e gera código e texto razoável, me surpreendeu demais em relação aos modelos não sencurados que estava testando.