Несмотря на разочаровывающие в сравнении с Gemini результаты продолжаю пробовать локальные нейросети. Мне они нужны в основном для поиска информации в стиле Perplexity и для генерации текста

Увы, лучшие из LLM, которыми вроде являются Gemma и Llama, с этими задачами, а особенно с русским языком, справляются очень посредственно

Однако недавнее часовое отсутствие Интернета с общим моим пессимистичным настроем на будущее заставляет всё-таки искать какие-то варианты, которые будут работать локально, без VPN и даже без Интернета (генерация, не поиск, конечно).

Нашел сообщество Vikhr на Hugging Face, которое дообучает популярные открытые нейросети на русскоязычных данных:

https://huggingface.co/Vikhrmodels

И скачал приложение Pocket Pal для запуска моделей на телефоне:

https://play.google.com/store/apps/details?id=com.pocketpalai

В него можно грузить модели напрямую с Hugging Face.

Так получилось, что на телефоне у меня 12 gb Ram, а на компьютере — только 4. Поэтому пробую на телефоне :)

Особых надежд, конечно, нет, но может быть получится найти среди Vikhr моделей что-то более-менее вменяемое.

P.S. Nemo Orpo (Mistral) с именем Достоевский, которую только что скачал, не справилась банально с падежами и согласованием слов в предложении на русском. Как и оригинальная Llama.

Будем искать