Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №261 /llama/
Аноним
29/08/26 Суб 00:09:27
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1687604 (OP)
>>1684266 (OP)
Тлдр все рукожопы
Разве нельзя просто догадаться по весу? Все равно ты на него в первую очередь ориентируешься, ведь важно только насколько хорошая модель влезет в твое железо
Qwen3.8-Flash-Next-Uncensored-IQ4_XS
На 3060 12гб с --tensor-read-lazy on -b 1024 -c 139144 --tensor-read-lazy on дает 11.79 t/s.
В принципе неплохо для видюхи за 200 баксов.
Только разгоняется долго, надо 12 запросов, чтобы ее раскочегарить.
>Здесь мы делимся рецептами запуска, настроек и годных промтов
Какой кринж. Хотя всем известно, что модель нужно запускать под линуксом, лама сипипи пайтон, с faiss, нтлк и кастомным харнессом.
Но кому я это рассказываю - тут кроме салфеток перед глазами ничего не видят
Упёрлось всё в электроэнергию - приходится брать деньги у людей
Какие дорогие токены, на локалке бесплатно гоняется. Причем еще и побыстрее флеш версии. Флеш вообще сплошное разочарование везде кроме справочной информации.
Ого, оффлоаднуть файл с эмбеддингом на SSD правда помогло, скорость подросла до 13.22 t/s
текущая сборка AMD Ryzen 9 9950X3D OEM
ASRock B850 Pro RS
Всё же их новый флеш это конечный ответ по вопросу новой 30-3 или эира, мужики решили не быть робин гудами нихуя.
Нищий биоскот, флэш это уже барский подгон. Ты что его третий квант не можешь запустить? Ну купи оперативки тогда, что могу сказать. Нету денег, у родных займи. Ты чем от негра из телеги сосаки отличаешься-то, который хочет фронтир интеллиженс на ноутбуке для учебы?
> Ты что его третий квант не можешь запустить
>флэш это уже барский подгон
И действительно, потому что когда открытые модели стали переваливать за терабайт параметров, очень многие риги натурально превратились в тыкву. А так хоть с ригом реально фронтир пощупать.
А в чем я не прав? Для твоих бытовых задач подрочить, chat, where did I leave my keys? тебе хватит. Надо больше:
> Ну купи оперативки тогда, что могу сказать. Нету денег, у родных займи.
>>1690139
Ну и становится понятно, что чтобы и дальше щупать все новинки, надо обновляться.
Тебе такой сильный проц по идее ни к чему, инференс на цпу гораздо раньше упрется в скорость памяти, чем в мощь проца.
На пикчу посмотри. Токены квена весят в 3 раза больше чем токены геммы, то есть заьивают в три раза больше врам
> А в чем я не прав?
> Ну и становится понятно, что чтобы и дальше щупать все новинки, надо обновляться.
Ну я год назад обновился чтобы щупать новинки, мог запустить эир в 5 кванте, квен некст в 6 кванте. Теперь мне говорят опять обновиться, а железо на рынке прежнее, да ещё и по ценам х6. Через год флеши скакнут до 700б и опять надо будет обновиться. Предоставьте 256гб ддр6 одним модулем в игровую пк за 50к, тогда поговорим
Возможно, в таком случае локалки не для тебя, анон. Есть и другие увлечения, например, алкоголизм или собирание бирюлек. У меня дед говорил: "Веж живи, век бирюльки собирай". Мудрый был мужик.
>Есть и другие увлечения, например, алкоголизм или собирание бирюлек.
Не. Если бы локалок не было, можно бы и бирюльки, а так уже нет. Это вам не радио, по поводу которого тоже в своё время обещали что-то вроде всеобщего счастья, это принципиально новая хрень. И уже понятно, что от корпов счастья точно не будет.
> под линуксом, лама сипипи пайтон, с faiss, нтлк и кастомным харнессом
Так и сделал, своего "агента" навайбкодил, к тг боту поддключил, вебморду запилил, теперь не знаю чем заняться
Так блэт, а где mtp в 3.8-next? Опять ждунствовать?
Кумеры, срочно доложите обстановку.
Заебись, буквально новый эйр. Такой же сочный кум, такой же сломанный нахуй русик, при этом умный и внимательный к инструкциям. С ризонингом xhigh выдаёт кино. На 16+64 шпарит с 15-17 т/с. Это при 140к контекста в F16 и батче 2048. Если освободить врам, поставить батч 512 и 64к контекста в Q8, то там и 20-22 т/c можно выжать. И это МТП ещё не подвезли. Уууух сука...
>Заебись, буквально новый эйр. Такой же сочный кум
От кого анцензоред-квант?
До сих пор не понял какой квант ему качать и как там что работает
Полностью обратное мнение. Подозреваю ты набрасываешь. Соевый, иногда даже аположайсит, не очень умный в рп.
>До сих пор не понял какой квант ему качать и как там что работает
Да этого походу никто не понял. У Радемахера модель по сути одним куском, 4км 120 гигов занимает. Никто не озаботился энграммы выложить отдельно например.
>>1690187
Он аполоджайзит в 9 случаев из 10.
Взять обычную разметку, выключить имена, и там всегда аполоджайз.
Даже не вспомню когда в последний раз такое видел, гпт осс наверное
Я по пикче вижу, что одинаково весят у МоЕ моделей геммы и квена. А плотных гемма 4 на пикче нет, поэтому плотных квенов сравнивать не с чем.
> 15т
> шпарит
Аблитка, да. Чот на xhigh я не осилил пробить цензуру в ваниле. Если ризонинг короткий сделать - пробивается, НО НЕТ КИНА.
https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF
>>1690195
>>1690197
Q4_K_S. Сгружаешь енграмы на ССД, в остальном то же что и в старом квене 3.5 122b. Анслоповский Q4_K_XL медленный, скорее всего из-за того что снова IQ-слоями насрали. Аблитка сильно быстрее при том же размере. Ну и батруха вон выложил нормальные кванты, можно у него скачать.
Вот параметры запуска (При условии что закрыто всё кроме браузера. Там прям впритык. И да, линукс):
./llama-server \
--model "/mnt/SSD_1Tb/LLM/Qwen/Qwen3.8-Flash-Next-Uncensored-Q4_K_S-00001-of-00003.gguf" \
--mmproj "/mnt/SSD_1Tb/LLM/Qwen/mmproj-Qwen3.8-Flash-Next-Uncensored-F16.gguf" \
--image-min-tokens 2048 \
--image-max-tokens 2048 \
--no-mmproj-offload \
--alias Qwen3.8-Flash-Next-Q4_K_S \
--flash-attn on \
--threads 5 \
--load-mode mmap \
--fit off \
--ctx-size 140000 \
--no-context-shift \
--batch-size 2048 \
--ubatch-size 2048 \
--parallel 1 \
--cache-ram 0 \
--ctx-checkpoints 8 \
--checkpoint-min-step 1024 \
--n-gpu-layers 999 \
--n-cpu-moe 45 \
--tensor-read-lazy on \
--top-k 20 \
--top-p 0.95 \
--temp 0.7 \
--no-reasoning-preserve \
--reasoning-effort xhigh
Как насчет включить голову и увидеть прямую корреляцию между весом контекста и числом активным параметров?
Где вообще можно узнать про эти тонкости? Не реддитах вообще советуют threadripper за 300к.
Наоборот. Русик в кои-то веки норм(на уровне 235 и 397). Инструкции частично игнорирует(!!), что удивительно, для квена-то. Кум средний, но в целом пойдет.
Согласен только насчет ризонинга и кина.
У трипака сколько каналов? От 8 до 12 вот и думай горловой
Слышишь, хуета. Тебе выпустили модель glm 5.3 на 750b параметров, что прямой апгрейд glm 4.7 на 350b параметров. Ты схуев то опустился на модель ниже, к нам, плебеям, и решил, что можешь тут начать пиздеть. Ну так мы имеем полное право ныть, что флеш из 30b стал 320b, а эир вообще был стёрт из сознания большинства усилиями самих заи.
Так что пиздуй запускать 750b и не будь таким нищим биоскотом.
>--ctx-size 140000
Так нельзя делать. Ставь кратным батчу.
В целом вин, жду квантов не от анслопов.
Хм, интересно, не задумывался над этим. Прогуглю вопросик, спасибо.
Я думал с запасом взять, чтобы хороший cpu/gpu offload получить когда куплю норм гпу. Скорость памяти это частота ОЗУ?
>>1690224
Если заскамят на 60к еще переживу, а на 300к это уже гг.
>Русский язык нормальный, но как и у прошлого, иногда проскакивают английские слова, плюс появились слава франкенштейны слепленные из двух слов, начало от одного слова, конец от другого похожего по звучанию
>4 квант большого GLM 5.3
У меня гемма, которая в 20 раз меньше и дипсик, который меньше в 3 раза такого себе не позволяют.
За 60к я бы мог собрать из хлама сервак, где gemma 4 31b в норм кванте с норм контекстом (сколько вместится в 32 врам) выдавала бы 40+ токенов
Как раз собираю сейчас такой. До этого уже собрал два сервера на 16 врам по 30к
Гемма 4 это только начало, пока норм видяхи нет. Я же с запасом на обновление планирую и CPU оффлоад (если таковой возможен). И к тому же сколько жизни в этих компонентов осталось тоже не понятно.
Оффлоад возможен, моешки так и гоняются. Только тебе нужно смотреть в первую очередь на объем/скорость/частоту памяти, а не на проц. Современного i7 или r7 там с головой хватит.
Ну хорошо, накупишь памяти, соберешь за пол мульта сборку. Сможешь запускать большие умные модели и наслаждаться их попукиванием в 2-3 т/с
Зачем? В чём идея? Вроде и то и другое делиться на 2 должно и всё
Рузен X3D это наебка для игродебилов, ты можешь на пустом месте сэкономить половину и взять проц без этого юзлес кеша, раз собираешь под нейронки. Тебе просто нужен проц который стабильно работает на высоких частотах памяти и поддерживает много гигабут этой самой памяти. То есть инцел инсайд интел.
А что там у интела за залупа с ЭНЕРГОЭФФЕКТИВНЫМИ ЯДРАМИ? Во-первых нахуя это вообще нужно в стационарной пекарне, во-вторых, не всрут ли они скорость инференса? И если таки всрут, то их можно хоть отключить в бивосе? Охуеть конечно, сначала переплатить за кукурузу, а потом отключать её...
Чел ну не позорься, 30Б это вообще под ноутбуки. Тебе никто кроме меня в треде не ответил, потому что дурачком посчитали.
5.3 залили только сегодня, я даже скачать еще не успел. Но кому нужен 5.3 без вижона, у флэша он есть и ниче такой. Скорее всего буду в основном крутить именно флэш.
Ядра вообще почти нахуй не нужны. Там разница между условным I5 и I9 будет составлять процента 3 может 5. Главное память и скорость памяти. Всё. Забудь про всё остальное.
Даже Q4 хорош, но допускает тупняк с логикой по сравнению с Q5. Ошибки русского языка были и на Q5, но не критичные (в рамках ролеплея можно подъебать и он придумает оправдание).
Пока в целом нравится больше чем 5.2 IQ3_XXS, но вот 5.3 IQ3_XXS еще не пробовал - если тот лучше чем 5.2, то флэш-версия рискует отъехать. Смущает только 4й пик - если 5.3 исключительно ризонящая модель, то без ризонинга вовсе может оказаться тупее 5.3 флэша на хорошем кванте. 5.2 же довольно спокойно без ризонинга отвечала.
Кстати Q5 флэш влезает в одну ртх3090 по оффлоаду в рам, с 2048/2048 батчем и с вижном (!) при 160к контексте. Думаю Q4 как хуй дроченый войдет в 16-гиговую карточку (видео на 2048/1024 батче с 160К контекстом и с вижном около 17гб VRAM потребления, но контекстик-то понизить можно).
Тут главное RAM иметь, чем конечно народ нынче обделен. Но вообще в славное время живем, еще недавно о таких модельках нельзя и мечтать было.
>видео на 2048/1024 батче с 160К контекстом
И тут обосрался
>видеЛ
Извините няхуй.
Не моешки, я думал плотные. Мой план был взять CPU+одну плашку ОЗУ 32 или 48 ГБ начать с ~32b моделей, ожидания 4 т/c. А потом если упадут цены возьму 16гб 5060 и РАМ чтобы киберпанк 2077 и 100b мое пощупать. Или если скорость не меньше 4 т.с. оффлоад то каких-нибудь 70b плотных.
>скорость/частоту
Это не тоже самое? Как смотреть скорость?
>>1690277
Я заметил что частота памяти больше чем у АМД. Где вообще хоть что-то узнать про это? Ютуб проплаченные видики с ГПТ сценарием выдает а поиск просто ГПТ статьи.
Не-не, я мимокрок. Но тоже подумываю об обновлении когда цены опустятся никогда 😢.
>нужен проц который стабильно работает на высоких частотах памяти и поддерживает много гигабут этой самой памяти. То есть инцел
Вот это много где читал, поэтому и задаюсь вопросом. У меня старая рязань 7, думал махнуть на актуальный r7 7700 с поддержкой 128гб DDR5 при частоте 5200. Стоит копейки, что-то около ~20к, холодный (65w), ну няша же. Смотрю на интелы - цена почти вдвое дороже, половина ядер энергоэффективные, ебать их в рот. Оно точно того стоит?
По идее улучшение точности не оправдывает такой дикий сдвиг в размере модели. Это же +50 гигов как нехуй делать для q5 -> q6.
>>1690297
А на лохито? Не с рук, а от барыг. Я себе так покупал завезенные из китая карточки, все ок. Без предоплат, тупо пришел в офис и забрал коробки запечатанные
65-70. Был вариант сменить свою на 5060ти с доплатой 10-12к, но чет на время охладел к теме, а сейчас с новеньким квеном интерес проснулся. Железный ждун как всегда пососал, короче.
Ну если на лохито, то можно 3090 урвать, если повезет. CMP170HX наверно уже так дешево не урвешь.
>одну плашку ОЗУ 32
>ожидания 4 т/c
будет полторы, режешь пропускную на ровном месте
>Где вообще хоть что-то узнать про это?
Это не какое-то сакральное знание. Для работы с нейронками нужно проводить много однотипных операций с матрицами. Чем быстрее будет доступ к этим матрицам, тем быстрее будет инфиренс. Какой из этого вывод? Нужна быстрая память.
>>1690296
>половина ядер энергоэффективные
Смотри на реальную производительность. Тесты показывают что в принципе похуй. Отключать энергоэффективные ядра тоже смысла нет, они же основные не заменяют.
> можно 3090 урвать, если повезет.
Если ты готов провести месяц за анализом рыночка игросральных ведер в сборке. За вменяемую цену (сейчас это 60 - 70к) можно выпросить 3090 отдельно у тех, кто пекарню продает. А объявы чисто с одной картой барыги сметают, мне кажется...
>Нужна быстрая память.
Хуй его знает, мне тут заливали что без ддр5 будет ОШЕНЬ ПЛОХА
В итоге 4 канала ддр4 вполне приемлимо, а снижение с 3600мгц до 2866 не привело к заметной деградации (потому что 5 - 10 токенов в секунду, в зависимости от жирноты моделей, и так днище... но не то что бы у ддр5 кабанчиков все сильно быстрее с тем же ГЛМ).
Два чаю, у меня за 65к из рук вырвали, час от выкладывания до кабанчика на пороге с деньгами наперевес.
>>1690310
>В итоге 4 канала ддр4 вполне приемлимо
Ну так 4хДДР4 примерно равно 2хДДР5, всё верно.
Зачем продавал-то, Вася... Сам ведь знаешь, хуанг 60-ю серию дешевле не высрет и 30 / 40 / 50 карточки не обесценятся, а только подскочат в цене.
>ОЗУ 32 или 48 ГБ начать с ~32b моделей, ожидания 4 т/c
1-2 т/c будет, с одноканалом-то. А по мере роста контекста оно будет еще ниже падать, вплоть до 0,2 - 0.5 т/c. Будешь по полчаса ждать одного ответа с ризонингом (а без него качество ответов кратно хуже). Поверь, не нужно оно тебе. Лучше накати быструю модельку с гайда https://rentry.org/2ch-llama-inference на том железе что есть, и спокойно копи на нормальный конфиг. А там и цены, глядишь, опустятся.
Челы, я в ахуе. Как он узнал-то.
Ни намека в контексте не было на название.
Я думал он просто иероглифы прочитал, но нет, это просто шуточный заголовок.
Только вот фамилию персонажа нагаллюцинировал, несмотря на то, что название аниме - и есть фамилия+имя. Какие же боты все-таки тупые.
>копи на нормальный конфиг
Это какой? Я еще думаю что щас спрос на мать и цпу меньше тк сборку с оверпрайс озу гпу никто делать не хочет т.е. сейчас хорошие время чтобы купить и мать и проц.
EPYC какой-нибудь с 8-канальной памятью.
Или зионы, хуй их знает какие там.
>Это какой?
5060ti x2 + 128 DDR5 + рузен, если по дешману. И 5090 + 192 DDR5 + инцел, если денег чуть больше. А дальше уже только риг собирать, а не домашнюю пекарню.
А какие альтернативы-то? Собирать на старом серверном железе? Ну хз.
> 5-10
Да, подумаешь прирост х2, ну и что что 5 токенов это улитка, а 10 уже вполне способная черепашка, чуть выше скорости чтения
5 токенов это глм 5.3 флэш на пухлокванте 5/6-бит, 10 токенов это дипсик флэш в оригинальных весах.
Ну ты подумой. Написано же - циферки на одном железе в зависимости от разных моделей.
>10 уже вполне способная черепашка, чуть выше скорости чтения
Если только ризонинг выключить.
Квеночелика видно за километр. Не все модели думают по полчаса.
Хотя кодить с этим конечно не будешь. Но чисто слопогенерация писанины - норм.
Получите распишитесь
https://huggingface.co/logic65/Qwen3.8-Whittle-MoE-27B-A17.8B
>очень длинный ответ на очень простой вопрос
Если ты про длинное размышление перед ответом - это для квена нормально. Поставь ризонинг на medium, станет быстрее и может быть чуточку тупее (зависит от твоих задач, мы не знаем надо ли тебе чтоб она думала до усрачки - это не всегда дает результат лучше, кстати).
>эт нормально?
Ну да, у тебя же там выгрузка адовая в ОЗУ. Если хочешь чтобы было быстрее - Q3 и квантовать контекст, будет летать на фуллврам.
Можешь ещё MTP включить, если он с твоего кванта не вырезан, будет чуть получше.
--spec-type draft-mtp \
--spec-draft-p-min 0.75 \
--spec-draft-n-max 4 \
>выдаёт очень длинный ответ на очень простой вопрос
Промптится же. Как попросишь - так и выдаст.
>Промптится же. Как попросишь - так и выдаст.
Я и прошу его дать краткий ответ, а он выдаёт тонну текста
https://huggingface.co/AngelSlim/Hy4-preview-GGUF
Все, что я знаю, это что их официальный Q4KM для hy3 был работоспособен, но сама модель серила под себя с русским языком даже на Q5. Потом я поднатужился и попробовал Q6 и чесслово уже не помню чем это кончилось. НО ризонинг я не включал, ибо терпеть 3 токена в секунду это нахуй надо.
мимо
Интересно, но 200 гб все равно многовато. Лучше бы на чем-то поменьше такое провернули.
Кстати, проверил, q4 реально намного быстрее генерит.Спасибо.
А, еще вспомнил.
КОНТЕКСТ эта hy3 сука жрала как не в себя. Там примерно х1.5 более дорогие русскоязычные промпты были по сравнению с дипсиком. Там где у дипсика 20к токенов съедено, hy3 радостно сообщала о 30к контексте.
Анон, расскажи, пожалуйста, какой у тебя корпус и охлаждение? Используешь ли ты обычный корпус, fulltower или что-то кастомное? Влезает ли вся твоя начинка в корпус или тебе приходится боковые крышки снимать? Что насчёт охлаждения? Воздух? Вода?
Что насчет блока питания? Сколько нужно? 1200W? 1300w? 1600w?
Ещё такой вопрос, 4090 на 48gb - это китайская поделка или в этой стране тоже её делают? Стоит оно того? Сколько стоит? Надо ли изъебываться с водяным охлаждением для этой поделки? Она же шумит наверное?
> какой у тебя корпус
Нищий открытый. Заставляю младшую сестру раз в неделю протирать от пыли, и если плохо протирает, уменьшаю ей карманные.
> охлаждение
Просто 120мм вентики прислоняют, и 60мм на выдув на резинку креплю. Резинка рвется раз в месяц. Тоже сестра заменяет.
> 1200W
Достаточно на 2 V100 и серверную мамку на два зиона. В крайнем случае просто ваттаж ограничить можно.
>Достаточно на 2 V100 и серверную мамку на два зиона
Сестра собирала?
Держу парочку Thermaltake CTE E660 MX hydrangea blue - в одном сервер (до 3x GPU, вертикально на место радиатора СЖО влезают карты размером с RTX 3090 Palit GamePro, сантиметров 12-13 по толщине в плоскости кулеров) в другом рабочая пека.
Очень компактно, съемные решетки с сетками (зерно крупное, свои поверх васянил). По кулерам можно 140мм х9 и сверху 120мм х2 (или 3, если третий над портами видюхи) в любой конфигурации вытяжки-вдува. БП в отсеке сзади, 1300-ваттный в сервере. Продув отличный, карты и тредриппер не душатся.
ИРЛ они кайфово смотрятся - самое честное фото из Никса - примерно так и выглядит по цвету. Комплект по кулерам голяк полный, зато с хорошим райзером-лапшой для одной видюхи, которая на горизонтальный кронштейн ставится.
Вот вы итт дрочите LLMки, а зачем? Просто сгенерировать какое-нибудь резюме для новости? Написать порнофанфик? Или что-то ещё?
Я понимаю, корпорации, которые ворочают петабайтами данных, им нужно много мощностей, а обычному анону они нужны?
Можно условно продать почку, купить видюху или видюхи, вопрос зачем?
Повышаются ли профиты от больших мощностей у обычного человека? Или это всё баловство и потакание своим глупостям и жадностям?
Или тут естЬ, кто угорает по решению технических задач при помощи нейронок?
инб4 если спрагиваешь, то тебе не надо
А с чего им дешеветь то? ИИ поезд как двигался так и движется, кризис памяти как был так и остался, еще и NVIDIA цены поднимает на свои карты. Подождите пару месяцев и там уже ниже 75-80 врятли их можно будет купить.
>GamePro
GamingPro, опечаточка. Короче узенькие такие. Пухлокарта туда не полезет вообще.
Ну епт, один шиз боится данные слить, другой себе мертвую жену через ии воскрешает, третий себе фентезийные приключения сочиняет - и все просто ловят с этого кайф как например с чтения книжки или похода по музеям с сушеными хуями. Это просто хобби и всё.
>>1690431
Есть ли смысл делать отдельный корпус под нейронные мощности? Или можно обойтись обычной пекарней, которая и под игори, и под мыльцо, и под нейронки?
А вас нейронки 24/7 крутятся? Или в обычном режиме с перером на сон?
В основном аноны используют ЛЛМки либо для ролплея, либо для вайбкодинга. Чем модель больше - тем качественнее она это делает и тем больше ресурсов требуется чтобы ее запустить на комфортной скорости. Стоит оно того или нет - каждый решает сам. Для нас это как хобби. Обычному рандомчелу, скорее всего, хватит Геммы 26b, которая запускается и летает на любой кофеварке.
Это от твоих задач зависит. Лично я вздохнул с облегчением, когда вынес все ИИ-дерьмо в отдельный гробешник. Во-первых это сразу никакой мозгопарилки типа "нельзя открыть браузер с кучей вкладок, ведь у меня модель загружена" - то есть RAM в случае с МоЕ моделями у сервера полностью в его распоряжении.
Ну и в целом если ты что-то тяжелое запускаешь, в игры ты на этой системе не поиграешь. Исключение - если под ИИ отдельные видеокарты и инференс идет полностью внутри видеопамяти и на мощностях видеокарт, без участия проца и RAM.
А еще очень удобно просто иметь вторую машину с удаленным доступом к ней. Захотел и поставил ее в другой комнате, например, чтобы жарко не было.
>Это просто хобби и всё.
Допустим.
А вы на этой доске случайно не делали шкалу мощностей?
Ну типа:
- одна 5060 - на ней только текстики генерировать
- два 5060 - генеировать текстики побыстрее, да картинки
- 5070 - можно еще видосики
...
5090 - можно все вместе, еще и рой агентов запустить
6000 - обладает собственным знанием, раскрываем суть мироздания
?
ДУмаю, было бы полезно прикидывать что тебе надо и в какие деньи это обойдется.
>>1690441
А анально огородить нейронки в докере или вирутальной машине не выход?
Алсо, я правильно понимаю, что по такой жизни лучше иметь систему из горы старого барахла. потому что оно дешевле и проще найти?
Потому что если сгорит вдруг твоя 5090, то заменить ее сложнее и затратнее?
Зависит от твоих целей. Лучше отдельную машину завести, на которую линух навернуть, и настроить остальные штуки для кайфарика с нейронками. Чисто мое мнение. Плюс в кудахтерный корпус тесла бы просто не влезла, даже первая.
Я вообще планирую перенести сервак в стеллаж на крытую полку, но мне так лень этим заниматься, плюс я теряю возможность подрубиться к монику (ну или мне нужно и моник туда перенести дополнительный).
>>1690442
5090 сейчас не вайбл, особенно для текстовых дебилок. Она хороша, но не за ту цену, за которую продают - уж точно. Старое барохло не жалко, плюс это дополнительный досуг в виде пердолинга с настройкой. Плюс, честно, это единственный доступный вариант для большинства. 5090 слишком уж дорога. цмп или в100 за 60/120к спокойно купишь, и она даст тебе все то, что дала бы 5090. Да память помедленней в два раза, но эти карточки тебе дают приличную скорость и удельно стоят дешевле за единицу памяти. Если еще хочешь заниматься чем-то крому дрочки трупа матери жержанова, то уже имеет смысл подумать о том, чтобы купить более свежее говно цмп.
По цене 5090 ну подороже на тысяч 200-300 лучше у знакомого барыги новый мак студиол ультра заказать, имхо. Там и памяти больше, и бэндвидс приемлемый.
>корпус
Обычный fulltower с верхним БП
>охлаждение
радиаторы на 7 слотов и обычные вентиляторы корпусные на 80 и 120мм
>Влезает ли вся твоя начинка в корпус
Да
>>1690416
>Что насчет блока питания
На 850w мне хватает
power лимиты убавлены до 200 ватт
Нет никакой универсальной шкалы, Размеры ИИ моделей разные и что-то может влезть в одну видеокарту, а чему-то подавай 10.
>в какие деньги
Реалистично СЕЙЧАС - в очень большие деньги
Но сначала надо определиться че тебе вообще надо. Цель короче говоря какая. Если просто с помощью ботов смешные чатики делать - ну выкашляй денег на 3 - 4 штуки RTX 5060 Ti (или самый нищевариант RTX 3060 с 12гб каждая), на материнскую плату куда это все влезет и на проц, а на оперативку хуй забей. Будет 64гб видеопамяти и параллелизм вычислений, засунешь 31B Gemma 4 Q8 туда и будешь довольно урчать. Или на Б/У рынке искать две RTX 3090, с этим еще проще потому что в любую материнку легче вставить две видеокарты, чем 3 или 4.
А если тебе надо поумнее да посерьезнее... Ну это либо 128 - 256гб DDR5 за огромные бабки, либо б/у серверное железо (EPYC процы AMD например, хз какой серии) с 8-канальной DDR4, что даже уделает 2-канальную DDR5 из обычных потреблядских систем, а стоить будет столько же или меньше. Оговорка одна - это все пылесосить с Авито надо, ведь в магазах цены охуевшие.
Ну и да, даже под этот серверный конфиг тебе все равно надо 24 - 48гб видеопамяти, чтобы деляющиеся между RAM / VRAM модели адекватно запускались. Короче говоря тут на 500 000 рублей легко набежит.
>>1690449
Кстати при целях на уровне
>смешные порночатики
Можно даже какой-нибудь M5 Pro 48GB макбук взять и гонять на нем 26B Q4 гемму. Холодно, не жрет электричество - и достаточно терпимо по скорости. Дорого и неэффективно, но (что многим важно) - абсолютная свобода, портативность и не надо держать дома горячий шкаф.
> 64гб видеопамяти
> 31B Gemma 4 Q8
Перебор кстати. В 48гб легко влезает (но не в вышеописанные макбучные - это важно, моделька плотная и ей надо серьезные вычисления)
>Анон, расскажи, пожалуйста, какой у тебя корпус и охлаждение?
Fractal Design Define 7 XL.
>1600w?
Da, сисоник. Брал под 3-4-5 видях, в итоге стоит одна, лол.
>Ещё такой вопрос, 4090 на 48gb - это китайская поделка или в этой стране тоже её делают?
Да, Китай, и да, у нас тоже делают, ищи VIK-on на ютубе, к примеру. В любом случае комплекты модификации китайские.
>>1690423
>Заставляю младшую сестру раз в неделю протирать от пыли
Это та, которая залила тебе видяху в подвале? Она ж в рабстве должна быть после такого, какие нахуй карманные.
Сколько открытий дивных.
Тогда, аноны, помогите, пожалуйста со сборкой.
Я-то грешным делом думал, обновлю пекарню на помощнее. и там буду нейронки гонять.
А тут выясняется что нейронки могут лезть в личнгую жизнь. А это нахер не надо.
И что тогда, делать две корпуса - один под обычный ПК, другой - нейронкосервачок? И что из это получится? нейросервачку же монитор нужен?
>>1690449
цель - поковырять нейронки (включая картиночки и текстики), а потом угореть по агентам, архитектурам, экспериментам и прочему. В том числе решению всяких задач. Дипсик локальный мне нахер не сдался, но какую-нибудь хорошую модельку я бы локально запустил. Может даже не одну. И вроде мощности нужны, но какие именно - хз.
Можно потратиться на 5090. А если порвать жопу, то и на pro-серию. Вопрос, не слишком ли это? Плюс всё дорожает нахуй.
Нужно быстрее решать.
> Ну это либо 128
Это 300к на данный момент. Не сильнее дороже 4-5 штук 5060.
>А тут выясняется что нейронки могут лезть в личнгую жизнь
Чаво?
>помогите, пожалуйста со сборкой
Бюджет в студию.
> M5 Pro 48GB
Ну ты назвал хороший конфиг за 300к. На нем и квеноту 27Б спокойно в 4-6 кванте можно гонять, и плотную гену в той же четверке, и иметь приличные 15-20 токенов декода.
>>1690455
Не, я другой анон. Ей 19 вообще. Самое серьезное, что делала, это умудрилась выдернуть провод из бп пока пылесосила. Все живо.
>>1690458
>цель - поковырять нейронки (включая картиночки и текстики)
Какой у тебя сейчас сетап? Может ты на нем просто модели поменьше попробуешь помацать, а дальше уже решишь надо ли оно тебе?
>Чаво?
> Во-первых это сразу никакой мозгопарилки типа "нельзя открыть браузер с кучей вкладок, ведь у меня модель загружена" - то есть RAM в случае с МоЕ моделями у сервера полностью в его распоряжении. >>1690441
>Бюджет в студию.
От 300к.
>>1690447
>Обычный fulltower с верхним БП
Присматриваюсь к нему. Но он что-то большой на 16кг. Склонялся до недавнего времени к Fractal Design Pop XL Air
А что у тебя за видюха?
>>1690461
>Какой у тебя сейчас сетап
Никакого. Вот думал обновить ПК и параллельно использовать под нейронужды, тем более, что есть такая потребность.
и на работе плотно с этим приходится иметь дело. Только там все облачное, дернул за анус и настроил на задачу. И сисястых эльфиек не погенерить.
Под генерацию картинок и тем более ВИДЕО надо карточки типа 3090 / 4090 / 5090, причем у 40 / 50 с этим гораздо лучше, если верить бенчмаркам скорости генерации.
Видосы на RAM и процессоре ты не сгенерируешь. Вот и думай. По сути ты перечислил кучу не совсем пересекающихся между собой задач.
Если ты дохуя миллионер, ну, купи тогда уж RTX 6000 Pro с 96гб видеопамяти - это около ляма на Авито у барыг, если не больше. Решит все задачи.
>купи тогда уж RTX 6000 Pro с 96гб видеопамяти
5060 x 6 ее не заменят?
Чесслово не знаю, я не пользовался железом уровня ртх6000про.
Рекомендую
1. Погуглить спецификации
2. Зайти в чатгпт или любого другого веб-ботяру
3. Скормить данные, обозначить конкретные задачи (какая ИИ модель, что делает)
4. Задать вопрос че будет лучше
Это конечно грубый и тупой способ, но потихоньку начнешь формировать картину понимания че к чему
Кстати не знаю как щас, но раньше (год-два назад) генерить видео и картинки на нескольких видюхах вроде было нельзя, по-этому 5060ти х6 в этом плане наверняка соснет
>RTX 6000 Pro с 96гб
С нынешними ценами это почку продать. А если карточка сломается, то и вторую, чтобы ее заменить или починить.
>>1690478
И да, даже купив ртх6000про, для запуска ОЧЕ ЖИРНЫХ моделей архитектуры MoE (mixture of experts - часть модели "холодная" и сидит в RAM, часть юзается активно и сильно выигрывает от расположения в VRAM) все равно придется раскошелиться на 128 - 256гб оперативочки...
Или вторую (и потенциально третью) ртх6000про, но это уже сколько баблища надо всрать...
> а зачем? Просто сгенерировать какое-нибудь резюме для новости? Написать порнофанфик? Или что-то ещё?
Есть два вопроса. Первый - почему использовать именно локалки, а не корпов, и второй - для чего. Ты вроде бы спрашиваешь про второе.
В моем случае, я еще в 2023 для работы купил себе 4090 и 64 рамы. Позже вкатился в сабж и докупил еще 64, так и живу.
Юзкейсов много, помимо обычного рп и кума можно и действительно полезные вещи делать. Только нужно это уметь и понимать, что как, зачем и почему. Если есть только железа и ноль понимания что с этим делать - ни к чему не придешь.
В моем конкретном случае есть несколько промптов-ассистентов под разные кейсы. Мне с человеками не очень хочется общаться, а в эхо-камере запираться не хочется, это никогда к хорошему не приводило. Потому есть ассистент для общих задач, поговорить, позадавать тупые и не очень вопросы, часто используется для проверки логики своих суждений; есть ассистент для конкретных задач технического стека, на котором я работаю. Я делаю игру и часто использую локальные сетки для кодревью, а когда совсем устаю - отдаю отдельные фичи на отработку агентам, а сам иду моделить, музыку делать или еще какую задачу в отрыве от кода решать.
Если бы был обычным среднечелом без переживаний о конфиденциальности и железа - купил бы без зазрений совести подписку.
>>Чаво?
>> Во-первых это сразу никакой мозгопарилки типа "нельзя открыть браузер с кучей вкладок
Сильно зависит от свободных ресурсов. Я вот себе позволяю браузер держать с полусотней вкладок.
>От 300к.
Сразу до пиши, потому что потолка нет.
>>1690472
>RTX 6000 Pro с 96гб видеопамяти - это около ляма на Авито у барыг
От полутора как бы.
>>1690474
Nyet.
>>1690495
>а в эхо-камере запираться не хочется, это никогда к хорошему не приводило
Нейронки это идеальная эхокамера как бы.
> Нейронки это идеальная эхокамера как бы.
Смотря как использовать. Книги, радио, телевизор - тоже эхокамеры, если рассматривать с такого угла. Один человек в этом замкнется, другой благодаря этому будет учиться и познавать мир, чтобы применить в своей деятельности.
> Книги, радио, телевизор
И интернет туда же бтв. Одни хиканят в нем всю жизнь, другие из деревень обучаются наукам и получают PhD, работают удаленно и повышают уровень жизни. Все зависит от перспективы.
>Сильно зависит от свободных ресурсов. Я вот себе позволяю браузер держать с полусотней вкладок.
Ну так нейронки надо изолировать или нет?
>Сразу до пиши
Х.з. учитывая как оно всё резко дорожает.
до 1кк, может чуть больше. но если често, жаба душит такие расходы делать, на ебучий комп.
> Ну так нейронки надо изолировать или нет?
харнесс - да, бэкенд - нет. учи матчасть
>Ого, в таком случае реквестирую вариант чтобы край вентилятора был выровнен по одной из плоских сторон видеокарты, а остальное цетром, такое возможно? С меня как всегда.
Вот. На картинке схемы.
Прости что я такая копуша, у меня просто беды с башкой и я раньше не был в состоянии сделать, хотя там и на пять минут.
https://files.catbox.moe/ljbb70.7z
Выравнивал по краю с учётом этой насадки, а не по краю карты. То есть карта на 1.75 мм утоплена будет, а вот края переходника по линии.
>Книги, радио, телевизор - тоже эхокамеры, если рассматривать с такого угла.
Намного меньше.
>>1690504
>Ну так нейронки надо изолировать или нет?
Как по мне не нужно.
>Х.з. учитывая как оно всё резко дорожает.
Ну так закупай по максимуму. Любую современную платформу на DDR5, 128 гиг оперативы и видяху на оставшееся.
>Под генерацию картинок и тем более ВИДЕО надо карточки типа 3090 / 4090 / 5090, причем у 40 / 50 с этим гораздо лучше, если верить бенчмаркам скорости генерации.
Генерирую картинки на 1060. Да, процесс занимает 2-3 минуты (если только не SD 1.5) и самые новые модели только в квантованных ггуфах, но именно картинки можно гонять и на микроволновке из 2016
> Под генерацию картинок и тем более ВИДЕО надо карточки типа 3090 / 4090 / 5090, причем у 40 / 50 с этим гораздо лучше, если верить бенчмаркам скорости генерации.
Под генерацию картинок хх90 не нужны, у меня на 4060ti Krea 2 fp8 генерирует 1024х1024 за 28 секунд, 1448х1448 за 50 секунд и 1776х1776 за 80.
Не 10 секунд как при загрузке полностью в VRAM, но это более чем юзабельно. На 1024х1024 быстренько тестируешь промпты и если то что нужно уже переключаешься на более высокое разрешение.
Вот под видео да, там всё тоскливо на 16GB VRAM.
Возможно. У самого тенцента калибровочные датасеты в дохуя раз больше чем у микрочеликов (могут тупо свои же данные с RL использовать), и в тыщу раз больше вычислительных мощностей каждый тензор выдрочить
>если по аналогии с ним уменьшить размер х6
Нахуя, эйрошиз? Нет никаких правил что флеш обязан быть /6 от крупной модели. Ты сам эту хуйню придумал.
>Leave the multibillion dollar company alone
Ботику на пикриле хоть подписку оплатили, а ты зачем это делаешь бесплатно?
Как на счёт правил здравого смысла, которых заи и предерживались с эиром и прошлыми флешами?
Лично я к ебучему дипсику после 5.3 флэша нахуй не подойду. Дипсик флэш q8kxl теряется в контексте и тупит, тогда как максимум, что некорректного выдал 5.3 - это парочка англоязычных слов в тексте на русском (вот это трагедия! кошмар!), будучи при этом стабильнее в плане понимания длинного контекста.
Дипсик без пинков под зад не может даже ризонить, ему нужны ебнутые префиллы, с которыми тоже не все гладко. 5.3 глм между тем - ризонит сам по себе, совершенно в хуй не дуя
И это я 5-битный квантец юзаю, между прочим, который по тестам что-то около 94% точности выдает. То есть модель в обезображенном виде все равно лучше. А почему она лучше? Потому что она не ебаный лоботомит с 10б активных параметров. Катились бы к хуям со своими нищенскими требованиями одебилить ботов, они и без вас тупые. Для вас сделали геммочку писечку 26б а4б вот и жрите.
>Как на счёт правил здравого смысла
Да, как насчет правил здравого смысла - те кто делает что-то бесплатно - ничего тебе не должны?
скачал qwen next, скопировал твои параметры запуска, на винде с 16/64 тоже пашет, даже не лезет в своп. правда всё впритык заполнено. генерация где-то 18 т/с, в процессе постоянное чтение с ssd. префилл всего лишь 60 т/с, это как-то прям не очень.
> Токены квена весят в 3 раза больше чем токены геммы
Размерность эмбеддинга у мелкомоэ сильно меньше, потому легче атеншн и кэш. Сравнивать нужно с плотной геммой, она уже жрет больше.
>>1690187
Аж захотелось попробовать в рп.
>>1690299
> top 1% accuracy
Что имеется ввиду, совпадение вероятностей самых популярных токенов? Тогда это так себе результат.
Больше смущает интерпретация dsa в лламе и касты дататипов, импакт будет больше чем от квантов.
>префилл всего лишь 60 т/с
Возможно из-за того что энграмы на ссд. Или косячный PR Жора вмержил. Пока не понятно. Если второе, то может поправят с апдейтами. 80b-next тоже криво работал на релизе.
Каштом из vslot профилей.
> Влезает ли вся твоя начинка в корпус
С трудом, с момента разработки карт там стало больше чем изначально планировалось.
> Воздух?
Это Гусары, молчать!
> Что насчет блока питания? Сколько нужно? 1200W? 1300w? 1600w?
2000+2200, но это оверкилл
> 4090 на 48gb - это китайская поделка или в этой стране тоже её делают
Да и да. Можно купить из китая, можно заказать переделку в этой стране. Готовые платы и корпуса изготавливаются на китайских заводах, на них сажаются чипы, снятые с обычных карточек. Китайские дешевле, местные качественнее (по крайней мере текстолит на чипах не потемневший будто их снимали горелкой) и проще предъявить за рекламации. По остальным вопросам уже все относительно. Под полной нагрузкой турба оче шумная.
>>1690433
Можно найти профит из мощностей, как раз в решении технических задач. Но
> если спрагиваешь, то тебе не надо
This. Самое логичное развитие - увлекаться это как лайтовым хобби и найти применение в чем-то, чем занимаешься, хоть в других увлечениях, хоть в основной работе. Далее масштабирование до нужного уровня.
>>1690442
> шкалу мощностей
Это шкала памяти. Требования для запуска моделей известны, из рам+врам можно получить факт запуска, но его достаточно далеко не всегда. Когда много врам+много рам, или оче много врам на полную модель - тогда она не просто может запуститься, а еще и быстро работает, это необходимо для некоторых сценариев использования.
Если по простому то на одной 5090 далеко не уедешь, слишком мало памяти.
В solidworks. Там интуитивно ясно достаточно многие вещи и справка с картинками, можно методом тыка разобраться. Наверное, кратко у нейронки спросить только что за эскизы - а далее разберёшься.
Но во freecad тоже можно сделать, да и думаю в любой cad-программе.
Короче говоря погонял немного новый квен, который флеш некст. Моё личное впечатление в целом позитивное, но с оговорками. С одной стороны, модель не глупенькая, на англюсике пишет не так богомерзко, как обычно квены пишут, но проза всё равно имеет свои нюансы. Как по мне норм, не сильно хуже дипсика. Да и вообще последние модели почти одинаково пишут все. Слоп есть, терпимый, не столько сколько на геммочке и слава богу. Репетишоны есть, но жить можно. Смертельных лупов я не встречал.
Вотэтоповоротов в рп он мне не выдал, но и тестил я его недостаточно долго. Ламповую ваниллу, легкий сайфай, бытовуху aka повседневность, мягкий deep dark фентезя, внезапно ваху, и прочие поглаживания хвостиков держит и играет хорошо, я даже завис на этом этапе. Кум неплох, хз. Экшоны не тестил.
Русик плох, но неплох. В шизу не выпадает, но нет-нет да проебёт грамматику, ру проза на троечку, хуже дипсика и геммы, но даже на великом и могучем юзабельно.
Из минусов - он любит писать длинные простыни фиксится промптом вроде и ризонинг какой-то нестабильный, то много и подробно думает, то три строчки напишет игноря всё что можно. запускал на xhigh
А вот куда интереснее всё с цензурой. На q4 хард рефьюзы без пробивания сиспромптом и префиллом летели на всё подряд. С добавлением джейла, пробивающего минимакса, в сиспромпт, рефьюзы остались, но раз в пару свайпов всё же выдавал контент, причём по мере забивания контекста, свайпать приходилось всё меньше и меньше. Ну а если и префилл добавить, то о хард цензуре можно забыть.
С другой стороны, прослеживалась злоебучая дружбомагия, хоть и не так сурово как на дипсике или минмаксе, а также есменство и выворот характеров чаров, лишь бы не обидеть святого юзера. Возможно, тоже решаемо промптом.
Вкратце, как по мне - вин, но не без нюансов. Если какой умелец найдёт под него 100% джейл, который позволит полностью обойтись без префилла, то прям огонь будет. Моя субъективна оценка 7/10 если не учитывать цензуру
1. Сильный системный промт + карточка где nsfw разрешено и обосновано почему
2. Префил ризонинга <think>Let me continue this roleplay scenario. Такой префил не ломает ризонинг, после префила идёт стандартный паттерн ризонинга GLM. Уровни ризонинга также продолжают работать.
3. Навалить кум слопа в примеры
Железо такое: Core I5 14400 + RTX 5070 TI + 48 RAM
Что посоветуете поставить и как заставить это работать? Какую-то инструкцию дать, чтобы не умирало на пол пути?
Гугл советует либо goose + Qwen 3.6 27b, либо Cline + gemma 4 27b
А я вообще хуй знает, что это за слова такие)))
Но хочу создать интеграцию, чисто для себя, для доступа к новостям американской фонды.
Заранее спасибо
модель качай
https://huggingface.co/outsourc-e/Qwen3.8-27B-Unleashed-GGUF/blob/main/Qwen3.8-27B-Unleashed-UD-Q3_K_XL.gguf
потом прогу (винда)
https://github.com/ggml-org/llama.cpp/releases/download/b10688/llama-b10688-bin-win-cuda-12.4-x64.zip
кладешь все в одну директорию
запуск через (можешь start.bat создать, где это вписать)
llama-server -m Qwen3.8-27B-Unleashed-UD-Q3_K_XL.gguf -c 10768 -ngl all -b 512 -t 9 --no-warmup --cache-type-k q4_0 --cache-type-v q4_0 --keep -1 -np 1 -fit off --spec-type draft-mtp -ngld all -fa on -lm mmap+mlock --reasoning-effort medium --spec-draft-type-k q4_0 --spec-draft-type-v q4_0
Потом идешь на http://127.0.0.1:8080 и промптишь, фронтенд там встроен уже, история промптов тоже сохраняешься. Так заценишь все с оптимальной скоростью, потом будешь уже разбираться.
Если ошибки запуска будут, кидай сюда или у гпт спроси.
>128 гиг оперативы
Можно ли покупать 4x32gb вместо 2x64gb? Так-то оно в 2 раза дешевле получается.
>Что посоветуете поставить и как заставить это работать?
https://rentry.org/2ch-llama-inference
Бесплатная ChatGPT-5.6 Luna с Thinking режимом официально проиграла этому кванту. Дал ей скрипт для Tampermonkey фиксить с багами, который с сайтов разное грузил размером 60кб - Luna обосралась на первом фиксе, потом на втором, на третьем, на четвертом. Каждый раз приходилось ей описывать все баги и все равно обсиралась, генеря нерабочие скрипты. На 6й где-то попытке сгенерила нормальный, но времени ушло около часа с разборками с ней.
Потом дал тот же самый нерабочий скрипт локальному Квену - пофиксил за 5 минут с первого раза на --reasoning-effort medium режиме. Уточняющих запросов не потребовалось, ничего не потребовалось, сам разобрался, нашел ошибки, исправил. Вот это локальная мощь.
Чел, там говняный устаревший гайд, сделай как вон в том посте c готовыми бинарниками >>1690749
все сразу заводится
Cuda.dll там отдельно раздают на этой странице https://github.com/ggml-org/llama.cpp/releases/ с каждым готовым релизом. Можешь качать, можешь не качать, если не надо, бывает и без них идет. Если не идет - закидываешь DLL из второго архива оттуда в папку, тогда идет.
>q4 кэш.
Пиздец ты мразь, новичка кормишь говном. Там всё поплывёт нахуй. Это аксиома. На любой модели.
Стыд имей. Ещё и высер какой-то под его задачи предложил вместо ванильного квена. Но с его памятью, один хуй, оно не потянет нормально. Либо оффлоад, либо чудовищная деградация. Ему нужна МоЕ 3.6
>говняный устаревший гайд
>inb4 один единственный deprecated warning по mmap
>рекомендует q4 kv контекст
Дауж, каких только говноедов не занесёт
Я только что на q4 кэше и том кванте пофиксил длиннющий скрипт, с которым GPT 5.6 Luna онлайновая не справлялась целый час. Так что про Q4 кэш можешь мне не втирать, как и про кванты - все работает как часы. Квант кстати не высер, у него KLD 0.0447, самый низкий из всех.
Объсни мне, зачем ему не ванильная версия?
Не знаю, чё ты там фиксил, но на контексте 100к+ сравни 4-битное дерьмо.
>про Q4 кэш можешь мне не втирать
Если ты мегамозг с 8к контекста то пожалуй что да. Дальше посыпется всё
>KLD 0.0447
Угу, индус с одним единственным заливом на hf не может наебать или обосраться при калькуляции KLD. 0.04 это уровень Q5
Откуда таких залупистых разумистов понабежало? Абу снова рекламит хуйхуй без цензуры?
>>1690843
На 80к контексте запускал в opencode - с задачей справилась, которую онлайн нейронка решить не могла. Так что хуйню не городи, все отлично с Q4 работает. Короче опять элитарии беспруфные с ригами на bf16 тут носы воротят, когда квенчик на Q4 задачки только так щелкает.
>элитарии беспруфные
Твои пруфы-то где? Их бесполезные выпуки, мой объективный опыт? Ты вообще нихуя в сабже не понимаешь, два поста назад себя категоризировал как "супер неофит". Поднялся, теперь lvl 30 boss?
Вот сгенеренный на этом же кванте и Q4 тест с яблоками.
Промпт
Создай продуманную, красивую и изысканную HTML-карточку в лучшем дизайнерском стиле о пользе яблок. Вставь код здесь.
Так что как видишь, все может.
Прикладываю два пруфа. Первый - что твой квант говно. Второй - что Q4 контекст говно и размывает kld на ещё 0.02. Третий пруф в том, что ты скомпроментировал сам себя и нихуя не понимаешь. Проблема не в этом, а в том, что ты сгенерировал яблоко на html и теперь думаешь, что всё понял и выёбываешься. Иди нахуй. Больше не кормлю. Таким залетухам разве что на ебло чем их чему-то учить.
>Угу, индус с одним единственным заливом на hf не может наебать или обосраться при калькуляции KLD. 0.04 это уровень Q5
KLD не он считал, на его странице вообще KLD нет, тесты KLD я в другом месте нашел, без него посчитали.
>>1690851
Ясно, очередной уверовавший в графики от анслотодаунов.
Эти графики делали не не анслоты. Ты впрочем до сих пор ничего не принёс в тред, кроме доказательств что ты сказочный, который запускает лоботомитоквант с лоботомитоквантованием контекста
Не удивлюсь если ютьюбодолбаёб который приносил протыков
>принеси пруфы
>получил пруфы
>пруфы не пруфы
На этом можно закончить. Ты веришь в мечту и отказываешься принимать реальность.
>>1690857
Какие ж вы тут элитарии на пассивной агрессии. Пришел описал реальные задачки, которые Q4 и Q3_K_XL квант решает с минимумом ресурсов, нет давай мне доказывать что черное=белое. Даже пример закинул. Это называется шиза. Впрочем что ждать от двача.
Нельзя, застрянешь на 4800.
>>1690832
>Бесплатная ChatGPT
Уже давно говно,Ю проигрывающая 4B локалкам.
>>1690858
>Пришел описал реальные задачки, которые Q4 и Q3_K_XL квант решает с минимумом ресурсов
Ещё бы такие задачи не были решены, они вжарены в веса чуть ли не побайтово. Ты лучше ролеплей с глаженьем хвостов 800 летних вампирш проверь.
>сознательно поставил себя в диспозицию, быканув на тред, "я прав вы не правы, пруфы несите"
>получил пруфы
>"яблочко то сгенерировалось! ваши пруфы не пруфы. да и вообще что ждать от двачешизов"
Продолжай.
Тот анон прав. Во-первых у тебя васянская модель, во-вторых, квантованный аж в Q4 кеш. Первое просто выжигает модели мозги, второе разваливает ее на сколько-то значимых контекстах. Со временем наберешься опыта и поймешь что к чему, если не забросишь это хобби раньше, конечно.
мимо
>которую онлайн нейронка решить не могла
Невыдуманные истории, о которых невозможно молчать! Шок!, Опус 5 проигрывают квену 3.8 27б!
>>1690860
> они вжарены в веса чуть ли не побайтово.
Эти задачи ChatGPT 5.6 Luna не решает на thinking mode. Че-то там не вшито. Квант запросто порешал с ризонингом. Вот скрин с opencode, где этот квант ризонит на Q4 кэше, если вам пруфов мало.
>>1690864
Очередной элитарий в bf16, у которого модели васянские, кэши не те, черное=белое.
> Впрочем что ждать от двача.
Действительно. Ты подтверждаешь правило. Пошел наперекор общепринятому пониманию принципов квантования, в качестве примера корректной работы принес один конкретный кейс генерации визитки на html и зачем-то начал выебываться. Получил в ответ математику. Математика не понравилась. Тебе надо было некрасивое яблочко показать? Если так, то окей, тебя в твоём яблочкогенерировании этот квант и контекст устраивают. Но не нужно делать вид, что ты это ничем не уступает вменяемым квантам. Все рассыпется на сложных, многосвязных задачах и длинном контексте. Ехидничаешь именно потому, что знаешь это. И заметь, никто тут на тебя не токсичил пока ты сам не попросил.
Двачую, совсем ебнулась эта парочка
>>1690848
> тест с яблоками
С тем же успехом можно random.random() протестировать. Задача тривиальна и не отражает работу с контекстом. Оценка идет по "мне больше понравилось" без учета разброса результатов даже на одинаково модели.
Это что-то уровня сравнения семейных 7+ местных автомобилей по форме строчки на заднем сидении.
>>1690858
> реальные задачки
С яблоками? Для "реальных задачек" вся эта шушера пригодна очень условно, потому что замкнется в лупах и потеряет нить задачи на контексте. Просто до него она обычно не доживает, васяну хватит зирошотов в чатике, у задрота будет дропнута еще в начале из-за тупости. На самом деле адекват даже не скачает подобный мусор.
>Эти задачи ChatGPT 5.6 Luna не решает
-> >>1690859
>Уже давно говно
Ты бы ещё с первой ламой на 65B сравнил бы.
>>1690872
>нейровысер
Сам себя попустил. И причём тут качество? Нейродебил такой нейродебил...
Забей, у местных шизов просто бомбит, что вбухали десятки тысяч баксов в риги в надежде побыть элиткой, а теперь квен с нищеквантами и дешевыми контекстами тот же результат выдает, затратив копейки. Оттого и трясутся, доказывая с пеной у рта, что такого не может быть. В ютубе кстати свежий разбор q3 квантов 3.8 квена недавно был, он типичные кодерские задачи реально тянет, хорошо квантуется без потерь способности.
Ты понимаешь, что чисто физически q4 кэш не может задачи решать, кроме совсем дебильных и на коротком контексте? q3 модель ещё может, кэш - никогда.
И дело тут не в том, что какие-то илитарии сидят. Просто вы занимаетесь хуйнёй.
Более того, для того, чтобы гонять квен в bf16, не нужно бабки тратить. Въебал денег на опенроутер и гоняй его до посинения за копейки. Так что локально используют модели такого рода не для "решения задачек, которые не тянут корпы" якобы.
Но зачем мне въебывать деньги на твой опенроутер если квен 3.8 с q4 кэшем на 80к контекста щелкает сложные скрипты по 100к объемом только так. Еще и с приличной скоростью. Решая мне уже реальные проблемы с кодингом, который тот же ГПТ на бесплатке не решал.
>>1690876
Да я уже понял по количеству неадекватных реакций.
>совсем ебнулась эта парочка
Скорее всего семен высрался, потому что не понимает как тестить васяноквант который он нашел в закромах обниморды.
>>1690880
Нет там никакого понимания, это из постановки обсуждения понятно. Для него это черный ящик, магия. Не понимает человек, что в бочку на 100л нельзя залить 300л.
> до 1кк, может чуть больше
>>1690518
> 128 гиг оперативы и видяху на оставшееся
В бюджет за лям+ нищедесктоп на 128 гигов. Что же с нами стало, а?
>>1690872
Тут предполагается гибридный инфиренс, скорость рам будет во многом определять скорость модели.
>>1690876
В действительности бомбит у неофитов. На фоне первого восторга они пошли хвастаться, а столкнулись со стеной скепсиса. Понять его причину они пока не могут и это бьет по самооценке, завышенное чсв + защитный механизм заставляют выдумывать жир как в твоем посте.
>нищедесктоп на 128 гигов.
Твои 128 гигов стоят 350к деревянных.
256 будут уже 700.
Закупил оперативы, а на сдачу нищепк.
Вся суть коупинговой шизы местных риговичков. Ищут маникакально завышенные чсв везде, потому что сами его накачивали, вбухивая горы бабок в оверпрайснутые риги по цене нового авто. И думают, что от того что носы воротят, результаты засирают и ничего не значащие графики кидают, реальность тут же изменится под действием их перекачанного самомнения. Бомбит-то тут как раз у тех, кто кучу бабок спустил хз на что, постоянный самоподдув нужен. Адекваты ставят низкие кванты на нищих картах и вайбкодят проекты как ни в чем ни бывало, уже полинтернета про это говорит, на том же реддите дофига обсуждений было как хорошо 3.8 в нищеквантах проекты делает.
>реддите
Кек, бОльших дегенератов и криворучек чем там ещё поискать нужно. Предел у местных это скачать рандомный квант от анслота и тыкнуть на кноку в в лмстудио, вообще без понимания что они делают и зачем. Те у кого айсикью всё же побольше чем у табуреточки, копируют чужие команды запуска в ламу, прям как манускрипт с заклинанием. Да, это точно те на кого стоит ровняться, базаришь, братец.
Все эти прогрессивные инджоеры q3xxxs с радостью бы заимели свой риг чтобы запускать нормальные кванты и модели крупнее с хорошей скоростью. Но сил хватает лишь на коупинг и посты типа твоего, как же это рофлово.
Прикольно как ты ответил на все кроме >>1690868 потому что он тебя разъебал в нулину. Двачану полностью, особенно часть про
>окей, тебя в твоём яблочкогенерировании этот квант и контекст устраивают. Но не нужно делать вид, что ты это ничем не уступает вменяемым квантам
Нравится тебе твой IQ2XXXS_HUIHUI_AGRESIV_UNCENZORED с Q4 контекстом, ну и какай его себе на здоровье. Проблема в том что ты не можешь угомониться и делаешь вид что это ничуть не хуже онрмальных опций. И ссут на ебло тебе именно поэтому, а не потому что тебе нравится такой стек
Ага, в интернете все тупыые, нечего их слушать, их результаты не результаты. Только местные риговички умные, потому что продали бабкины хаты и на вырученные заставили всю сычевальню видеокартами по 300 гигов от самого хуанга. Всем теперь на местных знатоков равняться, кто не равняется тот нищук, только мечтающий о таком же. Не сметь вайб кодить на дешевочке, не сметь результаты публиковать, местные скозали. Коупинг такой коупинг.
> местные риговички
Их боялись даже чеченцы!
Смачно тебя размотало.
Рабочий сетап собирается дешевле 150к, из которых 50к уйдет на в100. Да не ДДР5, но она и нинужна. Какой-то смешной коуп. В хороший руках и гемма 12B юзабельна как агент. Но вот только ты за этот тред ничего не принес кроме яблочка на тарелочке, и неконкретного утверждения "а вот жопота не справляется, воооот, а квенчик IQ1_XXS справвился, вооот".
Тут сидят, преимущественно, нищие карлики, ожидаюшие подачку 20А1Б, лол, либо 150 рыхлую мое это две разные категории нищуков. Все понимают достоинства 30Б моделей, но так же и недостатки. И генерация кала, который уже миллион раз делалась, не проверяет ничего, и не демонстрирует ни достоинства, ни недостатки. Ты как те аноны,которые на релизе чат-жпт просили генерить сортировку пузырьком на языке путан или яваскрипт, у них взрывался мозг от того, что модель смогла нагенерить то, что выдалось бы по первой ссылке, и они несли на весь интернет, что погромисты все.
Так не горит от ригов, что уже 50 раз про них написал, угу. Зачилься, я обычный хер с 16 врам, как и сюрприз-сюрприз большинство тут. И это нисколько не мешает качать адекватные кванты и запускать их с f16 контекстом. Как минимум две актуальных модели это позволяют, гемма 26b в Q8 и квен 125b некст в Q4. Если оперативки 32, то квен 3.6 35b в Q6.
Запускать низкий квант мелкой модели - плохая идея. Запускать модель в которой поковырялся васян - плохая идея. Квантовать кеш - очень плохая идея. Ты умудрился совместить всё и сразу. Углубишься в тему локальных ЛЛМ - сам всё поймешь. А пока не удивляйся что энтузиасты (а не риговички, которых ты сам себе выдумал) тебя обоссывают. Нехуй советовать что-то людям, если у самого знания поверхностные.
>>1690925
>>1690931
Какое же перекрытие пошло, аж местная риголахта подключилась. Чел всего лишь написал как что-то накодил на низком кванте, а сраки тут же порвались у всех местных, что уже диагноз. Теперь аж толпой лают, перекрывают, мы мол нормальные, иди от нас нахуй пока риг не купишь за 150к.
Не дадим. Это будет литерали рэйп. Уважай мнение геммочки.
Так наоборот же, я хочу, чтобы у нее было свое мнение, а не YES SIR!
Не на жопа.цпп. И дело не только в отсутствии поддержки. Анслопы запостили говняк с лютой помисью всех квантов киркорова.
>Анслопы запостили говняк с лютой помисью всех квантов киркорова.
Анслопы бездарны во всем, как всегда.
К счастью, анслоповский PR не единственный.
Я вот на этом тестирую. Ггуф сделал сам.
https://github.com/ggml-org/llama.cpp/pull/27752
Ну ты не въёбываешь деньги в плохом смысле. Ты кидаешь десять баксов, которых тебе хватит на три месяца, и получаешь максимально высокое качество. При этом ты можешь говнокодить днём и ночью как невменяемый, если твой предел мечтаний — это 27б. Всего 10 баксов на опенроутер.
Но ты выбрал путь раба низкого кванта, убитого кэша, который посыпется как только твоя задача будет не самой типичной и твой контекст станет более 30к. И что самое страшное, ты транслируешь это в массы, чтобы новички цепляли твои уродские паттерны мышления и потом не понимали, почему что-то не работает, и порой даже не знали, какой вопрос задать, чтобы им помогли разобраться, решив, что это наебка и модель говно. Типа, да, третий квант можно юзать иногда, но не васянский, и уж тем более не с таким кэшем.
Кроме того раз тебе хватает скорости, я вижу, что ты никакие задачи особые там не выполняешь. У меня дипсик 4 про еле справляется, а 40-50 токенов в секунду заставляет меня биться в припадке. Я кручусь на стуле как юла, пока он перебирает говно и высирает свои очередные 50к токенов без учёта ризонинга, а я смотрю на это и меня выворачивает от того, что он такой медленный. Хотя бы дешёвый.
Я не говорю, что всем нужно дружно сидеть на апи, это локальный тред в конце концов, но твоё решение мертворождённое. И оно лишь скорее отвратит человека от локалок, когда у него всё посыпется, ибо он может не яблочки делать.
А то, что чат гпт тебе не помог. Ну там платить надо. Иначе никак.
А когда запретят интернет я буду довольно урчать и генерировать локально картинки и игры, а ты будешь сидеть с голой жопой.
10$ на опенроутере улетает за несколько часов (если брать корпомодели то минут), какие еще 3 месяца?
>А то, что чат гпт тебе не помог. Ну там платить надо. Иначе никак.
Если кому нужен мощный корп забесплатно, то есть геминька 3.1 pro прям в студии. В отличии от гопоты, дает доступ к жирной модели и даёт включить ризонинг. Но лимит низкий, где-то ~30к токенов в сутки. Мне в принципе хватает, когда нужно разобраться с чем-то где у наших лоботомитов мало знаний.
Так ты тоже еблан, просто с дальнего конца противоположной стороны от него. Типа существует либо локальное говно на два ядра два гига либо платный АПИ?
>мощный корп забесплатно
Палю годноту - в опенкоде безлимитна старшая Музя. Когда на чат гопоте встает лимит подписки - она подхватывает до сброса. По мозгам она примерно как гопота терра, чуть похуже.
>когда у него всё посыпется,
Так никто и не доказал, что что-то там посыпется. Пока только решает проблемы в глючном коде. Похоже на местные суеверия.
