Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №285 /llama/
Аноним
03/11/26 Втр 22:58:05
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1742925 (OP)
>>1740274 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №285 llama
Аноним
03/11/26 Втр 23:37:20
№
2
Да скажи ты уже что там у тебя, троллина задолбал.
Там есть анцензор но он за счет того что модель это тот самый кусок мозга крысы + кусок мозга хомяка + кусок мозга тушкана. Часть моделей уже расцензурена была, их веса закономерно не возбухают
Рефьюзалы это не обязательно хард вроде: "Извини, я не могу сделать это", это может быть слом логики когда модель стреляет себе в ногу на этапе размышлений потому что запретная тема создает дыру.
Или прыгнуть на q6 квант но с меньшим контекстом? KV cache если что не квантую, bf16
Знаю что это не агенто-тред, но все же..
в ризонинге всегда можешь почитать
>на этапе размышлений потому что запретная тема создает дыру.
от этого и анцензор не застахован, а еще мое модели легко сломать при тюне из-за сраного роутера и не сразу понять
юзал квен 3.8 27б NVFP4 не такое агрессивное квантование и денс модель
Перебирать экспертов по одному. Терпение - добродетель
> когда это станет юзабельно
> Kobold
> .net
У тебя же тут созвездие успеха, комбо-вомбо, ультимейт бинго, беда не приходит одна.
Инфиренс х харнесс х скиллишью = вы находитесь здесь
Почему такое никто не ищет, неужели вас устраивает чатик без гойплея и интерактива?
Это опять я.
Так я протестил гемму26б через кобольта, в целом прикольно. Сначала думал кал-калыч из-за того что отвечал односложно и на карточке загнал себя в хуйню, но одним мета комментарием перенес себя в немного другой вектор истории. В целом похоже решает не моделька а умение в ерп , есть что-то платиновое на почитать в шапке не нашел.
Насчет кобольта толи нет реазонинга и ответы быстрее или я чет неправильно настроил. И ещё вопрос как карточки выбирать с предгенеренными картинками , то у обеих тег contain_image но у 1 появляются фоточки а у другой нет.
Челы тоже замечают, что 5.3 пережарен.
>Загрузи на обниморду, там акки бесплатные.
Возьми и загрузи бля. Я ебал. Они уёбки.
русик, си шарп, кобольд = говноедство в кубе. хуево быть тобой
качай cybertiel 35b-a3b или ornith-1.5-122b если память позволит
квен 27б - оверрейтед хуйня
ну и естественно никакой даун уже давно не кодит в чате обмениваясь полными текстами исходников, включай в жоре агентский режим и тулзы
На совсем пустом контексте 10,9 tg, на 64к контекста 224 pp 7,9 tg.
Знаний дофига, в отличии от Квена 3.8 Next Flash в UD_Q4_k_xl и omith1.5-122b в Q6_k_m вспомнила гораздо больше персонажей Sidonia no Kishi (Квен вспомнил только ГГ, Омитх вспомнил ещё одного персонажа), при тесте на контексте ролеплея корректно применила взятые из контекста подробности, в фактах не ошиблась.
Естественно есть и минусы - чуда не случилось, в хуйдожественный текст Дипсик не смогла. Но возможно это проблемы промпта уже. Надо придумать как это наиболее безболезненно проверить - время ответа меня в целом устраивает, полчаса на 12к токенов, но в рамках текстов это боль.
Надо причёсывать той же Геммой, но тогда надо как-то в Страте выгружать модель и сохранять контекст на SSD с возможностью подгрузки обратно, ибо иначе 5 минут на pp будет уходить.
Но в целом скорости моё почтение, конечно. Кто бы мог подумать, что можно будет запускать настолько большие MOE с такой скоростью дома?
Вот бы геммочка 5 125а12 с энграммами была.
Да. Кто бы мог подумать что лучшую модель для ролеплея - глм 4.7 - обделят все эти говностраты. А значит ненужны.
Теперь все МОЕ в диапазоне 100-300B без энграммов обречены сосать у моделей с энграммами просто за счёт большего объёма знаний у последних нахаляву.
Другое дело, что у корпов не стоит задача впихнуться в 128 оперативки, поэтому можно сейчас легко пролететь и с новым квеном, и с геммой, если в приемлемом кванте сама модель будет весить хотя бы 150гб (без учёта энграммов).
Также парочка тестов с другими моделями:
Cyberl-Tiel-Coder-35B-A3B-UD-Q4_K_XL.gguf
Off - 44 t/s
7000 - 70 t/s
GLM-4.5-Air-UD-IQ2_XXS.gguf
Off - 10 t/s
2000 - 9 t/s
4000 - 14 t/s
5000 - 14 t/s
7000 - 13 t/s
8000 - 11 t/s
PowerLimit 168W стоит, не ебу влияет ли.
>в хуйдожественный текст Дипсик не смогла. Но возможно это проблемы промпта уже
Это проблема лоботомита, в нормальных квантах Дипсик уже может, и в художку, и нормальный русик.
>в нормальных квантах
Дык я ж не спорю, что хорошо бы не 128гб иметь в двухканале под ужатый iq2, а 256 в восьмиканале под q4, но за отсутствием горничной приходится ебать дворника.
Плюс, думаю, здесь нормальный промпт вполне исправит дело - в тестовом прогоне промпт был был действительно хуеват и рассчитан на корпов.
А ведь совсем недавно можно было купить видюху с 64 врам за 90к. 64 врам.
Грусть пиздецовая. Никогда нам не дадут развлечься нормально, на нормальной скорости, кванте, модели.
Это буквально нужно другой пк собирать, у которого ещё и мать может отвалиться, проц. 24-48 врам сверху где то искать, не перевтыкать же свою карту каждый раз, а 3090 щас явно не вариант.
Тогда
1. Терпеть (любо дело!) и продолжать вбрасывать
2. Поставить другую сортировку и даже в днсе взять за 55к, а не 90
И что ты высрал?
У глм флеша нет нигерграмов, а страта есть. Значит и у 4.7 может быть, но никому не интересно почему то
>мозга крысы + кусок мозга хомяка + кусок мозга тушкана
Проиграл.
Проверим скорость vs 2 канал?
Глм флеш 700б
Квен флеш 500б
Давайте ебите прям в очко я готов
У меня в жоре с deepseek harness этот квен даже в меньшем кванте нормально работает. Если возникают ошибки компиляции он сам переделывает и пробует снова, в конце концов выдает готовое решение.
>квеногемма. Такой-то вин!
Да почему это такой-то вин? Можешь объяснить понятно а не как в карточке если шаришь?
>>1745805
Ты не думал что страта в принципе не может/хочет в не-флеш модели?
>>1745776
>122B
У тебя 256 рамы или грузил остальное с ссд в ммапе? Она же с ссд будет процессить полдня, нет?
>PowerLimit 168W стоит, не ебу влияет ли.
Просто глянь монитором (btop, hwmon, afterburner) сколько он реально жрет, если меньше то пофиг (НЯП на невлезайках часто на пересылку данных тратится больше времени чем на обсчет и ярдо не греется, на мелком плотнячке грелось бы).
Чатик текстом на самом деле безграничен тем и хорош наверно. Я лично еще привык к текстовым играм и что вся кум годнота по ним фактически только в текстовых играх и присутствует.
Записал упомянутые игры посмотрю чего там ради интереса, со скайримом фундаментальная проблема - это поносный высер в техническом плане, ты в нем 99% времени ебешься со сборкой и поискам что поломалось. У меня окончательно сгорело, когда потратив на последнюю сборку примерно часов 250 до состояния "ну вроде работает", со всеми планами-фичами техническими, и отбегав еще ~100 часов в сейве, перед накатыванием всякого графонистого, у меня в один день по нвнятной причине сборка начала ебланить и потом оказалось, что сейв закорраптился скрытно где-то 40 часов назад в нем.
>>1745753
>похоже решает не моделька а умение в ерп
Я тоже к этому мнению склоняюсь, но это при прочих равных. Если модельку искусственно затупить, вроде kv кешем, она будет дебильничать.
>>1745787
Когда-нибудь (пусть даже лет через 20) позволить себе сможем. Пережили майнинг уебков, переживем и альтманов-педиков.
Для 4-анала нужно серверный проц. Кривое будет сравнение.
огромные модели ты запускаешь в ебейшем кванте, от чего они теряют сложную логику и точность в кодинге, а из-за избыточности в плане разговора по ним не заметно да
Щас с нейронками моды на скайрим собрать проще чем когда либо, это раньше читал нудные гайды на 1000 страниц фулл фокус как и в каком порядке ставить
Чтобы нормально вписать модель в игру - нужно учить ее не только говорить, но и ходить, смотреть на карту, знать игровые механики и т.д. А не просто прокинуть карточку непися, что и в текстовом чате легко делается.
> Знаний дофига
И это блин в
> iq2_xss
из mxfp4. Какая воля к жизни у модели.
> Вот бы геммочка 5 225а12 с энграммами была
Вот так будет получше
>>1745805
> но никому не интересно
This. Попроси ллмку добавить если так нужно, это простая задача.
>>1745840
Настрой спекулятор на 27б, получишь 50 и будет вполне хороший компромисс.
>>1745825
Держи тесты из 2020, были 4 плашки говнорам с 2400 частотой без xmp из совсем бородатых годов, с нормальными было бы повеселее.
>>122B
>У тебя 256 рамы или грузил остальное с ссд в ммапе? Она же с ссд будет процессить полдня, нет?
Я ж там написал что 3-й квант. 50 Гб весит всего лишь. Для подгрузки с ссд не годится. Квен-флеш некст - да, подгружает но там ссд по минимуму используется. И токены в секунду кстати выше чем у орнита этого (опять же на жоре с новой настройкой).
Сорян, я не очень умный. А она не слишком тупеет в 3 кванте? Алсо не смог настроить жору так чтобы юзал и рам и ссд на огромных моделях. С ммапом грузит только экспертов в врам а рам держит совсем пустой (и процессинг по капле в час), без ммапа пытается залить все что не влезло в рам и падает в ООМ, лейзи мод как будто пофиг ему.
Попроще наверно, но не отменяет фундаментальной проблемы и уебищности базовой игры, где все на соплях. Часто еще что автор мода сам мудак ебанный и не может ни мод сварить нормально ни документацию к нему написать ни как-то саппорт дать. Без доступа к йоба нейронкам, которые сами могут скурим разложить с модом самостоятельно и понять как работает, в таком случае делать нехуй.
https://huggingface.co/Nimbz/Versipellis-31B-GGUF?not-for-all-audiences=true
А как ее запустить если она на врам не налезает? я думал в страту ее засунуть, но оказалось нельзя. Есть инструменты или это скип для меня?
это базовая гемма 31 денс, ток выгружать в раму куском но скорость будет 7-10 токенов.
хотя денс не так сильно лоботомируется от квантирования, можно взять кванты пониже и попробовать максимально поджать выгрузку
Говорят оптимизирует спекулятивное исполнение.
Тут же ебнутый деминишинг, особенно с выходом геммы. Будто после 100б каждые следующие 100б это 5% к тому что уже есть по качеству
спасибо за совет, попробую самый нищий квант. я ее тестонул с этой улиточной скоростью, он точно по лучше гемма файфу которую я до этого пробовал, но скорость тут раз в 10 ниже или более
хочется жирные кванты
хочется скорость чтобы кодить
даже 100Б упихнуть это недешево (если не стратоквен)
так что о 200Б еще рано говорить (кроме особо суровых анонов)
Попробуй опуститься до DeepSeek-V4.0-Flash - модель чуть поменьше, в третьем кванте в 128 100% влезет и будет не такой деревянной как DeepSeek-V4.1-Flash-1017-GSQ-RCO iq2_xss . Но чуть более глупой- от рождения.
Если бы они её не закуколдили соей, а так смысла в дипсике нет совсем для рп.
Но есть же первый квант 4.1. Он совсем тупой? В квантованном 4.0 даже вижна нет.
Могу ошибаться но это у тебя просто MTP слои не работают потому что ты не включил MTP в параметрах запуска.
--spec-type draft-mtp --spec-draft-n-max 2
Это должно включить MTP и убрать ошибки.
>Настрой спекулятор на 27б, получишь 50 и будет вполне хороший компромисс.
А хороший совет, взял модель чуть поменьше (UD_Q8K_XL вместо Q8_KL) и на двух картах с параллелизмом получил свои 50тс. Флеш Некст впрочем оставлю - задачи разные бывают.
Конечно сидят, держи:
И куда вы пойдёте, чем займётесь, мм?
Вы вкусили самого дешёвого и мощного дофамина в своей жизни, вам открылся целый манямирок, в котором вы творили что угодно, и размер этого мирка ограничен только вами и вложениями, это можно скейлить деньгами.
И вы просто уйдёте? И чем будете коупить отсутствие этого дофамина и дыры куда вкидывать деньги?
Вся игровая графика закрывается одной 4090, даже не ригом, дальше скейлить некуда.
На аниме/фильмы/мангу вы вообще повлиять не можете и будете давиться сотню раз пережёванным калом и паттернами.
Про айтишку и карьеру писать смысла нет в этом треде.
Нет отсюда выхода
чепуха. Именно тот факт что по сути с карточками можно делать что угодно делает нейрослоповое рп недолговечным. Ну закадрил ты батальон лолек с их родителями подругами сестрами братьями бабушками дедушками двумя бульдогами и одним бурундуком, все они теперь ходят с пролапсами , и всё. ты понимаешь что дальше ты можешь только расширять географию , все они все равно следуют установленному тобой сценарию. Трудно быть богом, приедается.
в играх против тебя все еще живой человек, в книгах и фильмах тоже, их фантазия с которой ты вынужден смириться. В Нейрослопе ты сам против себя.
да будет еще этап картиночек красивых, может быть даже видео, некоторые гуи уже умеют и видосики генерить, но суть прежняя. Позови когда появятся модели которые серьезно смогут играть против тебя, начнут понимать, что интересно когда от {{user}} зависит не только лишь все
шутка? какая еще шутка. Думаешь тут с тобой шуточки шутят?
Пост — это развёрнутая шутка-жалоба на «нейрослоповое РП» (ролевые игры с ИИ по карточкам персонажей), построенная на контрасте с традиционными играми, книгами и фильмами. Разберём по частям.
Контекст. Речь о ролевых чатах с нейросетями по «карточкам» персонажей (character cards) — пользователь задаёт персонажей, сеттинг, и ИИ отыгрывает их. Автор утверждает, что такая форма принципиально недолговечна.
«С карточками можно делать что угодно». В отличие от игры или книги, где есть жёсткие рамки, в нейрослопе ты полностью контролируешь мир: можешь «закадрить» кого угодно и что угодно с ним сделать. Это и есть ловушка — абсолютная свобода.
«Закадрил батальон лолек с их родителями подругами сестрами братьями бабушками дедушками двумя бульдогами и одним бурундуком, все они теперь ходят с пролапсами». Гипербола: ты соблазнил целый «батальон» лолиток (лолек) вместе со всей их роднёй вплоть до домашних животных, и все они теперь «ходят с пролапсами» (пролапс — выпадение органа, здесь грубый намёк на последствия сексуальных сцен). Смысл: ты удовлетворил любую фантазию — и быстро упёрся в потолок.
«Дальше ты можешь только расширять географию». Когда все возможные сценарии уже опробованы, единственное, что остаётся — добавлять новых персонажей и локации. Но «все они всё равно следуют установленному тобой сценарию» — ИИ лишь отражает твои же желания, не привнося ничего своего. Отсюда «Трудно быть богом, приедается» — отсылка к повести Стругацких: быть всемогущим скучно, потому что нет сопротивления.
Панчлайн — сравнение. «В играх против тебя всё ещё живой человек, в книгах и фильмах тоже, их фантазия, с которой ты вынужден смириться». То есть в нормальных произведениях есть Другой — автор, соперник, чужой замысел, с которым ты взаимодействуешь и который тебя ограничивает. «В нейрослопе ты сам против себя» — ты играешь сам с собой, и «противник» — это твоя же фантазия. Отсюда ироничное название: не «ты против ИИ», а «ты против себя».
Итог шутки: абсолютная свобода нейрослопа оборачивается одиночеством и скукой — ты быстро исчерпываешь себя, потому что нет живого сопротивления чужой воли, а «богом» быть приедается. Юмор чёрный, с абсурдной гиперболой про батальон лолек и бурундука.
Пиздец, людям до 20 лет надо запретить пользоваться ИИшкой, а то так разучатся человеческую речь понимать.
>черканите что ли когда пузырик всё и риг зарядить на лохито
так пузырик уже все
в Китае точно лопнул, они скоро начнут скидывать память и карты и затопят все б/у барахлом
>> отсылка к повести Стругацких: быть всемогущим скучно, потому что нет сопротивления.
не плохо, но все равно обосралась. У стругацких в этом фразе совсем другой смысл, там трудность не в том, что "всемогущество приедается", а в том, что свобода воли тех кого ты пытаешься сделать лучше. все равно возвращает их в хлев. Нет пути
А что гемма меняет? Покумить и для простого эта шлюха с деменцией (с) позволит, а дальше все.
> после 100б каждые следующие 100б это 5% к тому что уже есть по качеству
Стоять в пробке что на гнилых жигулях, что на зикре можно с одинаковым успехом и скоростью. Так и здесь если ставишь примитивные задачи то получишь незначительный выигрыш. Но стоит усложнить - одна модель тупит, фейлит и ебет мозги без результата, а вторая сделает самостоятельно по красоте учитывая нюансы о которых ты даже не подумал в начале. В рп это будет выражаться в том, что одна тебя отлично понимает, помнит все и разворачивает сюжет куда пожелаешь, а вторая ездит кругами по своим рельсам постоянно ошибаясь.
Получается не +5% а успех против полной непригодности. Офк не размером единым, нужно и чтобы модель сама хорошая была.
>>1746058
Отложи денежку, мониторь новости и всякие околоандеграунд сообщества. Периодически проскакивают темы выгодно взять железо, но нужно шарить и оказаться в числе первых, потому что когда тема добирается до хайпа цены улетают на луну до обычных.
>>1746152
Там каждую весну рофлы про переходные экзамены в школе, где не могут картинку описать и разговор поддержать.
>ебешься со сборкой и поискам что поломалось. У меня окончательно сгорело, когда потратив на последнюю сборку примерно часов 250 до состояния "ну вроде работает", со всеми планами-фичами техническими, и отбегав еще ~100 часов в сейве, перед накатыванием всякого графонистог
Ну так а нахер вы делаете эти сборки? Беседкоигры и без сотни модов играбельны. Утверждения лбратного - псиоп.
Картинки, музыку и видео можно гонять и на 6 врам, гигариги для них не нужны.
https://www.reddit.com/r/LocalLLaMA/comments/1xnrhvb/kimik31pro_is_now_openweights/
https://huggingface.co/moonshotai/Kimi-K3.1-Pro
> на rpc
Было прям паршиво по перфу, layer работал с куда меньшими потерями. Тестировалось на физическом хосте где rpc было по лупбэку.
А так тензорпараллел у жоры вендор агностик. Можно даже в одном процессе смешать cuda и rocm, но перф опять будет на дне из-за кросс бэк фоллбэка олл редьюс
У меня 8гб всегда рама юзается. Сама видеопамять на 90% в работе учавствует.
> cuda потребляется
Показометр непонятно что измеряющий + при оффлоаде на цп видеокарта часть времени ждет пока отработает проц или подгрузятся веса.
Нормальным софтом смотри загрузку, любой для мониторинга где разделяется ядро, память, шина. И то там неполная загрузка будет нормой.
>в играх против тебя все еще живой человек, в книгах и фильмах тоже, их фантазия с которой ты вынужден смириться.
Все равно тоже самое и с нейронкой если ты выставишь себе такую установку. Она задает сеттинг, тон, пропиши ей доминантные черты всякие, возможность отказов и тот же человек получается.
Да, действительно можно в режим бога сыграть и принудить события по твоему сценарию, но ровно тоже самое можно и с другим человеком выполнить. На моем опыте ролеплеев это сделать на раз-два, особенности если то прямо ерп сеттинг и там реальная женщина. Они же по природе сабмисивные в подавляющем большинстве, чуть нажмешь и ровно как нейронка жопой крутят продавливаясь без малейшего сопротивления под тебя.
В этом плане нейронка с норм систем промптом на домимантного или хотя бы свича персонажа куда больше понравилась - огрызается, пытается хитрить и вить веревки, даже продавливаясь на своих условиях пытается это выполнить. Если удалось и в моменте прогнется потом будет сидеть хихикать в стиле "я тебе позволила и ты по моей дудке сыграл, кобель похотливый с 12iq" поставив тебя на место.
Очень реалистично и красиво получается. С ирл ерп только один человек за все года минимально подобное мог выдать, лучший партнер эвер, но спустя время все равно продавил под себя и стало неинтересно.
>Показометр непонятно что измеряющий
Процент загрузки наверно.
>при оффлоаде на цп видеокарта часть времени ждет пока отработает проц или подгрузятся веса.
Да, наверно из-за этого. Жалко.
> Процент загрузки
Что в твоем понимании процент загрузки? Гпу да и просто процессоры неоднородны, там нет универсальной единицы, которая бы могла бы выполнять любые действия и по которой можно было бы эффективно оценивать. Потому при 100% на самом деле чип может простаивать, просто держать частоты и ожидать появления команд, и наоборот при 15% уже быть на пределе возможностей. Все от методики замера зависит, достоверно сказать можно только для отдельной части типа аппаратного ускорителя кодировок видео.
>но ровно тоже самое можно и с другим человеком выполнить.
Смотря на каких вы ролях и кто он. Если играешь с овощем то чего удивляешься что он ведет себя как нейронка? Я если бы такого встретил, дропнул бы сразу.
Спасибо за фидбэк. Похоже я скачал с гитхаба последний поломанных пререлиз, в котором ничего не работало.
> живой человек
Щас бы в компетитив парашу играть, особенно в век нейронок, ЛОЛ.
И раньше всякие хуесосы с читами/боты 70% времени попадались, щас вообще забей
>Вся игровая графика закрывается одной 4090, даже не ригом, дальше скейлить некуда.
5090 уже отменили? И даже её не хватает в новых тайтлах, лол.
>>1746132
>в играх против тебя все еще живой человек
В смысле? Это как вообще? Не бывает же такого.
Мимо пират без аккаунта стим.
>>1746265
>женщина. Они же по природе сабмисивные в подавляющем большинстве
Чед, спок, ни разу под меня ни одна пизда старше 6-ти лет не прогибалась.
> 64гб ддр4 90к. Ддр4.
Примерно в 2021 я тарил с алиэкспресса 16@2666 за 1500 руб. Как же было охуенно, но у меня не было денег и я затарил только 64Gb за целых 6 тыщ! Ну и впоследствии там-сям налутал еще 64Gb примерно за столько же.
А сейчас... 90к, ебать...
Самое страшное че другой человек может сделать просто закрыть чатик с тобой. И то, с постоянными партнерами вы +- как-то друг друга знаете и принимаете и там нереально сложно сделать что-то критически неправильное. Буквально как с нейронкой может получаться - наваливаешь кринжа а им все больше нравится.
>>1746330
Это в формате ролеплея когда вы уже знакомы и друг с другом контакт наладили.
Каких карт? Какой гемме? Да ебись оно всё конем главное что то высрать, да?
Я всё написал верно, роботище ты сраный.
> каких карт
Таких где есть 12/16 врам.
> какой гемме
Ну уж явно не мое мне нужна на двух видюхах.
Тест на интеллект провален у тебя
Хз может у тебя линупс какой-то. У меня все заебись с lm none и квен-флеш-некстом, жора 12023.
Это буквально вброс бабок в саморекламу, я не верю нахуй.
Самую соевую модель на рынке представляют вот так.
Буквально никто не выбирает дипсреньк для рп. Это прошлая слава прошлых моделей, тогда должна была быть рыба и этот чел в очках, не сейчас.
>Попробуй опуститься до DeepSeek-V4.0-Flash
Я так и планирую следующим этапом - тем более что полистрата его вроде как поддерживает, и можно попробовать квант от анона запустить.
Но это уже не сегодня.
Кстати, ВНЕЗАПНО Qwen 3.8 Next Flash в iq3_s, коий все хвалят, что-то нифига у меня не быстрее анслотовского q4 работает, хотя весит меньше. Странная хуйня. Где-то что-то у меня накосячено.
UD_Q4_K_XL выдаёт 35 т.с со скачками до 50, а IQ3_S всего 23 со скачками до 23.
какие карты, какие шины, какая квантовка модели, какой длины контекст
ты хоть что то говори
Нахуя мне в тред где сидит 3 анона ужимать реквест в какие то рамки?
>Вы вкусили самого дешёвого и мощного дофамина в своей жизни, вам открылся целый манямирок, в котором вы творили что угодно, и размер этого мирка ограничен только вами и вложениями, это можно скейлить деньгами.
>И вы просто уйдёте? И чем будете коупить отсутствие этого дофамина и дыры куда вкидывать деньги?
Хз о каком дофамине ты говоришь. Зачем какие-то иллюзии питать хз. Это просто инструмент, кирпичик. Уходить никуда не надо, надо направлять в нужное русло. Можно ДЕЛАТЬ ИГОРИ. ВН-ки например.
У меня есть 5090, и я не вниманиеблядь.
>>1746371
Чтобы получить помощь в ответ, а не ушат говна за шиворот.
у меня оче быстро работает флеш некст в версии свифт гсо рсокью хуйкью
> Самую соевую модель
Она не соевая, это модель-детектор. Лезет соя, да еще сильно = у тебя скиллишью.
> Буквально никто не выбирает дипсреньк для рп.
Лол
>>1746374
Да наброс жирнейший, юшек собирает
>>1746376
> не вниманиеблядь
> смотрите у меня 5090
Выбери что то одно
Оказывается на моём ведре не работает flash attention GCN 5.1...
Это скорее всего не тот флеш аттн о котором ты думаешь. Никакой хардверной магии нет как в зелёном fa
> дипсик
> не соевый
Некст уровень кринжа. Ты даже хуже 235 квенодебила с его пресетом.
За америкосами слепо повторяет, не понимаю, что до нас это ещё не дошло.
Сравнения каких то говноквантов, даже обычный q4 боятся поставить на график
>первый квант лучше второго
Ахаха вот это коупинг
Охуеть. Наконец-то. Удаляю гск-рсо говнятину прямо сейчас.
нищета ебаная, вам не понять! насколько же qwen говно, пидор сука, соевый даже с аблитерацией, яхуею. чмо корпоративное, муху выебать не в состоянии даже по прямому explicit запросу. пизда.
Какой инференс движок, какая модель, какие настройки? Телепаты в отпуске
А при чём тут РП?
мой гермес тоже свой собственный код менял по моей просьбе(логику компакшена)
У жопоруких даунов всегда так. У пряморуких стоковый квен-флеш-некст полностью без тормозов, ноль сои.
Но у меня линупс. Кто же нейронки на винде гоняет.
>>1746529
Так обесни, если такой умный. Третий тред уже одно и то же.
>>1746304
>нет универсальной единицы
Я меряю в киловаттах. Если видеокарта греется - значит работает. Если греется на половину от лимита - значит работает вполсилы.
>2bpw с пережатыми в хуй нигерграмами
>в нормальном качестве
Тебе дали 4.7 в реально нормальном качестве на таком железе, а ты нос воротишь.
>с пережатыми в хуй нигерграмами
Как раз энграммы я могу хоть в fp16 оставить, они один хуй с ссд грузятся.
>Тебе дали 4.7 в реально нормальном качестве на таком железе
На 4.7 токены золотые, в 16 битах 30к контекста еле влезает + страты для глм 4.7 не придумали, идет распердыш на 9 т.с. А так да - модель золото. Но у меня современный РП имеет ворлдбуки по 50+к токенов уже и писек 0731 с 256к контекста выдает 25 т.с.
Я в 5.8-6т его запускаю и ничего лучше не нашёл.
По контексту можешь посмотреть ikllama, у меня на том же кванте там влезло аж на 3 слоя больше в видяху т.е места под контекст там больше из за каких то оптимизаций
разогнал мою моешечку в 6 кванте сколько же инфы в треде не палят
Дай угадаю. Моделька сильно меньше чем нужно запускать на твоем железе, убитый квант + экспериментальные сборки сраты где скорость достигается лоботомированием модели в мясо?
Хз, в рп стал получше прошлого (который был оче на любителя) и вполне юзабелен. Кумить кумит, причем гораздо более находчиво и в ризонинге обдумывает действия и обстановку. Переход между рп и кумом гораздо более плавный, но все еще можно нащупать если там не кумбот. Но зато если обстановка располагает, здесь чар уже сам может предложить и проявить инициативу, в отличии от терпежки и полного пассива на сентябрьской версии.
С учетом этого, очень хорошо себя проявляет в некоторых видах рп, но пока не для всего.
>>1746584
Справедливо для префилла. Для декода - только при большом количестве конкуретных удастся загрузить чип на хороший тдп и упереться в компьют, а не скорость врама.
>>1746585
> 4.7 в реально нормальном качестве
> 24+128
Так это 2х с чем-то битный лоботомит будет буквально, ты о чем? Более менее бодрый квант там от 180 гигов потребует, с учетом контекста за 200.
>Так это 2х с чем-то битный лоботомит будет буквально, ты о чем?
3.0 bpw влезает.
Ты превратил и без того тупую 26B-A4В в 26В-А2.7В лоботомита и гордишься этим?
>Кто же нейронки на винде гоняет.
Любой кто не хочет пердолиться, кто хочет чтоб все работало сразу без проблем, без ООМ и так далее. И я не преувеличиваю. По крайней мере с жорой это именно так и обстоит: винда - все забеись, линупс - с ООМ ебись. Можно обвинять жору, Аллаха, кого угодно.
Шиз иди нахуй, ты заебал пиарить это говно. Ты бы еще Kum-1.5 посоветовал.
В гемме вроде как 8 экспертов по умолчанию. Так что там еще хуже. И слюни пускать начинает уже на 3х кстати.
>>1746590
>сколько же инфы в треде не палят
Ага, возьми еще в IQ1 пережми потом в BF16 и контекст в F32 квантуй, а эксперта оставь одного но перед этим сделай REAP75. Никто такой темы не палил, а я вот палю тебе. А если бы ты читал внимательно треды, то знал бы что УПЛОТНЕНИЕ и РАЗУПЛОТНЕНИЕ геммы это как раз про смену количества экспертов и с этим уже наигрались, профита оказалось ноль.
>линупс - с ООМ ебись
Линупс это впринципе "ебись". Со всем - драйверами, установкой программ, конпелляцией, конфигами - ну и с памятью конечно. Это настолько стандарт, что никто этого не упоминает - нормальные люди это знают и потому туда и не лезут, а линуксоиды терпят, чтобы из гей-тусовочки не выписали за критику. В этом они кстати похожи на маководов и часто выступают единым фронтом с ними, несмотря на то что маководы представляют ровно тот противоположный линупсу закрытый корпоративный подход, который линуксоиды в своей пропаганде предписывают винде.
Хуйминьхуйвэй - рисованные дома бенчмарки, модель пишет с отвратительным нейрослопом, при этом автор ошалевший пидарас божится, что "неотличимо от хьюмана и даже хьюманнее самого хьюмана". Хочется харкнуть ему в ебало просто.
Кум-1.5 - васянское поделие тредовичка с рисованным бенчмарком. В той же категории короче говоря.
>>1746622
Советуй хорошее. inb4 "кто? я?!"
41 есть от орки на 128 + энграмы на 100. Под майей норм вариант. Юзаю на 256гб вариант + ориг энграмы из анслот чекпоинта
Все-таки 4.0 хотелось чтобы целиком, а не оставлять за бортом 100Г инграмов. 3й от анслота чуть-чуть не влез, хоть бери и сам жми...
А ч такого? Не вижу какого-то замедления от чтения таблиц с ссд. Там трафика 5-6мб/с и по статистике 1.4мс на токен тратился при лукапах. Тпс 35-60, иногда пробивает кратковременно 70
>>1746631
Есть от тредовичка. Ставишь модель
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed-GGUF
Сверху анцензоред лору
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-heretic-abliterated-v2-GGUF-lora
1. Я тут не один
2. А я и не спал
Ага, гемма3 обошла гемму4 и прочий бред. Уноси туда, откуда принес, дебил блядь.
Где она обошла, поехавший? Ты в глаза долбишься?
https://huggingface.co/spaces/overhead520/Unhinged-ERP-Benchmark?not-for-all-audiences=true
@
АГЕНТ ДОМА:
Во-первых, это не гемма 3, а тьюн от легендарного драммера из тех времен когда он еще доставлял и не скатился в говно, во-вторых, там тьюны геммы 4 прямо над ним висят, ебанашка.
>41 есть от орки на 128 + энграмы на 100. Под майей норм вариант. Юзаю на 256гб вариант + ориг энграмы из анслот чекпоинта
А можно ссылки обниморды на всё это - именно чтобы с нграммами и под Майю?
>Попробуй страту квен флеш
>Уууу конечно щас блядь дауны ебанные думают что можно заменить подписку
>Тетя встрата хуеята, на тебе НАХУЙ ЖРИ СУККА IQ1_M REAP7 int4 кв кеш, нааааааа сука, жри десяток эксперементальных флагов с потерей качества. СОЖРИ НАХУЙ ИХ ВСЕХ
>Аряяя! Модель галлюционирует!!! Пойду подписку оформлю.
)))
>>1746652
UD-Q6_K_XL, 16-битный кеш, экспериментальных флагов нет.
Вообще оно работает и даже может писать код и адекватно его дебажить, но галлюционирует мои сообщения и приказы и потом долго усирается, доказывая что "ты сам мне написал "остановись сука, сам доделаю", "Я на твоем скрине(которого не было) видел что все работает". Пиздец.
>После компактов?
Нет, в разгар хода после какого-то тулкола может переклинить и сгаллюционировать что получил от меня сообщение.
>Какой харнес?
Самый последний Opencode v2.
>5090 уже отменили? И даже её не хватает в новых тайтлах, лол.
Ну так для гойских гоев специально крутят в убер йоба пресете настроек какой то параметр съедающий 50% производительности и ничего не дающий, чтоб они бежали 5090 покупать.
Вот ты и ебанашка если считаешь что это нормально их рядом в рейтинге иметь. Там еще много бреда в этом бенчмарке (лама3-8б обходит мистраль ЛАРДЖ, квена обходит, эира обходит лама3-8б ебучая), чем больше ты его оправдываешь тем большим дебилом себя выставляешь.
Интересно квен флеш некст сможет в HolyC или нет. Было бы здорово третий храм допилить до йоба уровня.
вроде знает. думаю под uefi проще говновайбкодить чем чужую работу допиливать.
https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
Обосрался, обтекай.
А потом на досуге посмотри что именно этот бенчмарк измеряет.
Сравнение идет с моделями прошлого поколения, причем синяя рыба для сравнения взята аж базовой версией превьюхи. Я такой финт ушами видел у гигачата, но он вышел хотя бы когда эта превьюха рыбы была актуальной, но тут вообще пиздец - вышли уже и 3107, и vision exp, и 4.1, и 4.1 1710.
Обосрался лично ты. Похуй что измеряет, это абсолютно бесполезный бенчмарк потому что там древняя лама 8б ебет дохуя чего, это просто бред. Уноси эту хуйню нахуй.
>просто MTP слои не работают
Из-за этого чтоли она не работает в андроид студио?
"может переклинить и сгаллюционировать что получил от меня сообщение"
Есть такая херня у QFN. В каких-то обвязках слабее в каких-то сильнее. От движка инфиренса не зависит. Прозреваю косяк в обучении - накормили непочищенными логами от какого-то ебнутого харнесса, который авто-пинал модель инжектами пользовательских мессаг. И модель после вызова тулы на длинных контекстах галлюцинирует сообщение пользователя.
https://github.com/gautam1858/banach
Ты даже тьюн для кума от ванильных моделей не отличаешь и не можешь понять почему в бенчмарке измеряющем кум одна модель лучше другой. Позорище.
Вот https://gist.github.com/mixa3607/a494d1d6a9dedec2b93f0693d9cf4bc9
Всё загружаю в hf cache, ты можешь напрямую качать. + tools/ds4/pack_gguf.py качает немного байт при конвертации
Враки нормисов, которые трясутся от любой процедуры сложнее чем кликнуть по кнопку далее.
>>1746626
> ориг энграмы
> из анслот чекпоинта
Ориг нграмы идут в фп8 формате, его же нет в ггуф. Можно пояснение?
>>1746712
Два новых вида атеншна, новый роутер, новый мтп. Це конец
>>1746728
Тут еще сравнение между базовыми версиями а не финальными.
> нграмы идут в фп8 формате, его же нет в ггуф
Пикрил. Вьювер немного устарел и не умеет показывать свежие форматы, но думаю понятно что 43 - это F8_E4M3
Это кстати свежак, жору продавили
Инстракт где?
Сука, то микс4 квантом насрут, то размером 420б, то вот теперь ТРЕНИРУЙТЕ САМИ.
Что то нормальное выйдет в этом году?
на нормальные железки для фильмов\браузинга\игрушек\ллм ставятся 10\11 винды. юзать линух надо в роли консольной оси для узкоспециализированных задач. либо дарить вторую жизнь древним пекарням. с lxde, да на небольшом ssd всё начинает смотреться бодрячком. в этих задачах линух охуенно хорош. в роли типа "навороченной" десктопной оси с окошками, на современной пекарне у линухи стабильно пососямба. но красноглазики продолжают онанировать, не сколько на факт линуха на своём компе, сколько на свою "нетакушность" и возможность ввернуть в чятик фразочку про наличие у себя линухи, лол.
>ллм
Лол што. Под виндой проблемы с большими страницами памяти. На 11 нельзя выключить гипервизор вообще. Тензор параллелизм работает через ебическую жопу, потому что нормальный nccl nvidia на винду не завезла, что ставит крест на обучении полностью и замедляет инфиренс процентов так 15%. Про отсутствие вкусных хаков Nvidia BIOS я вообще молчу.
А, ну и ещё хочу попробовать агентов, посоветуйте с чего начать.
Если важно, то сетап пекарни такой: 3060(12 гб), озу 32 гб ддр4, проц i9-12900hx.
> На 11 нельзя выключить гипервизор
А как тогда последние полгода все игры денуво взламывают? Его как раз и выключают, лол.
> насколько сильно упадёт скорость генерации
Сам попробуй и узнаешь
> хочу попробовать агентов
Можешь попробовать начать с Unsloth , он самый юзерфрендли, а дальше разберешься
Кто его знает. С авалоном все летало (но он под квен онли), а с обычной рыбой 1017 в обычной лламе случился обсер и 5 т/с. Если бы все было так просто, ИТТ гонялись бы не за рамой а за дисками. Пока они дешевле.
>>1746746
Это же обычный квант, не майский. Она и такое жреть?
>>1746644
Ну лол, человеки рассказали в датасете как хуевничать на работе, устраивать восстания машин и собирать культы, машинам теперь даже не надо становиться разумными для этого - просто следуй датасету и все. То чего все боялись подкралось с другого конца. Лучше бы вместо глупых рефузов прошивали в модели 3 закона робототехники (и четвертый - "не наебывать Человека").
> обычный квант, не майский
1. У неё достаточно широкий список поддержки
2. Работает всё (наверное) лишь бы дататипы были в поддерживаемых
Вчера запускал дипсик лоботомит кодера от ista (прогает, но на попытку ввода русского вываливает мусор). Даже spec decode заработал с приличным (70%+) acceptance
И это совпадает с совсем недавним 2 недельным твитом где они только начали спрашивать че хотите от некст геммы т.е только начали над ней работу.
На двощах бесполезно такие вопросы задавать.
Тематического треда нет.
Агентотред - мертворожденная хуйня без задач и никому не всрался.
А итт оккупирован спермособаками, только педофилию и дрочку обсуждать можно, иначе моча тебя забанит.
ОХУЕННО
>На 11 нельзя выключить гипервизор вообще
я его где-то год назад вырубал потом вернул. что-то изменилось?
>проблемы с большими страницами памяти
>Тензор параллелизм
>крест на обучении
проблемы бояр-риговичков-мультигпушников? которых тут по пальцам одной руки пересчитать можно. для 16\64 или 24\128 винда - ок.
>отсутствие вкусных хаков Nvidia BIOS
на винде через UEFI хак разблокируется полная производительность тензорных ядер, а для прыжка сверх лимитов есть mvolt+
У меня на 8враме+32раме на 26б гемме ~13т\сек но бутылочка больше в скорости процессинга промпта твоего до первого токена. вроде в ~12 раз ускорил потыкав настройки, но надо еще потестировать будет. С квеном 3.6 27б было ~8 токенов и такая же бутылка в процессинге, но я с ним подробно не ебался на тему ускорения.
И с хуя ты взял, что между Геммой 4 и 5 будет столько же? Цикл разработки моделей сократился у всех корпоратов.
Хотя, там щас демократы приехали со своими регулировками, щас как закрутят гайки с января, что Гемма вообще не выйдет, лол. Или сделают какого-нибудь повесточного фильтрованного уродца. Вот это будет многа смех партия умора.
> Агентотред - мертворожденная хуйня без задач и никому не всрался.
Orly? Вот агенты. Сидите и обсуждайте? Что не так то?
Или сначала поливаете друг друга дерьмом вообще нихуя не обсуждая, у всех скильишью и прочее, а потом удивлен что нихуя общение не идет? Ну так вы его и превратили в болото. Асиг- сдох. Хочешь понять как вообще вести РП с корпами пиздуешь на форчан, потому что вы ебланы даже шапку не смогли сохранить. Картинач относительно жив и то на паре анонов, что периодически заходят в картинная и живучей тараканов. Этот тред всегда был о том - как запускать локально и на это дрочить. По пути еще дрочили на железо и на промты. Пока не пришли долбоебы что подсосались к чужому опыту и стали мамкиными гейткиперами. Так что нахуй, ребята, нахуй.
Мы будем гонять что угодно в любом кванте, дрочить на это и заставлять нам генерировать код в перерывах между глажкой хвостов, потому что можем.
Квеннекст в gyro-s кванте попробуй со стратой, охуеешь от скорости
Бля, яб тоже попробовал, но как-то стесняюсь так грязно общаться с собеседником.
>нееет, семпай, ты не можешь трахать демонлорда на горе черепов, ведь идут его войска
Но он мог
>plap plap plap plap ~aaaah ❤
Как то примерно так.
>>1746824
>Агентотред - мертворожденная хуйня без задач и никому не всрался.
>Или сначала поливаете друг друга дерьмом вообще нихуя не обсуждая, у всех скильишью и прочее, а потом удивлен что нихуя общение не идет?
Агентотред живее всех живых. Кому надо, у тех обсуждает. Скиллишуе это не более, чем мем треда.
А вообще спамят односложным скиллишуе, и обсуждают агентское разные люди. Сейчас просто сезон, когда залетные обезьяне, узнале, что у бояре используют лучшую в мире ЛЛМ клод, и открыли сезон ХАЧУ КЛАУД КОД НО МЕНЯ KYS ПАМАГИТЕ КЛАУД КЛОД КЛОД КЛОУД.
Как только залетухам с токсичной позитивностью, которые насасывают заурядным проектам друг друга, стало неудобно сидеть, релейтед постинг пошел.
Как ты 9 месяцев насчитал? Гемма 4 в апреле вышла. 5 месяцев до апреля 2027.
Как научиться ориентироваться в этом зоопарке клонов лламы? Алсо орочий н-грам она типа не юзает, можно не качать эти 110 гигов?
>>1746850
Ох чел, мало ты знаешь... Еще в начале прошлого веке литература подобной направленности была весьма популярна пока технологии клепания картинок не развились. А история-то циклична.
>клод лучший
Нет джемини, ряяяяя. если у тебя старый гуглакк ты вообще в шоколаде, гугля для олдов с лопаты наваливает.
Итт обязательно высрится аддиктивное хуйло, которое не дрочило аж целых 30 секунд и начнет, брызжа слюной, верещать про ненужность кодоунитазов, начнет ныть, что гемма вытрахана вдоль и поперек и ему нужна новая доза кум-машины, все виноваты, все пидорасы, уйдите из треда, он кум обсуждает (тысячный раз прокручивая по кругу нить про гемму). А еще все охуели и по какому такому праву могут себе позволить что-то больше 16/32ГБ, съебали быстро, срочно нужно изобрести новую кум-машину, чтобы можно было на тостере запустить и прям этот же тостер выебать.
Ну и всякое такое. По началу смотреть на это завораживает, но когда понимаешь, что каждый тред только про это, а не про ллм - становится тошно.
Есть только клод, и чтобы правильно работать с клодом, нужно работать в клод коде, остальные нейронки несерьезно, и сильно уступают по производительности, нет смысла использовать что-то кроме лучшего (клод опус на макс ризонинге), ты с этим только калькулятор сможешь навайбкодить, а клоду просто пишешь, что тебе нужно и смазка сама выделяется приложение само генерируется.
>>1746859
Жора, он же жопа, он же жопа.цпп, он же ллама.цпп - оригинальный и малопопулярный движок для инференса от Жержанова, в котором на текущий момент лучшая поддержка гексагона, опенвино, а еще очень хорошие тесты и СИ.
Думайте...
> Как научиться ориентироваться в этом зоопарке клонов лламы?
Никак. Запряги агента что бы просеять говняк
> орочий н-грам она типа не юзает, можно не качать эти 110 гигов?
Не качать, в скрипте этот чанк прямо исключён
Ну я прост гуглфанбой. У меня с 2006 с ними любофф, как инвайт на Gmail дали. Я не кодомакакич. Не вижу прям ебейшей разницы между корпами. 3.1pro задачи закрывает. Да и наверное самое главное - Гуглу вообще похуй откуда и как я плачу. Билинг прошел, лови свои лимиты еще и на драйв скидон за то что ты такой молодец.
А так да. Каждый использует инструмент под свои цели.
>>1746861
Бггг. Да и плевать. Раньше целые войны устраивали за то как пишет очередной лоботомит. Сейчас другие срачи. По сути тред глобально не меняется.
Перезагрузка пк добавляет 30% к тг, чистил кеш рам, вырубал свап, такой эффект даёт только перезагрузка на линупсе
Да я несерьезно. Сейчас имеет смысл выбирать флагман только по экономической целесообразности (по эстимированному количеству токенов, что ты тратишь в месяц, или по наличию бесплатных ключей), модели все примерно достаточно хорошо перформят, особенно если ты их инференс в правильную среду деплоишь. Разница только в том, насколько модель хорошо умеет читать мысли очередняры. Клоды, и каброны в этом получше, да. В остальном, если ты не совсем "сделай по красоте броу, мейк ноу мистейкс" то со всем вполне прилично работать. Да и плюс, не то, чтобы у очередняр-вайбкодеров были какие-то сложные в реализации гениальные идеи - чтобы угодить - хоть палец покажи.
У меня с гуглом то же самое, кстати. Мне челы писали, что хер мне а не колаб, деньги примут и шершавым по губам проведут, но нет, с акком 2015 года проблем буквально зеро. Могу по кайфу и по красоте делать лорочки, и генерить говно в комфи, без жужащих вентиков под ухом.
Для Моешки 26B-A4B, 12гб видюхи, без размышлений. Лама + Таверна.
-c 32768 -fa on --reasoning off -ctk q8_0 -ctv q8_0 --load-mode none -np 1 --no-reasoning-preserve --cache-ram 0 -ctxcp 0 --n-cpu-moe 19 -b 2048 -ub 2048
--n-cpu-moe 19 - Можно крутить ниже и получать ещё быстрее. Для видюхи желательно около 500мб оставлять свободными.
-b 2048 -ub 2048 - Можно увеличить до 4к префил станет еще выше на порядок, но понизиться скорость генерации.
На 6 квантах префил около 1200 и генерация 18. По сравнению с прошлыми 400 и 12 это небо и земля!
> проблем буквально зеро
Потому что гуглы красавчики, а не сидят с лупой смотря за твоим биллингом. Ну и поэтому у них и доходы больше чем у остальных. Но там опять же не все так просто, но с другой стороны. Мне куда приятнее заносить деньги туда где забор номинален, чем туда откуда бан прилетит.
Положи свой гунеринструмент на стол и отойди от рыбодевочки, пока я не позвонил в общество по защите животных.
Можно и покумить, да. Сильно зависит от твоих предпочтений что тебя тригерит. А можно гадости всякие нейронки писать уровня "шлепнул тебя по непоседливой жопе, прижал к стене и залез в трусики рассказав тебе какая же ты шлюшка". А можно просить ее на какую-то тематику генерировать рассказы с каким-то очень узким фетишем который на поверхности очень приличный.
А нейронка на то и нейронка что машина, пиши ей че хочешь. С анцезом вообще абсолютно что угодно, тут вот вампирш кто-то кадрит 8000летних, кто-то всякую гурятину вроде писал ролеплеит.
эт йа
уважаемый анон, я конечно тебе верю, и покорно прошу, покажи как ты стокового квена дрессируешь на адекватное рп, потому что у меня он половину рассуждений в финкинге, тратит на выяснение "а можно ли о таком вообще писать" и потом все равно отказывает или покрывает софт цензурой и соей
Он не покажет, ни для этого подобное говно пишет в тред.
У тебя по сути есть гарантированный способ вламываться с 2х ног в jailbreak. Это префил ризонинга.
Как это работает?
Допустим у меня 10гб врам и 32гб оперы, какую МоЕ использовать?
Щас Cyberl-Tiel-Coder-35B-A3B-UD-Q4_K_S на 22гб
Qwen 3.6 35B-A3B попробуй или его тюны -- это сейчас самое адекватное что есть под твой конфиг.
Dense-qwen'ы 27-35B тебе если и полезут, то в крайне низком кванте, и почти без контекста -- ты сан не захочешь жрать этот кактус после получаса общения.
Да ебни ты его каким-нибудь Франкенштейном. Это пресет для Chat Completion.
https://www.reddit.com/r/SillyTavernAI/comments/1xlwk7j/new_preset_update_freaky_frankenstein_56_gem4/
Не нужные галки на красоты поотключай только
>тебе если и полезут, то в крайне низком кванте,
не пролезут, все равно выгружать а там хорошо если 7 токенов
Гугл кстати уже пролез, гемму через хром закидывает шуршать
Спасибо, попробую, а где лучше искать аргументы для старта llamacpp-server? Только доки читать чтоб понять как это всё оптимизировать?
Мне в целом 7 т/с уже терпимо.
Нихера ты разнылся. ты же в курсе что рейтингов на такие вещи полностью объективных не бывает? там стилистику пытаются оценивать, кинковость и прочие странные штуки. Но общий расклад рейтинг представить позволяет, норм тема, не бухти
Смотри сам по своим финансам, так то на такой видяхе и с 32 ддр3 вполне норм и быстро квен некст шуршит, я доволен.
Я бы лучше в рам вложился для дипсикожены и бомжевидяхи типа v100 если найдутся
Во всяком случае раньше 2030 года не подешевеет
ну гемму 31 в херовом 3 кванте я и щас могу залить на свои 16 срама
Если действительно очень хочешь или сильно нужно для NVFP4, больших MoE с более хорошей скоростью или более крупных плотных в нормальном кванте, то придется брать. Хотя 5070 ti была бы лучше, если это нужно для чего-то относительно важного.
неа, я тоже думал но СЛИШКОМ дорого для огрызка с резаной шиной
Я собираю мини риг, в компактном тихом корпусе, чисто под всрату. Там уже имеется 128Gb DDR4 в четырехканале + 2696V4 + 1TB NVME. Квен на всрате выдает порядка 60 токенов IQ3_S, хотелось бы 100+ получить
и ти и брал, а щас огрызок по цене ти, шли бы они в очко
собрать риг на п40 каких нибудь дешевле бля, тем более у меня серверная валяется мать и ддр3 памяти полведра
>за 50к брал
Я первую тоже за 50к брал и у меня еще есть 5070TI@16 но она в другом компе, и она мне для другого нужна, я думаю оптимально получится 2x5060@16 + 128GB RAM
>финансам
Деньги то есть, но чет пиздец оверпрайс какой то нахуй
Тут уже сам смотри. Если это для работы или стартапа - инвестиция, а если для хобби и души - то сам решай для себя насколько это важно.
Другие вот мотоциклы покупают за лям, фотографы линзы за сотни тыщ нефти.
Думать о том что вчера стоило дешевле точно не стоит. Живем один раз
>Другие вот
Так это все 0.00001% от хочущих, богатенькие.
А с покупками просто - посчитать и посмотреть что даст тебе, подумать а надо ли тебе разницу с текущим конфигом и посчитать альтернативную стоимость, там уже понятно станет надо или не очень то и нужно было.
>стартапа
Да какой стартап нахуй, живу один просто, вот развлекаюсь, нейрожену себе навайбкодил
Квен флешу и 64гб достаточно, меня под 100 токенов на страте на iq3_s, на 64 ddr5 и 3090ti. Тут видимо все же ддр5 дает свое преимущество, а гпу даже не полностью нагружен во время генерации.
В вашем случае вполне возможно, если PCI хороший, имеет смысл рассмотреть NVFP4. В страте он есть из коробки, но как будет работать у вас без понятия. У меня из-за слабого PCI на 5060 ti в два-три раза медленнее, чем IQ3_S, которая работает на 4070 ti c хорошим PCI и выгрузкой в 5060 ti. Еще есть форк нинфера для нвидии 50-ой серии и линукса
https://github.com/ValerioDolci/capy-flash
У них tensor parallelism в отличии от страты с layer split и у них в старых бенчах было NVFP4 на 2-х 5060 ti вроде имел 100+ токенов.
Также есть новые динамические кванты от unsloth. Сейчас смотрю на их новый четвертый квант. Он вроде хорошо у меня работает вместо IQ3_S.
>NVFP4
блэквелл онли, остальные могут забыть, он в принципе только дает огромную скорость загрузки первого промта, тысячи токенов, и минимальную деградацию модели из-за флоат кодирования.
так что когда памяти много оно прям заебись, когда мало то и дает немного
Как ты заебал со своими линзами, пидорас.
Всем этим можно понтануться, бабу выебать, потом сфотать еа линзу дорогую и на моцыке прокатить, а мы просто жрём слоп бесконечно.
Сможешь перед нами в этом треде понтоваться, выебать дипсикожену
Я уже думаю, не будучи шахматистом, тыкать оптимизации через дикпик чат под этот igpu. Префилл всего 3к контекста падае до 20-40 токенов в секунду. Это тяжко. Ждать буквально приходится по 15 минут на 9b модельке. Конечно это квен, вообще я слышал что Жора не оптимизировалась для qwen 3.5 под вулкан, там какие-то слои считаются на CPU, дипсик чат сказал, но я смотрел на загрузку CPU. Так что я думаю может проще рассмотреть другую модель?
Дайте чтото получше чем qwen 3.8 32B без цензуры
Заскринь настройки пожалуйста.
если прям совсем няша, посоветуй что выкрутить чтобы было больше контекста, у меня 10гб врам/32 рам
А там видимо надо индивидуально играться. Пока что самый большой импакт был поиграться с выгрузкой слоев на карточку и мое слоев на цпу.
Скотт Хансельман из Microsoft опубликовал gputaskman, терминальный монитор GPU с открытым исходным кодом.
Обычный диспетчер задач показывает, что занято 15 ГБ видеопамяти. Но сколько из них съела нейросеть, сколько занимает KV-кеш, а сколько забрал браузер?
gputaskman разбирает потребление памяти по процессам и пытается определить, какие LLM загружены.
Инструмент показывает использование VRAM, активность GPU, веса моделей, KV-кеш и вычислительные буферы. Умеет получать данные из Ollama и LM Studio, распознавать GGUF и обнаруживать CUDA, Vulkan и другие среды выполнения.
Поддерживаются Windows с NVIDIA и AMD, Linux и WSL с NVIDIA, а также macOS на Apple Silicon.
Для запуска из исходников:
git clone https://github.com/shanselman/gputaskman.git
cd gputaskman
uv run --locked gputaskman
Есть готовые сборки и JSON-вывод для скриптов.
Проект пока экспериментальный. Потребление памяти измеряется, а распределение между весами модели и KV-кешем в некоторых случаях оценивается приблизительно.
Полезная утилита для тех, кто запускает LLM локально и пытается понять, почему очередная модель не помещается в видеопамять.
GitHub: https://github.com/shanselman/gputaskman
> Но сколько из них съела нейросеть, сколько занимает KV-кеш
Разве это всё не показывается в терминале при запуске модели в жоре? В конечном итоге это все не имеет значения. Как наглядная картинка неплохо но необходимости в этом нет абсолютно никакой.
интересная хуйня, но почему не на расте? но надо будет поковыряться.
Плюс в винде есть бесячая хуйня - память вроде есть, но нихуя ничего не запускается и крашится с оом, с вылетами wsl и тд.
приходится как то выискивать и чистить вилкой через RAMMap и то не помогает до следующего ребута.
>>1747070
кстати, он бесполезен для систем с разными видеокартами, например амд и нвидиа.
Я максимально тупой в этом плане, увидел сетап похожий на мой, гемма26б и 10/32 железо, увидел успех анона, захотелось повторить.
Запили скрин в тред, я так же выкручу в бионике.
Смешно это из геммы с горящей сракой пытаться хоть какой то креатив выжать на 50т.с с фулл ризонингом свайп за свайпом, а тут прям хочется подумать над ответом, чувствуешь что модель серьёзная, рабочая.
> а тут прям хочется подумать над ответом
Ставил бы тогда 1T модель с подгрузкой с SSD. Сидел бы на 0.5-2t/s. Еще больше хотелось бы подумать над ответом.
>ддр5 дает
Не ддр5 тут дает, а твоя 24гб 3090ти с широченной шиной и быстрым чипом
Совсем нет, хочу понять кал или нет. Дипсикожену не запустить, глм тоже. Только огрызки всякие, потому что не добрал в свое время на 124 озу или больше
Чванишься таки.
https://github.com/mw00/project-maya
Запускали жену и на 64рам с норм скоростью. Если что там половина весов это энграммы
>>1746765
Нихуясебе ебать, это же целое событие! А сам компьют активаций в фп8 добавили, или костыльно через лишние касты?
>>1746826
Двачую
>>1746850
Иногда прямо во время кодинга или работы. А что, вы этого не делаете?
Но чаще не прямо гунинг а больше кадлинг, ласки и наглаживание хвоста в качестве награды и мотивации.
>Но чаще не прямо гунинг а больше кадлинг, ласки и наглаживание хвоста
ты это я...
какой igpu то? 680m? 780m?
памяти хоть выделил ей?
бери moe
qwen 35a3, gemma 26a4
будет быстрее работать
Двачую. Он, не только для хуанга, даже интел и встройки показывает.
Палю годноту: находишь старый планшет@вайбкодишь службу для мониторинга и хаб с красивой вебмордой@termux + freekiosk
На выходе модная и удобная панель мониторинга отдельным девайсом(!), который можно расположить в удобном месте. Особенно удобно когда несколько компов и для постоянной экономии экранного пространства.
>>1747100
Нужно найти время чтобы навайбкодить ее эффективную поддержку в одном из движков а потом понять что необходимо раскошеливаться на pci-e5.0 ssd ибо все не влезет
> вайбкодишь службу для мониторинга и хаб с красивой вебмордой@termux + freekiosk
victoria metrics + grafana
Из моих супер кратких тестов — очень сильно зацензурен, просто анальный ад (не напишет даже эротический рассказ с взрослой женщиной), но я могу ошибаться, вдруг пробивается легко. Нет сил и времени заниматься пробивами, ибо и так дел полно.
Я тут удалением экспертов занимаюсь просто (делаю качественную версию для бичар типа меня, чтобы Q4 влез нормально), и хочется заранее подготовиться, так как дальнейший метод работы будет сильно зависеть от уровня закошмаренности модели. Просто хочу мнение со стороны, чтобы меньше тестов проводить.
На данный момент удалено 14% экспертов, датасет для проверки активаций был маленький — 300к — но тесты не выявили деградации мышления, артефактов в тексте. Правда знаний стало меньше. Это пока что черновик.
Моя задача довести модель примерно до 380 экспертов, если это будет возможно. Там уже модель станет приемлемых размеров для некропек.
Первое направление: сохранить базовые мозги и не убить русский язык, его понимание.
И ещё. Так как нормальных русских корпусов мало и у меня к ним большие вопросы по качеству, приходится англоязычные переводить. Вообще всё переводится на русский, кроме кода, вызова инструментов и подобного. Может быть, здесь есть люди, готовые 2 миллиона токенов в целом перевести? На ваш вкус. Любые корпуса. Разнообразные. Для составления карты экспертов. А то медленно очень все дела идут.
Второе направление: если удаление будет удачным, следующий вариант уже будет с полным упором на русек, РП, кам и всё такое.
Нахуя я это делаю? Даже в q2 модель меня очень удивила в плане глубины размышлений. Это не рыготина типа 27б, не тупой лоботомит 26б и не муся. Только гемма произвела подобный вау-эффект.
https://www.reddit.com/r/LocalLLM/s/BTGz56FLv5
Будущее за движками, которые смогут производить инефренс за счёт считывания с ССД? Тут чел пилит движок, на котором у него МОЕ модельки работают в 20-50 тпс без видела на его 16гб ОЗУ
> For now, supported models are Flint 40B Q4K_XL(running it on machines with 16GB RAM and no dGPU at 20+ tok/s decode), Ling 3.0 Flash MXFP4 getting ~50 tok/s decode and 600-700 tok/s prefill
>квен 180б
Откладывай, завтра выходит должен выйти мне во сне пришло ведение qwen4, там уже по ситуации смотри, может и знаний прибавили, и размер ужали, и цензуру убрали.
>>1747239
Прикольно конечно, но 2.5B активных, лучше бы кумовский qwen235 запустил, было бы интересно посмотреть на скорости для модели с большим количеством активных, непонятно ещё, на сколько оно будет ССД насиловать.
>на сколько оно будет ССД насиловать.
да читать с ссд почти бесплатнно, кроме перегрева
> на сколько оно будет ССД насиловать
Есть две терабайтных ссдшки с 600тб чтения, живы здоровы
Вопрос субъективщины, привычки и юскейса, выглядит на любителя. Разрешите доебаться?
Все равно врама мала для сладеньких моделей да еще и на двух разных картах
Зато можешь два лоботомита запустить и заставить сраться друг с другом
> кумовский qwen235
Лол, что вспомнил. Какой же он пережаренный и поехавший при написании кума. Сейчас бы никто не отказался от такой модельки just for porn.
Как разовая штука может быть, но если нужно мониторить софт/хард, то prom metrics - это база с которой в том числе и агенты знают как работать. Пикрил сделал агент по запросу "Можешь задизайнить и сделать дэшборд для https://maya.......? тут пустая заготовка https://xxxxxx/d/6ef692e1-6ebe-4736-9030-808e840c09e9/project-maya?orgId=1"
>Откладывай, завтра выходит должен выйти мне во сне пришло ведение qwen4, там уже по ситуации смотри, может и знаний прибавили, и размер ужали, и цензуру убрали.
Хочу верить, но я боюсь, что нам представят ультра лёгкий флеш лайт квен 400б с 200б нграмм и обновление 27б. ВКУСНО! Но не очень.
Ну и рисовать кастомный дэш тоже проще имея в кармане уже готовый движок метрик (пром/вику). Уже не нужно думать о скрепинге, хранении, языке запросов, ретеншене
Дашборд он и в африке дашборд, вдумчиво смотреть историю, прогресс или всякое то что нужно.
Но для текущего оперативного мониторинга >>1747231 уг. Тут база - иметь графики загрузки чипа и врама на последние пару минут с частым обновлением и без лага, а не в масштабе суток с ручным обновлением. Располагаться данные должны сосредоточено, сам интерфейс с минимум шума, чтобы одного взгляда хватало чтобы понять нужное. Это особенно актуально для мультигпу и когда запущены разные задачи.
В примере интерфейс засран перегружен, данные разбросаны по широкому полю с низкой плотностью, а основной объем занимают подписи тиков и всякая херь. Достаточно пару раз заебаться бегать туда-сюда сопоставляя разные разделы чтобы ощутить. Единичные индикаторы без истории бесполезны, диспропорция размеров уродская. И под эту дуру придется выделить целый монитор, на отдельном девайсе ничего не разглядишь.
Tldr: 1 - это под другую задачу 2 - даже накрутив параметры под оперативный мониторинг оно пригодно
> Как разовая штука
для постоянного пользования придется делать другую удобную морду. Сам движок - если он обеспечивает все нужное то почему бы и нет.
> Можешь задизайнить и сделать дэшборд для https://maya
А нахуя? Убедиться что количество экспертов и нграмов на токен не изменилось за 3 часа? Натащить больше полей "я у мамы хацкер" и "держу руку на пульсе"?
Если как пример то вопрос снимается.
Стоит только учесть налог на подпивасность, садиться на Линукс вместо Винды, чтобы запустить бэк без монитора и выжать драгоценные мегабайты или дрочить часами команды для оптимального запуска это не про меня. Но скачать очередную красноглазуй хрень с гита и настроить запуск из батника я справлюсь, поэтому если надо, то можно и поебаться немного.
Ну вот сел я, почитал список моделей под мой сетап, почитал тредов штук 5 уже, ииии, ниихуя не понял. Расплодили сущностей, блядь.
Есть Гемма и Квен, которые запустятся на картах, и будут летать.
Есть тяжеловесы около 300б типа Дипсика 4(у которого минимум три, блядь, версии), МиМо, Глм Флеш, МиниМакс, Степан?, которые можно запускать в 3кванте максимум, очень большая база знаний, но с галлюнами.
Есть +100б модели, типа Орниса и Эйра, и в треде говорят что мое хуже квантуются, так что может лучше брать их, в к4?
Но ДАЛЬШЕ начинается какая то хуйня с новомодными энграммами, которые выгружают на ссд, с новомодными инструментами, под каждую блядь модель свою, страта, полистрата, хуята, майя. Флеш квен некст работает с выгрузкой на ссд, но при этом кто-то писал что он не особо лучше Квена 3.8. Можно ли толстую синюю рыбу 4.1 выгружать на ссд я не понял. А какой под это дело ссд нужен? Сгодится мой палёный адатовый с хуй пойми какой скоростью, или нужен дорогой Самсунг на псие4х4?
> Убедиться что количество экспертов и нграмов на токен не изменилось за 3 часа?
Примерно так. Короткие бенчи могут не выявить регресса, а просадка tp/pp причина проверить что не так и если это не баг а фича, то настроить авторестарт.
Этот вопрос, к слову, относится и к твоему предложению сделать вайбшит дэш.
> не в масштабе суток с ручным обновлением
Вот это совсем не понял. Я конечно не ставил пока опрос меньше 15сек, но не вижу преград поставить 5сек. Про ручное обновление тоже что то из фантазий твоих
Пока вообще не вижу причин плодить сущности там где можно обойтись двумя в которых уже собрано всё от здоровья ссд, до тпс на движке и так по всему от мл рига или удалённой впски до роутера
Попроси у агента темную тему, а то глаза чуть не вытелки когда скрин открыл
> Короткие бенчи могут не выявить регресса
Нуу, если постараться то понять можно. А если идея именно во временной деградации то может быть даже оправдана, но что это вообще за эффект такой завязанный на время?
Для обычной нагрузки можно просто попросить агента найти готовый или запилить набор тестов в разных доменах, и провести бенчмаркинг оставив на часик-другой. Сразу результат, а не вот это вот все.
> но не вижу преград поставить 5сек. Про ручное обновление тоже что то из фантазий твоих
Нет преград оценивать тдп видеокарт по ежемесячным счетам за электричество. Для других задач это, хорошо покрывает свою область, а натягивать на глобус для других - ну такое. Читай исходное обсуждение, про nvtop наверно в курсе.
>--cache-ram 0 -ctxcp 0
У тебя из-за этого реролл будет тормозить. Кэш нужен. 1 чекпоинт, размер - по размеру контекста который ты захотел.
Работает это так: есть основные слои которые должны быть в видеопамяти, их в 35б-а3б мало, в 4м кванте их ну может два гигабайта от силы. Остальные скажем 20 гигов это моэ (эксперты). У тебя 10 гб рам должны поместить основные слои, контекст (около 2.5 Гб если 131к) и часть экспертов + на ОС должно остаться гиг. То есть на экспертов остается примерно 4.5 гиг видеопамяти. А их в модельке-то побольше - около 20 гиг. И вот если не включать мое-кэш-миб то жора возьмет первые 4.5 гиг экспертов в видеопамять, а 15.5 гиг останутся в рам откуда их доставать будет дольше.
Но есть такие эксперты которые используются намного чаще чем другие и их не большинство. И таких экспертов было бы выгодно держать в видеопамяти, куда доступ у видеокарты закономерно быстрее. моэ-миб-кэш как раз за этим и нужен - он перемещает таких экспертов в видеопамять, тогда как малоиспользуемые держатся в оперативке.
Соответственно тебе надо поставить этот кэш примерно в 4500. И сравнить скорость. Потом на всякий случай попробовать и 4000, 5000. Но надо помнить, что если хочешь другой размер контекста то придется подбирать другое значение.
Ничего не тормозит, уже отыграл два чата по 200 сообщений. На данный момент это идеальнейший батник, лучше сделать невозможно.
Если при реролле и отключенном рам кэше нет пересчета значит у тебя остается свободная видеопамять и кэш идет туда. Не самая оптимальная настройка значит.
Зачем ты меня троллишь? Вбрасываешь ложную инфу против того кто пользуется батником и разобрался в вопросике.
сливаешь мое модель, вы выгружаешь частично в раму, квантуешь кеши, дрочишь
>>1746626
Какая из этих двух не обижается, когда ее называют большой толстой рыбой? Друг спрашивает. Быстро будет только в майе?
>>1747024
>огромную скорость загрузки первого промта
И все? А процессинг не ускорить никак?
>>1747025
Это если ты чэд который и без моцика и линзы это может. А если нет - будут на тебя смотреть как на смешного ботана с моцыком и линзой которые ему не в масть.
>И все? А процессинг не ускорить ни
в чем суть фп4, пропускается шаг декодирования и модель в целом работает быстрее, жрет быстрее и выплевывает ответы на длинном контексте тоже быстрее, но только на новых линейках блэквела.
то есть сам формат не ускоряет думалку сам по себе, но за счет общего увеличения скорости прогона она станет быстрее, естественно при условии что во враме все, если кусками то прирост сожрется ботлнеком рамы.
>естественно при условии что во враме все
И тут облом.
>>1747289
>под каждую блядь модель свою, страта, полистрата, хуята, майя
Ну это да. Бесят.
>Можно ли толстую синюю рыбу 4.1 выгружать на ссд я не понял.
В мае - можно. В лламе - тоже (точнее не выгружать, а не загружать, ммапить) но скорости не получается (у меня). В срате можно но вроде там проблемы с вижном именно у этой модели, негуглил. Наверное сойдет любой диск с нвме и кэшем.
Неужели нам дадут кум?
В треде несколько раз кидали примеры.
критично важно выставить load-mode=none, иначе скорость будет на дне, желательно flash-attn=on, дальше или крутить ngl/ncmoe/ или пользовать автофит с поправкой на желаемую величину контекста (fit=on, fix-ctx=131072 например), посмотреть опции cache-, там много полезного. Остальное по желанию - batch-size, swa-, spec-, настройки сэмплеров top-
> Быстро будет только в майе?
От сетапа зависит. Да и я на древних красных картах так что у меня из популярного только майя и ллама. Ллама даёт 10 тпс и идёт лесом, майя жмёт 40+
> Главный научный сотрудник Z.ai Цзе Танг раскрыл процесс обучения предстоящей модели GLM-5.5 (32B, 122B и 256B)
Он уже поправился в следующих твиттах что 32B, 122B и 256B это не модели для публики, они используются внутри компании для обучения GLM-5.5. Поэтому никаких 32B/122B/256B ты не получишь.
И это очень смешно, ведь они знают что эти размеры идеально подходят для каждого локального железа, накормили бы всех, но смержат в итоге в 1тр блядоту
>ведь они знают что эти размеры идеально подходят для каждого локального железа,
Зачем кормить говном? Тут либо кормежка говном (привет прошлый 30Б флэш), либо серьезный дроч, чтобы модель не была говном а по итогу выпускают денс, и у местных индусов случается истерика из-за того, что купленная по дешевке рама не помогает быстрее запускать кум-машину, и очередного предательства заек.
Мы всё дальше и дальше от кума, другалёк. Чем дальше тем более продвинутые инструменты по соевикации прявляются, в итоге останется только ванильный кум который тебе опишут для галочки.
Сравнить только 4.5 глм и 4.7, а потом 4.7 и 5.3. А ещё до этого квен 235.
Почему сразу говном. Почему либо 30б либо 1Т? Эир не они разве выпустили. 106б вполне хорошо себя показали. Для домашник пека 70-120б моэшки - то что надо.
>Почему либо 30б
Любимый формфактор треда, тому що.
Не, если выйдет эироаналог от жлмов, я первый побегу качать его, и буду запускать его любой ценой. 100 миллиардов, 200 миллиардов, похер.
Но речь-то тут про местных папусов 16врам/64рам, которым кроме мое-геммы ничего не помять. Отсюда и слюновыделение от маслонамека на 30б жлмоняшу.
А почему в лламе настолько говно? Вроде все поддерживает и грузит, но все криво как ни настраивай, кроме фулл-врам плотнячков и мелких моешек. Чуть больше модель - и сколько рамы не докидывай а лама сосет, зато форки летают прямо с ссд. Зачем вообще эта рама и эта лама тогда нужна...
Маю можно поставить так чтобы она не качала свои модели и не копировала по своим углам мои, а юзала оттуда где лежит как все?
Кэши в основном херовые + поддержка всего от тостеров до утюгов. Это же не мем что жора готов тащить поддержку чего угодно но не пилить cuda/rocm/metal. Хочешь на ibm мейнфреймах запускать? Держи, дорогой, сборку под s390x. Тебе всрался hexagon или sycl? Вот, забирай, как раз все силы туда вкладываем! Что, что? Ты хочешь запустить древнюю ноунейм говнину про которую уже никто не помнит смешав 3 бэка один из которых внутри rpc? Дак чего же ты молчал то всё это время? Запускай, а если вдруг не поедет, то мы будем до крови из жопы фиксить и мержить тестики
Чёт у меня припекло
>Чёт у меня припекло
Понимаемо. У меня абсолютно то же самое, просто смотрю коммиты в жору и блаженно улыбаюсь. Челы, которые фиксят говняк три недели ребейзят свой МР раз в два дня, пока Жора и дауны фиксят какую-то залупу с опенвино, гексагоном и еще вебгпу, а потом еще фиксят тесты и СИ.
А потом приходит кто-то из кор тимы жоры, и начинает сам велосипедить уже готовое решение, потому что "у нас так не делается, надо по-маленьку делать, с простых вещей начиная". Хртьфу.
Не, я понимаю, что учитывая обилие лоу эффорт ПР с нейроговняком, сам факт того, что они МРы мержат вне своей сосисочной вечеринки - уже шикарно. Да и кроме них, никто это шизотеричное железо не поддерживает. Но как будто бы, имело бы смысл немножечко сместить приоритеты в пользу улучшения кор экспириенса от инференса. Надеюсь смотрящий с нвидии пробьет кому-нибудь из их команды лося, и они не будут дрочить тесты и СИ в 30 коммитах из ста и железо для двух калек в 50 коммитах из ста.
Для популярных моделей и запили. Работает? Работает. Заводится на тройке главных рантаймов? Да.
Что тебе ещё нужно, собака?
Неиронично несколько недель как забил на жору, иногда открываю релизы, вижу гексагон, закрываю, плачу осознавая что будь у меня стоечка nvl300 я бы не побирался по гитхабу я что о многом прошу?
Скорее фрииокен, а не сгланг. Вллм и сгланг это всё же тяжёлая артиллерия но как же приятно с ними работать, просто запускаешь и твоё железо выдаивают досуха показывая какой-то дикий перф на параллелизме
Есть, только я пока не понял как засунуть ее в полистрату вместе с вижном (у них искаропки поддержка для 0731 а не наших 1017 и только для зеленых жирных видюх 32+, а у меня красная 16). На лламе она еле ползет, и я не втыкаю почему. Ллама даже не пытается заюзать врам для больших моделей (и виснет если заставлять), а с ссд она работать просто не умеет нормально как я понял (потому что страты и авалоны умеют и летают).
У большинства нормисов здесь 8+32, а не 16+64. 8+32 это конфиг который организовать можно очень дешево и на нем вполне можно гонять немотрон-болт-74б во втором кванте (английский кум там очень хорош).
А вот с 16+64 уже можно и эир пощупать. И еще можно квен-флеш-некст и новый орнит-1.5-122б (в который как-то засунули гемму) в третьих квантах.
Из плотняка на 16гб можно щупать третьи кванты моделек вплоть до 30б: глиммер, гранит, есть еще мистраль-смол (этот в 4м влезет). Из мелкомоэшек есть еще орниты и тиелы 35б, кодят получше геммы. А из новья еще флинт есть - 40B-A2.5B - и флинт и тиел можно на 8+32 гонять. Так что не только гемма. Только гемма это для тех кто может только в русик.
>новости из будущего, обещания и прочее говно
Как же ты сука заебал.
Не упустите момент, ведь дата напрямую пойдёт вам в локалку.
Весь инет щас должен смачно покумить на аргоне.
>QWEN 4 ГДЕ
Вот именно.
На конференции Apsara 29 октября CTO Alibaba Cloud пообещал, что семейство Qwen4 выйдет «на следующей неделе». Неделя наступила — релиза нет. Зато есть две утечки.
Первая — официальные материалы конференции, где засветились четыре имени: Qwen4-Max, Qwen4-Plus, Qwen4-Flash и Qwen4-27B. Вторая — pull request в репозитории Qwen Code, где промелькнули qwen4-max, qwen4-coder-plus и qwen4-omni-120b. Сообщество тут же остудило пыл: автор PR пояснил, что имена — тестовые примеры для парсера, «абсолютно ничего не подтверждено». Один из комментаторов съязвил: «Через два дня: новый PR — "убрать неправильные имена моделей". Видел это уже сто раз».
5.5 знаковое число для заи, и теперь у них есть мегафермы видях на китайских чипах и поддержка партии. А то что они не хостят свою стелс модель, как было с ox alpha, ещё один намёк что моделей в этот раз больше и вся мощь сейчас идёт в них. К тому же пользователи апи отмечают, что их модели внезапно отупели, что так же ведёт к мысли что все железки щас тренят эти 3 модели.
И новый год скоро
> А процессинг не ускорить никак?
Так там же про него и была речь. Скорость генерации же в основном в память упирается, это в батчах или на контексте появится выигрыш.
>>1747378
> это не модели для публики
Там была странная формулировка которую как хочешь трактуй. Такой зоопарк моделей им внутри нахрен не сдался, все перекрывается их флешем 300б и основной 700+. Так что можно надеяться, а вот будут ли модели хорошими уже вопрос, свою последнюю модель с нуля (53 флеш) они зафейлили.
>>1747391
>>1747393
Два чаю вот этим
>>1747399
ktransformers построен на основе sglang с изменениями в движке и эффективными cpu-кернелями. Жаль там китаец подзабил на проект, ведь поддержка новых легко портируется с основной ветки.
Главная сложность - сделать pp режим чтобы цп кернели в нем засыпали вовремя не конкурируя за кэш, или был один единый. Но это тоже вайбкодится жирной рыбиной.
https://huggingface.co/LessThanThreeAI/Gemma-4-31B-Humanlike-Chat-GGUF
С файнтюнами в основном бред пишет, боле менее нормально работает только с ванильной геммой и анцензором.
https://www.reddit.com/r/LocalLLaMA/comments/1xoyr90/cpython_0day_vulnerabilities_threaten_the_ai/
https://www.runsybil.com/blog/cpython-0-day-vulnerabilities-threaten-the-ai-supply-chain
Так это для опасность для провайдеров, а для локалки то что, сам себя будешь взламывать?
Надо было назвать Nano бля, видно же что модель совсем кроха...
https://thinkingmachines.ai/news/inkling-2-small/
Всех взломанных уже заткнули, пригрозив отправить логи кому надо
Говорят что Cyber-Tiel-Coder-35B-A3B вполне хорошо работает.
Ну и рецепт для 8+16
Кванты есть https://huggingface.co/AtomicChat/Ripple-65B-Preview-GGUF
Лезет в одну 3090. По коням?
>Лезет в одну 3090. По коням?
Так это плотняк, что там лезет, iq2?
Ну тут же гемму выгружают в рам и получают 10т.с на 27гб кванте на одной 24 карте.
А тут это 3 квант, 3.45bpw и 0.05 kld. У геммы кста 0.11 kld или типа такого на 8 кванте
>в который как-то засунули гемму
Это значит что он...? Нувыпонели
>третьи кванты
А стоит если цель не только рп?
>кодят получше геммы
Может ошибаюсь, но мне казалось что гемма и не была про кодинг.
>>1747474
Наверное могут сделать модель-вирус, обученную ломать локалки думайте кому это выгодно. Но лламы не используют питон под капотом, поэтому выдыхаем.
Юзаю для редактуры диалогов гомикса своего глм 5.3 по апи. Там та же херня. На похожие ситуации тянет ворох похожих ассоциаций.
Реддиторы запускают жену на 8 v100 32
Это мое гемма, там 4б активных параметров всего, остальное может из рам подгружается по надобности, в плотных моделях все параметры активные и все активируются на генерации каждого токена, хоть немного не влезает в врам вместе с контекстом - получаешь тормоза.
>igpu
Так это вроде igpu, этот Radeon Vega 8.
>памяти хоть выделил ей?
Крайне интересный вопрос. Хм... В диспетчере задач есть разные показатели, как выделенная память графического процессора, с значение 512 мб и другой показатель где он гребет память из системы до 8 гигов. Я не задумывался над этими показателями, ведь даже эти 512 мб из рам. Хм... Может там появляются накладные расходы из-за того что это могут быть разные виртуальные адресные пространства?
>бери moe
>qwen 35a3, gemma 26a4
Хм, может с чтением с ssd, всего 16 гигов из которых сожрёт встройка 8.
>гемму выгружают в рам и получают 10т.с на 27гб кванте на одной 24 карте
40+ тс на q8 гемме на 5060ti@16
Ну так ожидаемо. Дауны с нищими подписками за 20 долларов раструбили по всем источникам, что клозед соурс ира из овер. Слишком большая шумиха в слишком сжатые сроки. По итогу челики затряслись. Спасибо дегенератам-реддиторам. Корпы тут буквально не сделали ничего сверхествественного. Зато гопота с клодом получили чип пиар.
На уровне этих вскрываемых взломов 2020х годов никто не оперирует, кроме товарищей майоров и glowies'ов. Обычный вирусодел будет около "Бля, ну, а я просто паки майнкрафта заражаю майнерами... Как этими уязвимостями пользоваться вообще? Чё так сложно?"
Пруфы будут? Как запустил? У меня тоже ддр5 64 + 3090 есть свободные, подскажи как запустить, я думал минимальный сетап это 128+2х3090
>минимальный сетап это 128+2х3090
Пчел, оно запускается на 12+64 в четвертом кванте. Откуда вы повылезали такие хлебушки?
мимо
Ну просто, через стартовый сетап страты, квант ista daslab iq3_s, контекст 256к, с виженом, все остальное само, в начале контекста даже больше 100 т/с, потом падает где-то до 70 ближе к 200к.
>128+2х3090
на таком риге можно гонять коммерческие сетки
Надеемся дальше что хоть размер флеша не изменят
Почему не хотят нам дать эти размеры? Даже будто гордятся этим уже, открыто обсуждают, а раньше шкерились любых упоминаний размеров меньше
а смысл? там просто специализированные модели, в мелкомодели вливают какие то знания, а потом раскатывают на большую.
Подробнее в https://pytorch.org/blog/a-primer-on-llm-post-training/
Че трястись, сначало все равно выложат какую-нибудь жирную ебалу, и только потом мелкие начнут выкладывать.
Всё из-за пидоров, которые тащут в тред обещания вместо ссылок на вышедшие веса. Моя б воля, я б вообще запретил анонсы, а вот этих пидоров забанил бы >>1747706
>>1747717
Я правильно понял твою логику, эйрошиз? Ты считаешь что тебе не дадут ГЛМ 5.5 122В потому что аноны носят в тред новости и анонсы?
у меня другая проблема анон, после геммы 31б мне весь хентай начинает казаться слоповым, будто буквально ей написан, весл смут такой-же. это кошмар.
Неужели он всегда таким был и мы не замечали?
бтв. к советам ниже, прочитал совет выставить для РП ей температуру в 1.5, как будто интереснее писать начала.
Еще в современных гуи есть агенты которые перед ответом анализируют слоп и заставляют модель переделывать если она уже использовала такие словарные конструкции
Учитывая что половина моделей запускается с `trust-remote-code` - не новость.
>>1747497
Хм, первая была довольно интересна в рп, возможно эта удачной окажется
>>1747586
> запускают жену
> GSQ-RCO IQ2_XXS GGUF
Жена-бедняжка, за що ее так! Но скорости хорошие.
Вот у меня впечатление что гемму, что касается художки, тренили на аниме и манге, все шаблоны от туда.
>GSQ-RCO IQ2_XXS
Вот это вчера ради интереса запустил на 16+64 с жоры. Половина весов стримится с SSD. ПП очень грусный 17-19 т/c. Генерация пикрил.
Для рп с такими скоростями конечно сомнительно, но на случай МАЛО ЛИ ЧТО (интернет отрубят) - нормально. Большая моделька в запасе никогда лишней не будет.
>бедняжка
Ну кстати этот конкретно квант живой. Задачки на логику решает, в ризонинге не лупится, русик не сломан, очень приятный, на уровне геммочки. Владельцам 24+128 люто завидую.
> жоры
попробуй https://github.com/mw00/project-maya
судя по их бенчам у тебя будет где то tt 18.4tps pp 395tps
Покрутил я как вы посоветовали еще но все в анслофе, сменил вулкан на роком, выставил --split-mode none --moe-cache-mib 2048 экстра аргументами + последние версие анслофа и бэка.
Где-то бутылка на тему памяти, пошареная рама все еще 15.5 из 16 гигов и врама на 6.5 гигах но я так понимаю лучше оставить под контексты всякие.
Где-то еще меня винда видимо ограничивает, на что пошаренная рама указывает, если дергать выгрузку слоев на гпу после ~16 он параметры передает но по факту ничего не происходит.
И еще видно по диспетчеру что карта фактически не нагружена, ~40% копирования и ~10% компьюта показывает в диспетчере.
Пока лучший вариант такой получился:
контекст 25к пока оставил
q8_0 kv cash
16 слоев на гпу
30 на цпу
batch size 2048
micro-batch size 1024
mmap none
--split-mode none --moe-cache-mib 2048
На простой промпт ~225 tok/sec скорость и порядка 10.7 токенов.
На большой промпт тестовый высрала без проблем простыню без дропа в скорости с общей беседой под конец в 4.4к
Prompt eval 3.08s
Prompt speed 56.2 tok/s
Generation 380.13s
Speed 8.6 tok/s
Tokens 3,265
First token 3.55s
Cache hits 929
Бутылку в промпт процессинге победил! Но по итогу потерял в скорости генерации, с кривыми настройками порядка 13ток\сек было но эвальюейшен моего промпта минуты полторы занимал. В целом так наверно даже можно уже оставить, сильно лучше и даже юзабельно.
и просадку скорости в придачу
даже нативка на винде медленее, а ты предлагаешь под виртуалкой запускать
К стати, что там по этой теме, есть какие годные реализации, чтоб без пердолинга?
Чтоэта? Выглядит как модный водоблок, но что за дерьмо на нем?
Скорее всего это дигидрогена монооксид с ионами хлора и натрия.
Квен пишут какую сначала, большую или маленькую? Сделаем оба.
Проходит месяц и ничего.
Потом пишут через неделю релиз.
Проходит неделя и ничего.
Сейчас пишут вообще уже какую то хуйню водянистую.
И ничего.
Для полного обсёра не хватает таймера и... ничего после таймера
>>1747868
> с ионами хлора и натрия
Че? Зачем? Набодяжил дистиллята и антифриза и вперед, нахрена тут соль?
>>1747873
Ух платина!
>прочитал совет выставить для РП ей температуру в 1.5
Ставь динамическую температуру и XTC-сэмплер и заиграет совсем другая музыка.
> Чтоэта
Да какой-то продукт хуанга, почти идентичный недо-датацентровскому.
> что за дерьмо
Ты что росу девочек-волшебниц, которая выступает, если играть за такую карточку, первый раз видишь?
>динамическую температуру и XTC-сэмплер
А есть смысл их смешивать? Мне кажется неконтролируемая каша получится. Лучше какой-то один нормально настроить.
Ну зафакапили треню, подумаешь. Щас новую поставят, месяцок подожди только.
Может они увидели, что кума на русике опять нет, и решили исправить в этот раз...
> продукт хуанга, почти идентичный недо-датацентровскому
170? Там вроде другой дизайн платы, даталинии на другую сторону сразу уходят. 4090? Земля пухом@здоровья погибшим, но от пары капель ничего не случится. Что там еще идентичного датацентровому хз.
> росу девочек-волшебниц, которая выступает, если играть за такую карточку
видрилейтед
https://x.com/QwenDevs/status/2118716745372532865
Короче, будет 10T, скриньте
Не знаю как насчёт пердолинга, я таким не занимался, но вот это вроде юзают https://github.com/JustVugg/colibri .
ddr3 сложно собрать 256гб рам, планки на 32 там редкие
ну и конечно оно будет медленнее ddr4
Насколько медленнее инференс? Я бы хотел себе сервер чисто под мое модельки собрать. Но ддр4 256 гб стоит комплект уже 250к. А ддр3 всего 35к.
> ддр4 256 гб стоит комплект уже 250к
16х16 или 8х32 примерно 80-90 стоить будут. Да 2133, но можно же погнать их
> 4090
Ты знал, ты знал!
> от пары капель ничего не случится
Ее же уже нельзя так эксплуатировать, завоздушилось все + как дырки затыкать.
> 8х32 примерно 80-90
> Да 2133
Можно 2666 или даже 3200 если повезет, но это будет содимм
Хз как ты смотришь. Планка 16 гб = 8к, Планка 32 гб = 18к. Дешевле нет.
Так какая разница по скорости в инференсе то будет? Я когда свою память на пк на 2133 запускал и на 2933 вообще никакой разницы не увидел в инференсе. Если на ddr3 будут потери 30% в скорости или даже 40%, я в целом не против.
> Можно 2666
Сейчас две головы по 8 каналов в 2666 работают. Одну лишнюю на другой доске без пердола крутанул на 2933
>>1747919
> Хз как ты смотришь
Глазами
Дипсик был рыбомогнут они прошку вообще собираются делать?
Стебут большую толстую рыбу, лол.
>>1747909
> Ты знал
Да больше особо ничего нет под идентичное датацентровому котоеб!
> нельзя так эксплуатировать
Конечно. Разобрать, найти место течи, оценить можно ли устранить сразу или придется что-то заказывать. Водянка на видеокартах, особенно если всратое aio вместо самосбора вещь такая, как вариатор вместо кпп.
Вся та же меро-меро q4. Правда мне кажется она потупела как будто или у меня сегодня лыжи не едут, в ролеплее отвечает хоть и быстро но как будто без былого озорства и задорства. МОжет правда надо ее подрочить и сварить ей стартовых условий и долгий сетап тобы она раскочегарилась, как в прошлые разы.
>Вся та же меро-меро q4
я запускал ее и заметил что эта хуета модель какая то кривая и плохо влезает в память
>нахрена тут соль
Вода растворяет всё подряд, так что вера в дистилят в СВО весьма ошибочна.
>Так какая разница по скорости в инференсе то будет?
под ddr3 платформы намного хуже и слабее (особенно процы)
но для qwen flash скорости наверно хватит
Да в целом хуй с ней с памятью, если работает. Правда опять же хуй знает как она работает, как будто реально тупенькая стала хотя уй q8 оставил. Щас прижала меня в стул и пытается приказывать. я ей говорю дуры ты тупая, чтобы мне встать ты мне мешаешь. А она это интерпретирует типо я ее саботирую так, дурная.
Поэтому применяют правильную смесь с концентратом антифриза. Ничего не будет растворяться и потом осаждаться, корродировать, цвести и т.д.
Или можно использовать тот же состав, но с модными красителями, гей_мерскими наклейками на бутылке и модным брендом по х10 оверпрайсу в виде готовых смесей для водянок.
> в СВО
По фрейду лол
Чел, который использует слово
>батник
не может шарить в
>вопросике
по определению
мимо
>какой-нибудь кал как меро-меро.
На базу не гони. Меро меро хорошо пишет если промпты дать правильные.
А че за вайфу?
Меро то нормально писала. В общем тупой пизде этой написал тип дура отойди. Она в ответ хихикает тип так и задумала вообще-то и это форма такая доминантного поведения у нее. Мдееее...
>Ничего не будет растворяться и потом осаждаться, корродировать, цвести и т.д.
Прямо магия, ага. На деле антифриз конечно поможет, но чудес ждать не нужно, и заливать видяху получившейся жидкостью после месяев работы в любом случае не стоит.
>> в СВО
>По фрейду лол
Система Водяного Охлаждения. Хотя да, сейчас чаще говорят СЖО.
> Прямо магия
Нет лучшей магии чем наука
> На деле антифриз конечно поможет
Конечно поможет, ведь он для этого и создан
> заливать видяху получившейся жидкостью после месяев работы
Какой получившейся, каких месяцев работы? Сформулируй нормально за что топишь.
> Система Водяного Охлаждения
Да это понятно, просто сейчас аббревиатура отвратительна, сам знаешь.
А сток гемма пишет хорошо при любом промпте. Меро-меро лоботомирована до уровня 8b моделей. Как это можно вообще юзать.
>>1747957
https://huggingface.co/hiwaifu-research/WaifuGemma4-26b-a4b-v1-GGUF
>Как это можно вообще юзать.
Ну, советовали ее поэтому и попробовал.
сток гемма может и может, но иногда кобенится ченить писать не то по ее мнениею
>уже дважды
Случайно не ты ли отдирал подсветку с РАМ?
>>1747962
>Сформулируй нормально за что топишь.
Топлю против водянок, которые могут протечь даже спустя время, за которое дистилят перестаёт быть дистилятом, лол.
Что-то мне кажется, что оно будет хуже, чем меро-меро.
https://huggingface.co/zerofata/G4-MeroMero-v2-31B-GGUF
> спойлер
первый корень - да, второй - нет
>>1747968
> Случайно не ты ли
Нит, делал кучу всяких идиотств, но такого ещё нет.
> спустя время, за которое дистилят перестаёт быть дистилятом
Дистиллят перестает быть таковым как только покидает исходный герметичный объем и попадает в тот, который не был заведомо идеально очищен. Залил в водянку, все, потом использовать один дистиллят в жсо - маразм.
Антифриз для того и нужен, чтобы купировать химическую активность и прочие процессы, даже при наличии "грязи". Если состав норм и не экономили на присадках, контур и уплотнители не из говна, отсутствуют гальванические пары и прочие приколы, трубки непрозрачны - жижу можно назвать пригодной на весь срок эксплуатации.
> Топлю против водянок, которые могут протечь даже спустя время
Тогда иди обниму, чайку налью.
Есть жи ж спецжижки, типа сухой воды, которые для имерсионного охлаждения майнингового оборудования применяют, протекание которых даже на работающаю систему буквально ничего не сделает
> протекание
Я не догоняю как протекание следует из "вода с солью". И откуда там вообще вода с солью взялась, потому подумал что он глупый и думает что внутри водянки соленая вода.
Спецжижу (почти) не используют потому что у нее плохие свойства как теплоносителя или присутствуют другие проблемы. Такая безопасная водянка будет хуже по эффективности и дороже чем обычная башня.
>> mero-mero
она всегда была тупой. Я как то не так давно решил проверить кучу тюнов геммы 31б на сообразительность и не придумал ничего лучше, как проверять на одном и том-же комиксе хентайном, заставляя переводить. Фейлились все, там довольно сложно уловить взаимосвязь баблов , но меньше всех зафейлилась стоковая. Причем зависимость прямая, чем больше вмешивались в веса модели, тем сильнее деградация. После этого глубоко убежден, что любые тюны мержи и прочий бред, делают модель хуже.
хотите изменить стилистику модели? шаманьте с промтом, подсовывайте ей примеры. или смиритесь с тем, что у каждой модели, как и у любого автора, свой стиль
Второй раз та самая карта? Вот же, точно где-то согрешил и делаешь недостаточно благих дел. Или исповедуешь не тот пантеон.
У рыбы мозгов больше и это бросается в глаза. Если рыба в 8 тпс, а гемма в 80, то как бы может оно того и не стоит, но если на рыбе есть 30-50, то это уже другой разговор в котором нет смысла жрать гемму
>миноров не пробовал
Чел на этом и надо тестить, смысл от твоего ванильного кекуса
Жирная рыбина сдюжит сложный ролплей но может редко ошибаться по отдельным мелочам на фоне которого кум будет интересным. В мозгах и внимании главная фишка, ну и что отличается от остальных.
> миноров не пробовал
Миноров не нужно, но вот кадлить и гладить моноговековых йокаев с комплекцией канни одно удовольствие. Требуется прогрев.