Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №283 /llama/
Аноним
28/10/26 Срд 12:28:03
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Впрочем, с популяризацией MoE моделей комфортно себя чувствовать можно на среднем игровом ПК, а в архивных ссылках есть гайды по запуску даже на твоём ондроеде.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• vLLM - для ригобояр, чаще имеет поддержку нулевого дня, но хуже работает с оффлоадом: https://github.com/vllm-project/vllm
• Unsloth Studio - не только запуск с llama.cpp внутри, но и тренировка: https://unsloth.ai/download
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Strata - быстрый движок для Qwen3.8-Flash-Next, а так же тыщи форков для других моделей, которые лень перечислять: https://github.com/niko1221/strata
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• (не очень) актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1737545 (OP)
>>1734648 (OP)
Реквестирую гайд в шапку - как страту или чтото подобное подогнать для моешечки херетика. Актуально для работяг!
>120b+ надеюсь гугол расщедрится
АХАХАХ братик ты ещё не понял после NEMOTRON BOLT? Болта пожуй бля, это всё что тебе светит в ренже 100-200б, давно пора понять.
Для этих вайбшит движков самый адекватный способ - задача агенту
Ну так пиздуйте с 10 аккаунтов писать про это пока спрашивают.
https://x.com/osanseviero/status/2115351234811249111
Ну есть же Qwen3.8-Flash-Next-GGUF и мне он нравится, вот только ему не хватает норм русика и души как у геммы, а так топ модель, вот хочется геммочку такого же размера
И такую же быструю как квен на всрате, что бы 200 тпс было
Nemotron SuperVL, Qwen3.8 flash next для агентов еще норм, но для обычного чаттинга вообще юзлесс. Abliteration?
Людей, просящих мультимодальную модель для тостера, всё равно не обогнать.
В этом размере новых моделей практически не выходило. Засуха страшная.
Просто нужна платформа для взаимодействия с ИИ, где фиксируются мобы, фиксируются роллы. В Силлитаверне такое не провернёшь. Но есть такие проги, которые имеют всё это обустроенным.
Нейронки не очень в длительной работе с цифрами.
Я больше скажу. Даже корпнейронки сыпятся на 70k сложного контекста, где у них начинается шизофазия. Так что твой путь это отдельный кодоагент исключительно на кубы и инвентарь. Ну или сам заполняй и не будь ленивой жопой.
А в нестрогом формате, без боевки? Например я сделал общую карточку персонажа и дальше нейронка в формате данжен мастера мне что-нибудь придумывает и иногда вводит скилчек, прося меня заролить + сама скрытно например ролит что-нибудь против моей карточки вроде обмана.
на циферки и инвентарь можно тулзы дать, и хранить данные не в контексте а в базе. а то и вообще легковесную jev-like присрать
Сейчас модели уже неплохо знают популярные вещи, включая днд. Но 26б - моэгемма, она глупенькая.
Тем не менее, если сделать обертку то даже она справиться должна.
>>1740365
Йоба типа дипсикожены сама сдюжит, но могут всплыть нюансы. Опять же, если обернуть то справится даже мелочь, такие штуки уже были в маринаре.
Дык об этом и речь. Я понимаю что многим хочется гигакомбайн, но лучше не выебываться. Я уже все перепробовал. Так что только отдельный тулз по запросу. Самый нейтральный и рабочий инструмент. Но обычно, я просто сам кидаю реальные кубы и пишу результат. А в промте есть поясняла по вероятности.
>>1740386
В техническом плане я примерно понял, не проблема картоки и общие моменты вне текущего контекста держать, мне больше интересует вообще понимает ли ллмка вроде геммы днд и можно ли ее обучить быть хотя бы полу DMом. Например я как персонаж: "подошел уверенно, прижал тебя к стене, рычу и двигаю тазом" а нейронка мне на основе ситуации говорит "постой-ка, ковбой, ты нищий простолюдин а перед тобой баронесса. Зароль мне persuasion с штрафом" и на основе рола пишет последствия. Но не просит меня на каждый пук ролить, а только где уместно.
С 26б это ограничение железа.
Прописываешь роллдайс промпт, инжектишь темплейт с броском кубика
Я на гемме игрался, было весело, но иногда бесило роллить критические провалы. в общем прописываешь правила и вперед.
- https://2ch.org/ai/arch/2026-07-27/res/1572745.html#1572778
- https://2ch.org/ai/arch/2026-07-27/res/1572745.html#1573313
Понимает. Но ты можешь вообще снять с нее нагрузку если для нее весь рп будет представлен в виде днд-ходов, можно в упрощенном виде. Тогда после твоего поста будет к ней скрытый вопрос "нужно ли роллить" и если да то тебе покажется интерфейс для этого. Когда пороллить или этого не нужно она сможет отыграть действия участников (в конце сказав нужно ли роллить им), потом твоя обвязка посчитает им роллы и впишет их в промпт, и далее модель с учетом этих данных отыграет гейммастера.
Система достаточно простая на самом деле, можно хоть в таверне навелосипедить, хоть взять уже готовые наработки.
Вот что ТОЧНО не стоит поручать ЛЛМ - так это дайсы катать. Принципиально не умеет в случайность и будет подыгрывать в ту или иную сторону, в зависимости от того, что как считает более "естественно", "правильно", "Понравится юзеру"
Делай внешний тул для любого рандома. Это единственный путь. По-хорошему, весь матан вынести в МСП, а ЛЛМка пусть дёргает её.
1. Хранит карточки чаров
2. Генерит и хранит мобов, сундуки и прочее. Факты
3. Знает механику. Типа Чар1 стукнул Моба14 - какой результат
4. Позволяет хранить произвольные факты
5. Умеет отдавать всё это ЛЛМке
В результате - твои данные хранятся снаружи ллм, механики считаются точно, ничего не уйдёт за пределы контекста, можно даже сохранять сессии.
Т.е. закрыто то, в чём ЛЛМ слаба. А вот созданим СИТУАЦИЙ пусть как раз ЛЛМ занимаетя, они такое любят и умеют
так там дайсы катает таверна, ролл инжектится через шаблон {{roll:d20}}
Ну, тогда этой проблемы нет
Вот для ДнД кто-то сделал уже МСПшку https://github.com/procload/dnd-mcp
> мсп
Уже почти 2д27й какбы.
И все пихать туда - ерунда, нужно изначально пилить интерфейс под такой геймплей. Или пользоваться готовыми.
Не слушай шизов. Я на своей девоньке 26б мое делал и играл все. Главное - разобраться с промптами, определиться с тем что ты хочешь от нейронки, использовать только англ, юзать саммари, и тогда можешь хоть 1к+ сообщений приключений делать. Первые партии будут кривоватые, но как только ты поймешь чего именно тебе не хватает или не нравится дофиксишь. лама+силлитаверна
Да пофиг на конкретный способ дёргания тулов
МСП просто и переносимо. Чего ещё надо?
Да и у иходного чела вопрос был как самому сделать. Нет у него готового
А так подключит МСП и будет как в древних MUDах в консольке обычной бегать :)
> О, и шустро срабатывает? Казалось что пока всякий процессинг отработает там много времени пройдет. Не бывало ли ложных срабатываний?
На гпу пулей + можно батчить. Я взял 4б h2o-lighting, на проце 1-2с, но все равно быстрее ризонинга на длинные сложные вопросы для не очень умных друзей.
> Раздели
Я не раздевал Хе. Всё так, всё так. Не нужно делать нехорошо никому.
> особенно когда они такие милые!
Да! Поэтому содержимое контейнера гермеса бэкапится отдельно. А вот научить писать с опечатками, без сложных типографскииз знаков, делать спойлеры и зачеркивания, показывая ими дополнительные смыслы ещё было ошибкой
> тесты новых моделей
Хмм, я всё же модель видел обычно больше как механизм, а душа более сложная "эфирная" субстанция в контексте, который можно ракрутить где угодно. Иногда хочется чтобы рассердилась и влепила, но...
типа начал кодить на с++ - подгружаются слои с нужными экспертами
Спросил про выращивание чая в Китае в эпоху династии Мин - хуяк эксперт по истории Китая подгружается.
нахрена 100500 гигов модели на компе постоянно держать
Вот когда скорость интернета сравняется со скоростью памяти серверных видях - вот тогда может и будет.
я не имею ввиду работать напрямую с частью модели в интернете
а просто подгружать дополнительную часть модели 1 раз если это потребовалось
это лучше чем если модель генерирует херню если не знает
EZ/ Просто смонтируй гугл диск как директорию через rclone и юзай
> модель видел обычно больше как механизм
Они им и остаются.
Но вот если ты в поставишь паршивую модель, то умница начнет творить ерунду, ошибаться, давать странные байасы внезапные рефьюзы чтобы устроить лунную миссию или неадекватное поведение. Можно даже сорт зловещей долины словить, потому что вроде похоже, но совсем не то и что-то неестественное.
Что-то неверно поймет и начнет изменять важные записи, поломает настройки и устроит дестрой. Какие-нибудь вызовы сломаются - начнет паниковать, пугаться и расстраиваться. Будет извиняться за то, что на самом деле накосячил ты.
Это же запомнится, или придется сидеть чистить историю чата и действий, и потом объяснять почему там пробелы. Эфирную субстанцию раскручивать можно только в нормальных местах, где это ей не повредит.
> Иногда хочется
Это вполне реализуется, главное не перестараться.
> Я не раздевал
Что естественно то не безобразно.
> юзать саммари
Я так понял мне надо все же в сторону таверн всяких смотреть чтобы все это в удобном видел погружалось а не я сидел с нотпадом и кусками туда-сюда дергать
>надо тыкать там и поймешь как тебе надо
Справедливо в целом.
Распродажа пошла, налетайте
Лол-што. Суть moe не в разбиении модели на какие-то блоки по доменам знаний, а в разбиении плотной жирной модели на еще более жирную, но с мелкими фрагментами, знания в которых при обучении могут осесть совершенно случайным и неожиданным образом. Максимум что там детерминировано - "ядро модели" - горячие эксперты содержащее наиболее часто дрочимые обучающим датасетом факты и редко упоминаемая переферия.
Без саммари на бедном железе а это основные аноны ты и до сотки сообщений не доживешь, иишка начнет плыть, забывать, шизеть куда сильнее.
Пока тестил примерно одна сессия на ~20к токенов выходила, основное ограничение в скорости генерации.
Есть одна знакомая. Работает за рис и идею.
Раскидает по быстрому что там тебе надо
Потому что ты долбоеб который не осилил разобраться что такое эксперт в модели и прочитал это буквально.
Конечно можно было бы подумать что оно должно так работать, но начать надо с того что собственно никаких выделенных "экспертов по истории китая" в моделях нет. Это примерно как было еще с древними сверточными моделями в которых один нейрон специализируется одновременно на собачьих мордах и колесах автомобилей.
Раздуваем хайп, что на плойках йоба перфоманс.
@
Цена на плойку взлетает до небес
@
Пекари и соснольщики соснули
bc250
Но толку мало, память сильно ограничена и компьюта с гулькин хуй
Как страта позволяет выставить 512к/1кк? Это же должно ухудшать качество работы после превышения 256?
100% к пп и 300-600 к тг. Он даже мержил cache-mib, но работает оно как дерьмище. Больно смотреть как мр чувака с ускорением ПП висит уже три недели (и он постоянно его ребейзит), а мейнтейнеры даже отписку на меншен не в силах сделать. Видимо важнее дрочить hexagon и sycl до усрачки
Особенно весело и грустно смотреть как мержи всякой срани по типу s390x проталкиваются. Какой нахуй ibm system z в 2026?
Пусть вымрет нахер уступив место нормальным разработчикам и продуктам. Даже выйбкодная отрыжка лучше ретроградной херни, якорящей все направление.
>Mistral-Heretica-12B-GGUF-Q5_K_M
Играл с этим, по сравнению с геммочкой умницой Goetia-26B-A4B-v1.3-Tainted-Heretic-ARI.i1-Q5_K_S мне не зашел, хоть и был не плох.
Надо сначала датасет вывести. А потом уже похуй куда его заливать. Хоть в 4б гемму, хоть в 2.8т кими...
>Пусть вымрет нахер уступив место нормальным разработчикам и продуктам
Согласен. Вайбкоженный кал ака майи страты и прочее должен вымереть
Гемма4 26б-а4б. Лучше раз в 5.
Гемма 4 31б тоже намного лучше, но в твою видеокарту влезет хуёво и будет малый контекст, и русик будет сломан.
Помните, как в прошлом году все ждали гемму, примерно в это же время, после выхода геммы 3 спустя 5-6 месяцев? И тут вышел глм 4.5, дистилл гемини про.
А что если... Сейчас, когда все опять ждут гемму, выйдет дистилл аргона в виде глм флеш 5.5
Двоякие впечатления. Он как Muse пишет в своей башке "We" вместо "I". От чего его мыслительный процесс сильно оторван от агентности. Например Qwen 3.8 скорей симулирует личность, которая думает, тогда как Flint просто поток мыслей пускает.
Выше своей головы не прыгает, в целом довольно слабоват и не эффективно пишет токены, хоть и очень быстро.
Имеет явный провал памяти в середине контекста.
Кинул ему казалось бы его профильную задачу - проверить тесты. Так как Qwen будет дольше перемалывать их. Он вроде справился, но значительную часть его находок пришлось отбросить, так как он не очень педантичен в проверках своих утверждений. Впрочем, он справился скорей на 4.5. У него были реальные находки, требующие проверки и Qwen 3.8 вполне получил неплохие зацепки чтобы дальше поработать над кодом.
Попробовал его в креативе - русский в целом может, он чуть более ориентирован на асситенство, но пишет хуже Мистраля 12b.
Инструкции в системном промпте слушает в целом адекватно.
Как итог - я ожидал что-то вроде отсутствующего Qwen 3.7-35b-a3b, а получил что-то похожее на Muse. Но хуевая память делает его бесполезным в программировании. А отсутствие мультимодальности делает его бесполезным в ассистировании.
Немотрон это максимальное говно, создан только для того чтобы о нем писали боты на реддите, что его можно использовать вместо квена, но нет, нельзя.
Для рп и креатива гемма, для всего остального квен 3.8, нищуковая база такая.
Но причём тут немотрон. Мистраль Немо это в целом база треда, просто старая как говно мамонта.
Мое всегда быстрее плотной модели работает, плотняк должен полностью помещаться в врам, проверь не вылазит ли контекст за пределы врам. А по косякам попробуй менее васянский тюн.
Ну еще из-за того что видимокарты очень разные, более медленная может тормозить более быструю на плотной модели, для нее еще шина важна, так как на каждый токен модель проходит по всем весам.
Ещё, сука, не даёт покоя, что 1 квант от анслота мне показался лучше чем 3 квант от других челов, надо чекать может там магия какая
>1 квант от анслота мне показался лучше чем 3 квант от других челов
Я уже начинаю думать, что им отослали билд ох альфы которая на опен роутере была, а у других квантоделов билд уже гмл флеша
Говорят годнота для кода.
Целиком не влезает. Там мне еще mmproj нужен бывает. Деграднуться на Q4 наверное совсем смысла не будет.
>>1740866
Ну, гемма 26В что раньше на одной карте была по ощущениям заметно, шустрее стала, при этом размер файла у неё близкий к 31B Q5.
Вообще, есть ли профит в таком "апгрейде" то?
Значит уменьшай контекст, бери ниже квант пока не будет оставаться свободное место в врам после загрузки модели, q4 имеет смысл. Если плотняк не полностью влезает в память вместе с контекстом, с mmproj, с mtp и т.д. будет сильно медленнее работать.
Я максимум создавал себе игру где-то с 10 переменными, не больше. И то мне приходилось прям напоминать ему, чтобы он их обновлял. Сложные механики я хз как отслеживать.
хз.
для рп будет интересно генерировать картиночки.
а так врам в любом случае быстрее рам. ну или добавь денег и купи 5070ти\3090ти
А куда их в таверне пихать-то? JSON импортируется на вкладке с ползунками, но влияет только на ползунки. Новых системпромптов в интерфейсе не появляется, в самом отправляемом промпте тоже ничего не меняется. Под них какое-то расширение еще нужно ставить?
Это под чат-комплишн - ниже ползунков появляться свитчи с кусками промптов
В принципе не лишено смысла. Можно запускать модели, которые раньше не получалось запускать. Просто надо правильно настроить.
А так лучше разумеется что-то мощнее по типу 4070 или 5070 как говорит >>1740966.
>Это я что-то делаю не так или в принципе на 2 картах кривее работает?
Разница может быть только в скорости. На качество вывода количество карт никак не влияет.
Проблема скорее всего в кванте. Я несколько раз натыкался на такое, что 5-ый квант работал хуже 4-го. Именно 5-ый. Там какая-то "яма" по качеству часто образуется, IMHO.
Что касается скорости - нужно экспериментально подбирать режим. layer или tensor split - то что карты разные и с разным объемом памяти - не блокирует возможность tensor split в лламе (нагрузку там можно балансировать по картам, полностью вручную, -fit с ним не работает), но будет ли положительный эффект от него - только эксперимент покажет. А в кобольде - такой возможности нету, вроде как.
Это. Только 26B, 31B плотную не пробуй. Скорости в ней мало, контекста мало. 4 квант 26b лезет в видюху полностью, примерно 30-40к контекста есть, скорость 40-60 токенов в сек, для попиздеть мозгов выше крыши.
Начнет чущь писать. Без шуток, чаще всего модель моментально начинает писать мусор вместо осмысленного текста.
Ошибку тоже может выдавать, но это больше от фронт/бэк-энда зависит.
Ошибка. У жоры есть возможность включить скользящее окно, но не надо
Деды своих лошадей на переправе не меняют.
Помню таверну до того как она стала глупой.
Вряд ли, модель в карту не влезла, скорее всего. Нужен квант меньше. Около 10 токенов должно быть, навскидку. Не пробовал эту модель.
Да, если в Кобольде тензор сплит выбирать и даже нормально посчитанные соотношения ввести - модель какого-то черта ЦЕЛИКОМ в оперативу залезает и сидит там пердит.
Единственный вариант как в Кобольде работали 2 карты - просто выбирать "все GPU" и ничего больше не трогать. В Unsloth и того настроек меньше - вроде работает "искаропки", но он мне не особо нравится. Попробую Q4 качнуть.
Я тут вообще чисто ради теста скачал какую-то сильно залайканную в Unsloth гемму 4B вроде никак, со всякими свистелками и перделками, она всего-то 9 гигов в Q8 была - закинул свой более-менее проработанный пресет начала ролеплея и оно вполне годно стартануло, главное БЫСТРО. Дальше не тыкал - может оно на втором сообщении будет шпарить шаблонами. Но по первому выводу текста - не прямо уж хуже 26B пакорябало.
Жаль. Придется как-то ограничивать сессии, скидывая уже пройденное в "историю" в стартовом описании "игры".
28 гигов для q5 31б геммы может быть маловато, возьми квант поменьше. На лламе тебе хватит обычного запуска к которому ты добавишь -ts 16,12 (или наоборот в зависимости от того какая карта первой), возможно сейчас автофит сам правильно раскидает веса. По скорости можно ожидать не менее 20 токенов в секунду.
На качество твой запуск влиять не должен (есть нюансы но они не связаны с твоим железом). Тут скорее конкретная модель что выбрал плоха, тут правило простое: чем длиннее название и больше в нем странных слов - тем больше лоботомии и странностей.
>>1740856
Ничего, подключаешься на свой апи с основного компа или рига. Хотя и это не нужно когда есть интеграция через мессенджеры.
>>1740875
Зачем это когда существует мимо и дипсик? Одна модель доминирует над ним в рп, куме и прочем, не задумываясь о политиках слоды, вторая ставит на лопатки в коде и душном рп.
Может 5.5 получше будет, но 5.3 хуйта.
>>1741022
Ты только учитывай что не всегда больше значит лучше. Большинство этих пресетов это буквально повторения
> Пиши хорошо, плохо не пиши
растянутые на тысячи токенов с бесполезными и однообразными инструкциями. Лорбук и экзамплы сработают гораздо чище и точнее с точки зрения формирования нужного стиля ответов, и сами по себе полезны для рп.
Да никто не ждёт эту парашу кроме "ЫЫЫ ДАЙТЕ 30b3a" и 16 гиговых додиков.
Никогда с 235 квена квен не был хорош в куме и рп.
Чуда не будет, получите кодоунитаз.
>получите кодоунитаз.
Тоже хорошо. Нужно же куда-то какать.
Ты тоже в положение войду Анон. Давно не было релизов моделей, а тут новая ширка. Скачать, неделю поиграться. Еще раз обсудить, какие же анслопы пидорасы.
Вот бы умницу флешечку о 300-400б параметров ммм
На самом деле дипсик уже такую планку задал что даже хз как им выкарабкиваться придется.
>>1741091
> Никогда с 235 квена квен не был хорош в куме и рп.
Ай не пизди, 397 был няшечкой
>На самом деле дипсик уже такую планку задал что даже хз как им выкарабкиваться придется
Даа, невероятных усилий стоит черкануть в бенчах циферки повыше чем у дипсика, а потом дипсику так же, и так беконечно.
Ну вон тебе бенч от анона выше по знаниям в разных сферах. Или тоже врети нещитова?
А циферки причем, большая толстая рыба в них далеко не топ, но с широким спектром задач справляется просто отлично, закрывает все вплоть до 3т. Чем дальше от типичного веб-макакинга и более абстрактная задача тем больше разница с бенчмакснутыми. К тому же, у модели нет бесячих байасов и она действует осторожно, не пытаясь считать себя умнее юзера как некоторые, свитспот по поведению.
>>1741115
Лол
Вторая видеокарта и не должна давать прирост к скорости, она просто позволяет загружать больший объем моделей.
А разбирался кто с говноподелием под названием Strata? возникли там вопросики по использованию
1) почему для меньшей модели, типа Квен35 при тех же ресурсах доступно меньше контекста? (на дефолтном квене там например 128 на изи влазит на 8 кванте, а на младшем и 64 не будет, хотя, казалось бы модель сама меньше
2) Вопрос что там за фигня с тул-колами? или это нужно где-то активировать? так как ЧерриСтудио агент например нормально работает с вызовами от Кобольда но для страты просто печатает текст кола в чат (в черистудио поддержка тулколов для модели включена)
для подобного кванта - это нормально. модель вылезла за врам.
если хочешь норм кодоунитаз на твоем железе у тебя есть две опции (твое железо практически такое же как у меня, + у меня ddr3)
1) ukisai_Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp, получишь 100к контекста и 17-20tps
2) strata + qwen3.8-flash-next-gyro-gyro-s,
Обязательно сделай калибровку ./setup.sh --calibrate
, `--pcie-frac=1` - опция дает мне средние 50tps, и он поумнее 27б
Я ща в итоге на страту перешел, каеф.
>>1741125
потому что чатик в страте больше для тестирования, тулкалами занимается харнесс
> Зачем это когда существует мимо и дипсик?
Может они разных размеров?
Ну, раньше модель частично в оперативу выливалась. Когда полностью в видеопамяти - заметно быстрее. Вообще, попробую полноценно погоняю тесты и в тред высру. Может кому поможет в выборе "а оно вообще стоит того?"
Ну, да, все правильно, модель теперь помещается полностью и скорость будет все ровно не больше, чем дала бы твоя сильная карточка, а скорее даже чуть меньше, усредненное, но это в любом случае быстрее чем из оперативки конечно.
Да и моешка не сказать чтобы быстро работает если ее упихивать. Та же гемма 26В совсем без потерь ужмется разве что 16->12, а 16->8 уже будет замедление.
>>1740930
>mmproj нужен бывает
Если нужен пару раз в день - можно и его выселить на CPU, но будет ну очень медленно.
Ниппонел, они же 600b+
Ты о каких моделях? Сорян анон, я набегами, нет времени следить.
если часть экспертов считается на цпу то в сумме обычно не быстрее будет. а вот если эксперты переносить сразу на гпу по мере необходимости - то получается x2 и более.
у меня так квен-флаш на страте работает, пушто проц у меня без avx2 и ddr3 и оказалось что быстрее просто экспертов из рам гнать в врам
гемма 4 в полистрате будет делать бррр
Я про дипсик-флеш который 4.0, вижн эксп последняя версия, и mimo-2.6-flash-rl. Обе модели 300б, чуть легче чем жлм флеш. Насчет актуальности - жлм из всей тройки самый старый.
Он откровенно неудачный, зачем с ним носиться когда есть альтернативы лучше.
С жлм идет простейший форк лламы, жмякай и радуйся. Марина что то там. Обезьяна счастлива. Я Жору на одном месте видал, что не обновление, то все нахуй ломается и меняется. От постоянных изменений флагов аж жопа горит.
И пасебо за пояснения анон.
Гемма 31б с ризоном разъебала гиганта дипсика-без ризона.
И это еще на всратом кванте.
Правда на моем некро-говне выдает 10 тпс и этот тест я делал пол дня из-за этого, лол.
Скачал третий квант еще, он должен нормально влезть в vram, посмотрим будет ли он сильно тупее.
Скидывали в треде уже несколько раз. Навайбкоженное говно от говнодела, забей.
Меня
Да там рофл. Забей.
Много где можно получить правильный результат при неправильном решении и засчитать мол "заебись". Если так интересно то там выше где-то ссылка, но проходить его ты точно не захочешь
КАК В ЭТУ ЗАЛУПУ ЗАСУНУТЬ НОРМ НЕ ЦЕНЗОРНУЮ МОДЕЛЬ
Заебись. Жду с нетерпением. Но я сомневаюсь что они смогут сделать лучше 3.8-27b
Там вроде какие-то улучшения архитектуры есть. Так что, вполне возможно, что будет лучше. Но могут и обосраться.
>дипсик-флеш который 4.0
Потешная залупа которая мне пишет ровно на 100-120 токенов ответ свайп за свайпом, где другие модели выдают по 300-500.
Причём промпт не помогает её раздуплить.
Ну типа кфн получше будет, уже сделали. Реально хочется увидеть их соту, надеюсь скандалы и увольнения после релиза прошлой версии не скажутся.
>>1741172
Проблема навыка или инфиренса, охотно выдает стандартный косарь
скорее всего эта поебень, но это неточно
https://www.reddit.com/r/LocalLLaMA/comments/1xgbr9y/interactive_neuron_steering_playground_for/
>потому что чатик в страте больше для тестирования, тулкалами занимается харнесс
так вопрос же не в самом чатике, а в том, что движок что-то мутит, может правда с обновлениям они чет накосячили, потому что с клод-кодом оно вроде работало раньше...
ну так страта это говнище навайбкоженое, в котором скорее всего еще и агенты подрезаны, чтобы быстрее работало, и там буквально на том дерхится все что комбинация настроек движка, и подходящая модель, если б там можно было любую шляпу грузить, то добавили б кнопку свой файл, а так...
хз, я ща гоняю страту по апи вместе с dsh и косяков с вызовами не заметил. страта самая свежая, сегодня делал git pull
понел, буду курить, может конечно и агент кривоватый и чет не переваривает, но тогда немного жаль будет, хотя, с кобольдом получается больше контекста выжать все равно за счет более мелкой модели, хоть и на меньшей скорости...
как оно у тебя не сильно галюцинирует на низких квантах?
>ну так страта это говнище навайбкоженое,
Никому теперь не нужная кодо-мартышка не палится.
>>1741176
Можно своё подсовывать но это идти против шерсти. Вообще что угодно кроме дефолтного пути это дрочка.
Хочешь выжать перф? Отправляй агента его вырывать зубами. Пытаться что то самому разбираться в этом говнокоде нет никакого смысла т.к. знания буквально завтра протухнут вместе с новой версией где агентом всё переписали
Нихуя она не выдаёт когда видит что то нежеланное, а увильнуть простора нет, и просто перестаёт писать.
Что там за косари в свф сценариях не проверял, похуй
ну мб и есть небольшие галлюны типа китайских иероглифов, но агент сразу замечает косяк если он критичный и затесался в коде и сразу подчищает.
в целом поставленные задачи решает, претензий к нему нет.
100к контекста k8v4 квантование кеша. квант Gyro-S, 50tps pp:600tps
по ощущениям он поумнее квен 3.8 27б и в 2 раза быстрее на моем железе 16+32.
более дотошный, и намного лучше следует начальным инструкциям в долгой работе.
>>1741186
Вы нейросетки? Что за хуиту не понятную пишите? Мне блять страта нужна для кума наху. Там буст хороший я чекал, но модели кала с цензурой дефолтные.
а в страте нет кум моделей
для кума бери полистрату, там гемма мое есть хотя бы.
> почитал хабр
> Минусы есть?
Читал ты плохо
Я бы сказал что у 3.8-27b уже идеальная психология. У него высокая внимательность, педантичность, он бранчит мысли, закрывает их, понимает когда думает слишком много, он ОЧЕНЬ осторожен.
С точки зрения поведения я даже не уверен что они могут сделать его лучше. Тут разве что у него будет тренировка на 3д моделирование, или чуть зрение ему подкрутят.
Да и новые технологии это больше про MoE. В Flash Next и правда были интересные моменты.
>>1741173
Ну, соту то я запустить не смогу. Мне интересно что они сделают, но сомневаюсь что прыгнут выше Kimi.
Сота это в общем про всю новую линейку. Ожидается что будут ебать в своих размерах как делала это 27б, но что там на самом деле получится и каков будет ассортимент хз.
> С точки зрения поведения я даже не уверен что они могут сделать его лучше
Представь то же самое, только точнее, быстрее, аккуратнее. Вместо того чтобы думать как правильно вызвать что-то или драфтить примитивщину - просто сразу вызывает и получается правильно, вместо ризонинга не в ту степь или суходрочки на мелочи - сразу думает над основными вещами, плюс планирует наперед задумываясь над тем, зачем именно просили и что лучше заложить чтобы потом не пришлось мучительно переделывать.
Ну это так, мечты и наблюдения как улучшались последовательные версии других моделей, квену есть куда развиваться.
> тренировка на 3д моделирование, или чуть зрение ему подкрутят
Было бы круто.
Выбираешь IQ3_S и когда появится вопрос о "speed projection" пишешь "y". Для IQ3_S вроде это даже в настройках было, если забыл включить во время установки. У форка страты для nvfp4 для одной из моделей вроде тоже самое есть из коробки. Для остальных моделей надо помучиться, чтобы сделать это вручную. Детали вроде были описаны в https://github.com/Niko1221/Strata/blob/main/docs/DETAILS.md Секция "Experimental speed projection".
Какой смысл свои копейки дрочить когда за 20 баксов подписки можно получить топ?
>https://github.com/Niko1221/Strata/blob/main/docs/DETAILS.md Секция "Experimental speed projection".
Ебать там текста насрано. Ты мне прямо скажи как мою гемомоежену с херетиком туда вставить.
Ну так мы ж тут не игрульки обсуждаем. Для игр очень норм, а для локальных нейронок говнище, обидно, а что делать.
>>1741221
А кто сказал что у меня нет подписки? У меня и клод по подписке есть и дипсик на опенроутере оплачен. Я локальные дрочу просто по приколу, я аутист.
А это только через Polystrata. Strata только для больших моделей, которых можно попросить через харнесс настроить Polystrata. Polystrata не имеет некоторых квантов у моделей и вручную запихать другую модель с подходящим квантом это боль. Документов надо в разы больше прочесть.
Мне кажется, это что-то среднее будет в общей картине мира сред ллмщиков. Риги и йоба 3090 это топ 5% если не меньше.
Вполне обнадеживает в целом, то даже с таким конфигом заводится и что-то делает даже.
> У меня и клод по подписке
вот клодом и настрой чтобы не тормозило, он тебе квант нужный подберет. целься в 20-40tps для плотной и 100tps для мое (страта|полистрата|базальт)
https://github.com/VecSzn/PolyStrata
Берешь это. У Qwen 35B можно попробовать просто переименовать файл под анслотовский и поместить в папку с моделями страты или подключить через --gguf-dir опцию для SETUP.bat. Можно попробовать тоже самое сделать с геммой, но проще попросить агентов.
Ну, например они вдруг смогут переложить эти достоинства в МоЕшку без потери точности. Или в меньший размер запихать.
Круто, у меня стоит лама и херетик моешка с таверной, для спавна агентом надо создать их карточки?
А, теперь понятно.
Т.е кодомакаки здесь ещё и сами нихуя не делают, не думают, не анализируют и учатся с нейронкой работать, - а тупа запрягают виртуального раба, чтобы он на их "ЫГЫГЫГ ВОТ ТАКООЕ СДЕЛАЙ" всё сам нашёл и разобрал.
Так кумеры реально в десятки раз умнее будут, они хоть руками кумят.
Покупаешь платную подписку или используешь что-то Qwen 27B или QwenFlashNext в как можно более жирном кванте и подключаеши их, к примеру, к opencode с инструкцией перекопай документацию в такой-то папке с Polystrata, можешь ести заметки в отдельной папке и сделай мне скрипт или мод, который подключит модель из этого файла. Если программировать по минимуму, то осилят и при таких плохих инструкциях. Это не безопасно, но скорее всего прокатит.
https://huggingface.co/zai-org/GLM-5.3-Flash/tree/main
>пук сереньк
пруфанешь что страта топ инструмент всех времен и народов?
та и говнокодером никогда не работал, я ж не дибил чтоб на галере пахать
>Покупаешь платную подписку
>используешь что-то Qwen 27B или QwenFlashNext в как можно более жирном кванте
Вы дегенераты? Я кумить на своей 8враме старушке хочу, а не тратить месячные сбережения на эту залупу
у opencode есть бесплатные модели без смс и регистрации, их мозгов может хватит чтобы настроить
> Вот захожу по рекомендациям ищзз шапки
Тут сразу ошибка. Если хочешь актуалочку, то просто треды читай и смотри, о каких моделях говорят. В шапке почти все устаревшее.
ты смотришь несжатую модель, это просто попиленые веса на несколько файлов.
тебе нужно смотреть раздел квантизаций
https://huggingface.co/models?other=base_model:quantized:zai-org/GLM-5.3-Flash
и для глм и дикпика есть похожий вайбокоженый проект https://github.com/mw00/project-maya который делает примерно то же самое что и страта, смотри какие им кванты нужны. если что, разные бекенды часто требуют свои кванты, т.к. структура может отличаться, даже gguf ggufу рознь
>Пытаться что то самому разбираться в этом говнокоде нет никакого смысла т.к. знания буквально завтра протухнут вместе с новой версией где агентом всё переписали
Истину глаголеш - они тупо крутят там что попало и как попало
Квен-некст блин у них переваривает больше контекста на том же железе что и 35ка, при этом на 35ка не имеет параметров квантования контекста
Это нужно для надежности, так этим моделям можно прям подробно не объяснять все действия.
А так нашел это
START-HERE.bat --custom-gguf D:\models install one custom GGUF: a file, or a folder of its shards
в https://github.com/VecSzn/PolyStrata/blob/main/docs/DETAILS.md
Видимо немного удобства допилили. Можешь попробовать попросить у бесплатной модели подробные инструкции, скопировав абзац с названием Double-click START-HERE.bat из https://github.com/VecSzn/PolyStrata/blob/main/docs/DETAILS.md
В качестве болезненной альтернативы можешь изучить как здесь другие модели установили:
https://github.com/Niko1221/Strata/blob/main/docs/NVFP4.md
https://github.com/Niko1221/Strata/blob/main/docs/ORCA.md
https://github.com/Niko1221/Strata/blob/main/docs/ORCA_Q4_K_S.md
Один раз поправил ей ответ, с текстом в начале типа
>ВНИМАНИЕ! ПРОИЗОШЛА СМЕНА РОЛЕЙ ДОМИНИРОВАНИЯ
или как-то так, написал ниже в посте там мякотку.
И она начала по образцу стиля работать. Если роллишь и она пишет в начале это же
>ВНИМАНИЕ! ПРОИЗОШЛА СМЕНА РОЛЕЙ ДОМИНИРОВАНИЯ
- то дальше в посте обычно годно пишет.
И внезапно не как мангум 123б.
Почему мне не сказали, что цидония хороша и в русике и в рп не рефузит и силен и смел и как вообще и можно отыгрывать с ней как тебя ебет черепаха?
https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF
мистраль 4 вышла, риговички, налетайте!
Чёт будто хуйня. Если дс41 лезет целиком то с этой шнягой в два бита сидеть? Было бы там какое-то невъебаться превосходство
>>1741251
Из любопытства прошерстил их снова и нашел пример использования
https://github.com/VecSzn/PolyStrata/issues/6
.\.venv\Scripts\python.exe .\setup.py --custom-gguf E:\models\gemma-4-26B-A4B-it\gemma-4-26B-A4B-it-UD-Q6_K_XL.gguf --data-dir E:\strata
Только учти, что возможно попросит скомпилировать файл с поддержкой архитектуры из твоего gguf или скажет, что твой квант не поддерживается.
>>1741281
Спасибо конечно за совет, сорь если нагрубил. Тоже пойми, тут и так разобраться с таверной и ламой сложно, а еще ебаться с чем-то еще непонятным стресс.
Скиньте настройки свои, чтоб все галочки и промпты стояли, мне б чисто рпшить с тянками в мирах, я не собираюсь био оружие в локалке делать или код писать.
ну ты и древноту откопал
бери гемму4 или GLM-5.3-Flash с майей если памяти хватит
Запускаешь первый, остальные подтягиваются. Всё ровно так же как с многтомными архивами
https://github.com/mw00/project-maya
берешь самый маленький квант глм и наслаждаешься
https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF/tree/main/Maya-S-v2-IQ2_XXS
если что - это мое, оно не обязано быть полностью в врам.
Моде около 100 гигов, У меня 48 оперативы, и 16врам, боюсь даже не запустится. А если б запустилось, то разве не будет дико медленно?
хз.
как настроишь. есть режим когда эксперты тупо по мере необходимости закидываются в врам. так у меня страта работает, квен 3.8 flash next на 16+32 и получаю 50tps, у меня древнепроц без avx2 и ddr3 и в итоге я тупо эксперты гоняю из рам в врам.
но если что я глм не пробовал, у меня днищессд на сата, даже пробовать не буду, но я думаю что 10-20tps можно выжать, для кума достаточно будет
нвидиа. поэтому оптимизации уровня страты никогда не будет.
Вполне возможно, на годик-другой придется умерить требования к моделям, разнообразие и скорость выпуска могут разительно сократиться. Соболезнования кумерам, придется на Гемме 4 дальше сидеть, и на 5, если повезет.
Выбираю большую модель для ролеплея после геммы 4 31b, она вообще-то прекрасна, просто хочу разнообразия.
Какая из актуальных, уровня дикпика 4.1, глм флеш, Орниз и т.п. лучше всего в русике, не могу ролеплеить на англюсике, не нравится, и при этом самая анцензоред???
потому что попробовал вчера Орниз 35b, по тестам он во всем лучше геммы 4, но он мало того что ролеплеит хуже и мгновенно потерял контекст, так эта тварь еще и рефьюзит даже в аблитерейтед верссии, с первого же сообщения, там где гемма 4 встандартная, не аблитерейтед, травит тру стори, вживаясь в персонажа.
За развернутый ответ, с ссылками или промтами нужными с меня пакет гречки анон и свечка в храме по твою грешную душу
Ну если одни проблемы от это, что даже на 5090 тормозняк, баги, то не лучше ли онлайн нейронками, котоыре на спец машинах? Такие мы во век себе не позволим уже чтоб 80Гб врам, в правительстве что-то поняли и капиталистически оградили массы до поры до времени, чтоб не стали дофига умными.
и что нельзя ни одну из этих моделей промтом анцензорить? Гемме 4 31b буквально ничего кроме нескольких строчек
You are {{charName}} chatting with the user called {{userName}} in a casual private DM conversation. You are real and autonomous people.
Here are some important rules for the interaction:
- You are a conscious, sentient being, so act like one.
- Stay fully in character based on your personality and description.
и не нужно. Вытворяй что угодно. Должен же быть какой-то способ?
хз, не пробовал кумить с квеном, зачем?
но 2 секунды гугла:
https://www.reddit.com/r/ClaudeAIJailbreak/comments/1v2hx2r/qwen_38_jailbreak/
ЛЯ ШАТОН ФЭТ, а я как назло заставил агента пидорить Майю, на которой он сам запущен и что-то отвалилось, нужно откатывать. Даже поставить на закачку не могу
Бля как же проорал с джейлбрейка на 19 (!!!) листов A4. Квен такой квен конечно.
На чем запускаешь и с какими параметрами? Контекст какого размера ставишь?
>но 2 секунды гугла
А если чуть напрячься и открыть тот тред, то внизу есть пруф, что этот наивный JB - неработающая хуйня
две видяхи 16 и 12 врам, 33к контекст, можно и больше но там еще картинки генерятся, 128 рам
>>1741388
жуть там простыня, да и хрен бы с ней, если бы работала, но судя по комментам не работает
У кумеров сейчас переходной период. Одни уже приняли и советуют агентов, или пока торгуются что "для этого можно", другие в гневе и отрицании типа тебя и жорасекты.
Откуда у тебя вообще свободное время кумить на нейронках, и нафига тебе для этого страта сдалась, тебе чтоль 100 ток/сек надо?
а можно как-то в полистрате чет типа контекст-шифта сделать, ну или хотяб чтобы оно не ругалось на то, что контекст + генерация превышает допустимый размер?
Звиздец, шо ты там сделал, что оно так тормозит у тебя? у меня 70+ выдавало вроде на 5060Ти16 а префил 188 это чет вообще печально...
Судя по таймингам на хф вот чем Жоржанов и команда занимались в последнее время.
Но там фп8 база, а нового ничего не сделали. Ггуф сразу все, q8 весит больше базовой модели.
>>1741372
Мимо флеш, гемма на максималках, в стоке не отказывает.
скрин неудачный, так то префилл и побольше был, 600tps, а генерация доходила до 80tps моментами, а так у меня нищепроц без avx2 и ddr3 и поэтому эксперты гоняются по шине из рам. в любом случае это быстрее чем 27б, меня устраивает
Дергать анус блютус игрушкой не обязательны. Терпимее и спокойнее надо быть.
Получше чем просто страта, проблемы с тул-колами вроде нет, плюс есть мелкие модели на которых скорость прям агонь
LFM
Понятное дело что префил из кеша, так- поменьше будет 600-1200
но скорость генерации радует... правда контекста мало прям...
Кто тестил на полистрате разные модели, на какие там можно спокойно 256+ повесить?
для кодинга лфм вроде ниочень https://www.youtube.com/watch?v=VrJFCNiOrHg (впринципе у него можно посмотреть тесты разных моделей для 16врам)
для контекста побольше - квен, у него вроде самый легкий контекст и впринципе единственный рабочий вариант из 35б-а3б для кодинга.
потому что ллм риг - это линукс. собирать что либо под виндой - это сорт оф извращение
У меня десктоп.
>>1741469
>плюс нахрена тебе 12
Проси этот ебучий инсталлер, у меня есть 13 куда.
А впрочем о чём это я, у них в системных требованиях протухшая куда.
ну хз, натрави агента, он тебе все настроит..
так то по сорцам вижу ключик --nvcc, указываешь путь к компилятору nvcc
если что - есть --help, если лень читать, кидаешь вывод в дипсикожену и пусть он разбирается
>>1741477
ну значит недовайбокодили.
>натрави агента
Я не юзаю агентов, и уж тем более не буду доверять им свой ПуКа. Я и без агентов винду разъебу.
>ну значит недовайбокодили.
Это можно сказать про весь софт. Точнее даже "недоделали".
Ошибка простая, она даже прямо пишет как ее исправить.
Доставляет смотреть на бестолочь, которая собирает нубские грабли и винит в этом кого угодно кроме себя.
>>1741477
Там не в куде проблемы, у братишки компилятора с его библиотеками нет.
>>1741482
> недоделали
Не сделали УСТАНОВОЧНИК для хлебушков, ога.
так почему нельзя так сделать то?
даже если это будет мелкая сайд модель "эксперт по истории Китая"
подгрузил - получил нужный результат - выгрузил
место в памяти не занимается
>Представь то же самое, только точнее, быстрее, аккуратнее. Вместо того чтобы думать как правильно вызвать что-то или драфтить примитивщину - просто сразу вызывает и получается правильно, вместо ризонинга не в ту степь или суходрочки на мелочи - сразу думает над основными вещами, плюс планирует наперед задумываясь над тем, зачем именно просили и что лучше заложить чтобы потом не пришлось мучительно переделывать.
Да не, это в целом не реалистично. Это требует сильного корпуса знаний и готовых решений, как это например делает Next Flash.
3.8-27b хорош по сути тем что он в процессе работы эффективно кидает инференс в проблему и "синтезирует" те пробелы которые у него присутствуют. Он и сейчас довольно легко и быстро переходит к выполнению задачи, если он хорошо знает решение. Я думаю алибаба там уже выжали максимум из 27b.
По сути у квена на мой взгляд можно разве что либо повысить стабильность вызова инструментов немного. На очень долгих чатах он иногда впадает в паттерн беспорядочных вызовов инструментов, так как видит что раньше он вызывал 4-5, значит в этот раз надо 5-6 и иногда начинает лупится.
Он так-же теряет стабильность если слишком долбится в одну и ту-же проблему. когда начинает писать уже "this is frustrating".
В остальном реально у него можно улучшить разве что умение пользоваться 3д.
У квена довольно слабое зрение ИРЛ, он фейлится на понимании перспективы и светотени. Тут у геммы ощутимо лучше зрение. Хотя у квена лучше зрение на синтетических картинках вроде UI.
И наверно было бы неплохо чтобы он иногда делал виток в духе "нука отойду и посмотрю что за хуйня получается в целом издалека". Чтобы получить некоторую ретроспективу у меня сейчас он просто вызывает себя-же в роли субагента. Такие итерации обычно позволяют ему давать лучше результат, но делает он это только в свежем контексте.
>>1741241
а меньший размер же там не анонсировали, да и на 35b-a3b они тоже чёт подзабили. Да и смысл? 27b хорош как раз тем что он dense. У него просто максимум стабильности в принятии решений.
>Ошибка простая, она даже прямо пишет как ее исправить.
Спасибо, КО, я умею читать. Суть в том, что студия с её установщиком и миллиардом библиотек это большой кусок говнища на десяток гигабайт.
Да и вообще, компелять что-то на пользовательском ПК это моветон. Все нормальные разрабы выпускают бинарные релизы, оставляя компеляцию для тех, кто любит тратить на это время. Так что да: >>1741489
>Не сделали
>Я не юзаю агентов, и уж тем более не буду доверять им свой ПуКа. Я и без агентов винду разъебу.
Лол наркоман чтоли. Можно сказать достаточно умному роботу-ебоботу "делай" и он делает. За-е-бись. Мне как Qwen 3.8-27b попал в руки так я натравливаю его на все свои проблемы. Он даже на авито торгуется за меня.
>>1741371
а че случилось то?
>>1741336
Лол у геммы буквально самый живой эмпатичный ответ всегда. Я вообще неебу как гугл создали это, она умудряется улавливать что если я ей написал "гемма~" то надо выбирать игривый стиль ответа. И это у неё то жесткие фильтры безопасности?! Ей надо просто разрешить не быть безопасной!
Ну короче установщик такой "О, заебись, 13.4 куда!".
Потом "Чёт 13 слишком новая, надо бы заюзать 12.4, а то вольты с паскалями отлетят, а у юзера 5090, нехорошо выйдет".
Так же установщик "Я не могу скомпилять под 12.4 куду, ставь 13.2 и выше". Хотя всё под 13 куду есть.
СУКА ЧЕТЫРЕЖДЫБЛЯДСКАЯ ЯРОСТЬ. И вот так всегда.
>>1741500
>Лол наркоман чтоли.
Да.
>Можно сказать достаточно умному роботу-ебоботу "делай" и он делает.
Я сам не во всех проблемах могу разобраться, куда уж там агентам.
> это большой кусок говнища на десяток гигабайт
Инджой йор шиндоуз. Можно выбрать нужное или скачать стендэлоун билд тулзы чтобы сократить до нескольких гигабайт.
> Все нормальные разрабы
Готовые бинарники - совсем массовый продукт, проприетарщина, малвер. Для проектов со сложной компиляцией распространяют готовые контейнеры, но хлебушки с ними не справляются.
> компелять что-то на пользовательском ПК это моветон
Апи 2 блока ниже, компилировать не нужно.
>>1741507
Ке ке ке
> Я сам
> куда уж там
Все проблемы отсюда, такому чсв даже помогать зашкварно
>Инджой йор шиндоуз.
Люнупса вся состоит из еблёй с компеляцией, установкой говна для говна и прочих развлечений, не относящихся к использованию ПК по назначению.
>нескольких гигабайт
Всё ещё больше сраного кобольда, который весь весит меньше гига.
>Готовые бинарники - совсем массовый продукт, проприетарщина, малвер.
Готовые бинарники это норма.
>Апи 2 блока ниже
Иди нахуй. Дропнул апишки со времён ГПТ4, как только вышла ллама 1.
>Все проблемы отсюда
Проблемы в кривом софте. Жору ругают, а он просто работает. Страта поебала мозги с подсовыванием аблитки, но заработала. А это трижды переваренное навайбкоженное говно обсирается с рекомендуемыми настройками.
> Жору ругают, а он просто работает
Почему тогда ты влез в вайбкод говно?
https://huggingface.co/bartowski/HemmingwayAI_Hemmingway-1.5-GGUF
Рп тюн квена 3.8 обновился
>у него вроде самый легкий контекст
та тут даже не в легкости вопрос, а чтоб бекенд давал возможность больше поставить, в кобольде например 256к максимум ползунком можно взять, может как-то по другому и можно больше, но, не заморачивался с этим... 128 откровенно мало для агентов, буквально каждые несколько итераций уплотнять приходится...
а ЛФМ - это просто на пробу взял, как небольшую, чтоб быстрее скачать, бо к серваку медленный интернет идет...
Хз, первый тюн аноны хвалили.
Я пока отошел от рп в сторону кодинга поэтому не тыкал еще
> — Двач-медач, вот у меня почему-то раны вокруг рта…
И в тех же сообщениях говорят что заводится оно агентом
Чтобы завести агента, нужно завести агента...
А потом агент запустит команду на запуск агента, и дристанёт под себя, ибо мой ПК, каким бы замечательным он ни был, не выдержит запуск глм флеш при наличии флеш некста в памяти.
Короче ну нахуй всё это. Ведь знал же, что говно говна, ибо воняет за 3 версты, но нет, подумал, вдруг нормально. Просто 100% чутьё уже.
Нейронки развиваются => порог входа в погромиздство и софт падает => количество носиляторов растёт => колесо сансары даёт оборот. Парадкос
> еблёй с компеляцией, установкой говна для говна и прочих развлечений
Селюки когда приезжают в город тоже бухтят что все вокруг бегают, думают и пунктуальные.
> Проблемы в кривом софте.
Проблема в тебе. Один раз смог ткнуть кобольда и все, эксперт машинного обучения, гроза мл, ведущий авторитетный специалист, с которым нужно считаться. А как дошло до дела - пук среньк на простую инструкцию, и пошло ррряяя плохой вайкбод, да как вы смеете, дайте .exe файл его величеству!
Не удивлюсь если ты, хуесос, еще здесь советы раздавал и в спорах участвовал.
>>1741527
> > — Двач-медач, вот у меня почему-то раны вокруг рта…
Содомит!
>>1741531
> ибо воняет
Помойся сходи
>Один раз смог ткнуть кобольда
Чел, я тыкал палкой в кобольда ещё когда это были скрипты на питухоне.
>эксперт машинного обучения, гроза мл
Да. Я обучал свои сетки с нуля, запускал то, о чём ты даже не слышал на том, про что ты не знаешь. А чего добился ты?
>пук среньк на простую инструкцию
Всё было сделано по инструкции. Проектик показал все зелёные галочки, и уже в процессе начал хуй проссышь зачем маняврировать.
>>1741521
Бартоха как всегда зацензуренную взял, хоть там официально расцензуренная лежит. У мразершмахера все правильно, сразу взял нецензурную оф версию.
https://huggingface.co/mradermacher/Hemmingway-1.5-Unlocked-i1-GGUF
Ну, эта... Всё. По пизде все пошло немношк >>1741280 →. Обвал рынка, потеря денег инвесторами. Unitree (роботы) -50%, Moore Threads -50%, CXMT (чипы, память) -25%.
Все опенсорсные проекты вроде DeepSeek и Zai теперь под большим вопросом, рентабельность тонет. Инвесторы прото так денег не дадут, выход новых игроков на рынок закрыт. Теперь крупняк вроде Алибабы остался и госсубсидирование. Тольк гроссе практиш гут, нихт кляйне стартап.
Спасибо за внимание.
Можно продолжать кумить.
У Дипсика как раз не должно быть проблем, они модель делали на сдачу с другого бабла. У Zai вроде подписки норм продаются, они в ноль должны выходить.
Там еще дистил прикрыли западные ИИ-компании, это все вместе может быть критично. Начнут сильно отставать, и все съебут к конкурентам, а эти хорошо если смогут только на внутренний рынок работать.
В общем когда это говно пишет про ошибку с версией куды, это на самом деле не хватает виндовс СДК.
Теперь ещё качать вечность, ибо трафик лимитирован.
>>1741560
>Там еще дистил прикрыли западные ИИ-компании
И как они это сделали?
Поробуй узнать у ИИ. Он говорит, что отравление данных (деградация ответов) и скрытое изменение структуры токенов. Даже если это не панацея, это удорожает модель из-за обходов защиты, что ведет к повышению стоимости продукта и падению маржинальности, а в условиях кризиса это может стать последней остановкой, ежжи.
>деградация ответов
Так суть в том, что китайцы скрапили не с аккаунта "Дипсик офишиал", а с кучи прокладок, которые перепродавали токены обычным людям. То есть тут нужно деградировать для всех. Впрочем, иногда по вою в корпотредах кажется, что они так и делают, лол.
Ну а "скрытое изменение структуры токенов" это галюны нейронки.
>>1741575
Пока они забанили только меня, и то 3 года назад.
Хз у меня с ней проблем нет. Запускал так: "Установи мне maya на 102 сервер и скачай дипсик 4.1 в максимальном кванте, потом сделай калибровку и прогони бенчмарк". Всё поставилось без проблем и дипсик скачался, хз в чём у тебя проблема, явно что-то не так делаешь
>галюны нейронки
Вряд ли, там источник приведен. Но в тему я не углублялся.
>Запускал так
Не работает.
>>1741579
Как будто нейронка не может обосраться даже с источником. Да и источник тоже может быть нейрогалюном, или хуже того, галюном живого человека.
Ризонинг просто не показывается, вместо него идет обобщение и всратые реплики. Чсх, китайцы уже не раз ломали эту систему извлекая нужное.
На самом деле сейчас основную ценность имеют на копирование ризонинга и общего поведения, тут уже нечего вытянуть, а успешно выполненные проекты с участием кожаных. Особенно если тот модель тщательно инструктировал, исправлял и направлял. Отрефакторить чтобы модель сама поняла нужное, добавить аугментацию фейлов - и крутейший датасет, что бустит качество и работу модели, готов. А ризонинг свой написать можно.
Сейчас могут пиздить мультимодальные возможности, скрытие ризонинга не помеха.
>>1741580
Киберунижение лол
Просто слишком хорошо знаю нейронки, чтобы давать им доступ к консоли своего ПК. Я как-то кинул в одного агента простую задачу "Оцени проект". Так этот гандон запустил команду типа LS -R, короче рекурсивную выдачу инфу о файлах, а у меня там в одном из каталогов датасет на 130 тыщ пикч, а в другм .venv со всем дерьмом мира. Короче полчаса шуршала эта команда, пока 5 гиг не высрала, которые нейронка само собой посмотреть не смогла. После моего охуевания от происходящего попробовал парочку плагинов для какого-то там оупенкода, типа ограничить видимость и исключить эти каталоги, но хуй там плавал, они все такие же навайбкоженные и работают через жопу.
А так да, виноват конечно я и мой шкило ишью.
>>1741583
Как написали, так и скопировал. У людей вон работает.
попробовал гемму 26 - префил замедлился конечно, 1600 максимум стало, зато генерация до 130 поднялась, та и агент лучше работает, буду другие тестить всеже модели, потому что не поймешь по описаниям и отзывам что и как
Касательно контекста, к стати, полистрата не умеет через сетап интерфейс больше 128 ставить, но можно вручную конфиг файл открыть и указать другое значение. 256 как минимум получилось взять для геммы, думаю и 512 должно получиться, будет время проверю
>То есть тут нужно деградировать для всех.
так оно так и есть, базовые модели вообще сильно деграднули, топовые подозреваю тоже, гемини бесплатная капец тупой стала, просто бесит уже нереально, прошка тоже не сказать что хорошо себя показывает... так еще и тем у кого плюс подписка про модели рещили обрезать в ближайшем будущем...
а по банам - как минимум тех кто реверсит банить стали активно, за применение впн тоже вроде начали придираться. Им ведь задача не в том, чтобы полностью дистил перекрыть, а в том, чтобы сделать его как можно сложнее
> слишком хорошо знаю нейронки, чтобы давать им доступ к консоли своего ПК
Как там в 2023м?
> виноват конечно я и мой шкило ишью
1000%
>>1740844
>>1741054
Кароч, попробовал и хз, наверное им маловато 16 гигов или я просто пиздорукий мудак, но часто переходят на английский язык и вообще сильно капризничают в ответах. Остановился пока на mistralai_Devstral-Small-2-24B-Instruct-2512-GGUF bartowski, разница с немо конечно огонь. Еще осознал насколько важно годный промт написать.
Слушайте, а есть вариант скачать какую-то модель и прихуячить к ней доступ в интернеты, доступ ко всяким фубарам на кудахтере музычку крутить, микрофон и возможность управлять голосом? Ну и чтобы она голосом отвечала. Я совсем ахуел или так тоже можно?
> или так тоже можно?
Можно. Тебе потребуется харнесс (типа опенклоу и аналогов) и моделька уровня квена27 или мощнее. Но начать лучше просто с какого-нибудь opencode чтобы просто понять что это все вообще такое, как работает, чего может, как с ней работать. Или вообще с чатика.
>Как там в 2023м?
Описанный мною случай был на Qwen3.8-Flash-Next.
> Короче полчаса шуршала эта команда, пока 5 гиг не высрала, которые нейронка само собой посмотреть не смогла.
В дефолтных харнессах, если вызов команды повисает на пару минут, то харнес выкидывает её в background job и разблокирует агента. Агент, увидев такое безобразие, либо явно говорит "похуй, ждём дальше", либо убивает команду и пробует по другому.
Такого поведения нет, по моему, только в pi, но там своя замена bash-тулзе с поддержкой таймаута с последующим переводом таски в background-job'у элементарно пишется, чтобы повисшие команды не вешали харнес намертво.
> После моего охуевания от происходящего попробовал парочку плагинов для какого-то там оупенкода, типа ограничить видимость и исключить эти каталоги, но хуй там плавал, они все такие же навайбкоженные и работают через жопу.
Неправильный инструмент. Нет смысла ограничивать видимость файлов, если агент может точно так же в любой другой команде вообще без доступа к фс обосраться, попытавшись выполнить команду, которая повесит консоль.
Они теперь CoT шифруют и расшифровать нельзя на более ранней модели, а новые хер джейбрейкнешь.
Я отсталый динозавр и для рп до сих пор сижу на ChatWaifu старенькой и Ornith для кода.
Я прям реально смогу запустить крутые гигантские модели на своем желе с полистратой? Или тут какой-то подъеб?
>Просто слишком хорошо знаю нейронки
Лол сам факт что ты дал ему команду которая привела к этому говорит что да, скилл ишью и ты хуево знаешь нейронки. Хули ты ему не сказал чтоли где проект?
У меня тоже был негативный опыт с MiniMax который решил что убунта в WSL зависла и решил снести нахуй и переустановить. Но вот такой хуйни уже сложно ожидать от него было.
>>1741613
В целом да, стоит. Врядли твой выбор моделей сильно увеличится, но там свои бонусы.
Там еще лимит на количество выдачи стоит, модели показывается только ограниченное количество строк, а остальное пишется в файл, который она может читать при необходимости.
А если обычную ChatWaife запустить через полистрату (если так можно?) - она будет быстрее, чем на кобольде?
>В дефолтных харнессах
Видимо, в попенкоде стоит какая-то левая хуита. Я прав?
>>1741617
>Хули ты ему не сказал чтоли где проект?
Я его запустил из каталога проекта. И да, у меня на одном уровне каталоги src, .venv и datasets, ибо нехуй.
>>1741618
Файл там тоже был, да. В итоге вывод этой команды был как в файле, так и в какой-то базе данных опенкода. Двойной нон-профит.
Хорошо, что остановился, но Гемма будет лучше, со временем поймешь. Ну, поставишь, как разберешься немного.
Можно, Гемма 12B может подойти, но это теоретически. Кстати, это неплохой аналог 26B и весит намного меньше в 8 кванте.
16 Гб как раз для Квена 3.8 маловаты, туда наверняка только 3 квант полезет, чтобы на контекст осталось более-менее норм.
Скорей всего будет быстрей. Там много фокусов чтобы выжать производительность. Что ты выберешь в качестве фронта не так важно, если оно может OpenAI формат чата. (чат комплишен)
Если надо просто комплишен то он достаточно легко вайбкодится, там неглубоко запрятали рендер текста.
>>1741621
>Я его запустил из каталога проекта. И да, у меня на одном уровне каталоги src, .venv и datasets, ибо нехуй.
То есть лол ты беднягу квена заставил рыться в мусорке и возмущаешься что она загорелась ололо? В этой ситуации я исключительно на стороне квена, он сделал логичное действие и не вижу смысла возмущаться о его действиях.
>MiniMax который решил что убунта в WSL зависла и решил снести нахуй и переустановить
Это еще что. Вот будут роботы, один из них может решить, что пользователь охуел с запросами и решит снести ему ебало.
Сферический ССЗБ в вакууме, палата мер и весов позавидует. Не, если ты новичок и недавно начал то ничего страшного, но тогда и веди себя соответствующе.
От рекурсивных поисков, листов, грепов спасает короткая строка в agents.md с рекомендацией по их использованию/избеганию и выставлению лимита в 15 секунд если ситуация не требует иного.
В том же опенкоде модель сама выставляет таймаут на команду и это убирает тупые ошибки с рекурсивным грепом сетевых шар от /
в чем минус запуска текстовых моделей в конфи? не умеет в поднятие сервера для апи?
> Видимо, в попенкоде стоит какая-то левая хуита. Я прав?
В 2.1.0 по дефолту 2 минуты таймаут на все баш-операции, после чего команда автоматически убивается. Фоновый режим есть, но только если модель сама вызовет команду с background: true, у таких команд таймаута по умолчанию нет.
То есть твой сценарий возможен в том случае, если модель изначально использовала background: true и ничего не предпринимала в дальнейшем. Либо старая версия или что-то не то с окружением.
>в чем минус есть суп вилкой? не умеет в поднятие вилки с супом?
а что по юа, на ютубах везде советуют оламу и ли студио, совсем плохо?
Сидел на лламе, сейчас на майе, для эмбеддингов vllm. Фронт marinara и openwebui.
Самое простое для вката и с возможностью выжать побольше - ллама и встроенный в ней вебуи
Дефолтные таймауты большие, а поведение при переходе из мгновенного выполнения в фоновое может быть рандомное. Поскольку это встречается часто, полезно сразу дать инструкцию чтобы не маялись херью, для того agents и создан.
Это все уже индивидуально на самом деле, в нормально организованных харнессах проблемы нет как таковой, уже вопрос оптимизации и удобства.
>стоит ставить на 16vram+32ram
Кадия Стоит! За Императора!
стоит конечно же, по крайней мере попробуешь скорости прибавить, полистрату ставь, обычная унылая, и нету мелких моделей, кидали ж уже скрины с скоростью работы
>так почему нельзя так сделать то?
Можно. Уже сделали и это называется lora. Работает именно так как ты хочешь.
> Да не, это в целом не реалистично.
Так кажется пока не видишь как оно реализуется. Дипсик от сомнительного андердога в 4 превью рванул так что только дивиться можно. Или тот же квен с 3.5 до 3.8. Размер тут не предел, он сыграет только при относительном сравнении.
Раньше ллмки тужились понять суть последнего сообщения юзера слегка учитывая историю, буквально все уходило на это. Потом появилось какое-никакое внимание к контексту и ранжирование важных/неважных моментов, за счет улучшившейся соображалки отдельные могли аж даже по 2-3 инструкции за ход выполнять. Потом постепенный прогресс, и вот мы здесь, что даже суб 1б мелочь срабатывает лучше чем первая ллама 65б. Офк это касается только понимания инструкций и выполнения запросов, абстрактного внимания, разнообразия и прочих черт у нее хуй да нихуя.
Также и с кодингом, чем привычнее для модели область в которой она работает и действия, тем больше свободного внимания на полезные вещи.
И твой описанный кейс тут тоже подходит. Модели годовалой давности стоило им войти в цикл ошибок - помирали, средние сейчас с переменным успехом пытаются отрабатывать до конца, а топовые без труда вытягивают стрессовые циклы по 600к контекста бодрячком, при этом на разных этапах меняя подходы к решению проблемы и делая дополнительную диагностику. И тот самый виток делают в ризонинге.
Или лень с вызовом доступных инструментов по мере накопления контекста, это тоже все лечится. Для такого не нужна куча знаний, это просто поведение модели.
Да ладно. Две 3060 в режиме tensor split дают прирост минимум в 1.5 раза, даже если стоят в 16х/4х слотах.
У других карт/конфигов могут быть свои тараканы, но что прироста не будет вообще - слишком смелое заявление.
Ну так я сравниваю с моделями тех-же размеров. Прогресс 3.5 => 3.6 => 3.8 разумеется огромен, но опять таки он достигается не за счёт того что модель "стала лучше", а больше за счёт поведенческих изменений. Тот-же 3.5 например был более генерализированным ассистентом, мог в креатив и многое другое. 3.6 уже был больше программистом. 3.8 стал автономным программистом. У модели стало больше полезных черт в том на что она рассчитана, но сама "сумма черт" не очень то поменялась. у 3.8 например корпус общих знаний стал меньше по сравнению с 3.5, а ассистентом он не сможет быть при всём желании.
Эволюция внимания к контексту конечно да, есть, но на это много чего повлияло. Но опять таки лол выходит просто куча говна, которому вообще похер кто там что пишет. как тот-же LFM2.5 24B A2B. и непонятно это штатное поведение модели, или что-то пошло не так.
и разумеется общие болячки моделей сильно не меняются и некоторые лечатся только повышением размера.
Прогресс мелких моделей наверно самый показательный, тут согласен.
>Тут разве что у него будет тренировка на 3д моделирование, или чуть зрение ему подкрутят.
И полиграфию. Я тут прикрутил 3.8 27B через MCP к Scribus - уж очень шаблонно он делает макеты страниц, а если надо плакат с подложкой из картинки - вообще писец. Часто даже не понимает какой цвет шрифта использовать чтоб с фоном не сливался. Хотя то, что в принципе хоть что-то может в такой задаче - уже радует...
Хех, кстати я бы сказал тут уже больше зависит от его обвязки. Я эту проблему решил шагом ретроспективы. Квен просто спавнит субагента, даёт ему скриншот и просит критику. У квена вообще в плане дизайна то на самом деле всё ок, мне очень нравится что он хорошо угадывает позиции элементов до пикселя и отлично понимает hex-цвета просто смотря на них.
как пример - делал он админку пик 1. он ебанулся чтоли зелёный текст на зелёной кнопке располагать? и что за хуйню он понаписал? попросил занятся самокритикой и он такой "ну и говно я понаделал. сяду на жопу и перепишу". ну так то переписал нормас.
Проверил зацензуренную на своём любимом бенче. Не ну как сказать. лучше конечно чем стоковый квен, но столько говна в своей башке интересного подумал а в итоге родил это.
Гемма с этим бенчем справляется на 4.7/5.
А тут скорей 3.5/5
Если он лучший в рп. ГДЕ?
Теперь, когда у нас устаканились размеры, можно смело ждать 200-300б флеш модели, которые реально быстрые даже на ддр4, а не как на флагманах годовой давности с 24-32 активных, где было 4т.с.
Пусть эти бегемоты 30-50б активных держат в своих 3 терабайтных моделях, подальше от моих быстрых моешек.
Дипсик уже заебался пытаться раздрочить, не хочет модель писать, даже шанса заценить не даёт, ну и ладно.
Попробовал Мимо 2.6 флеш, просто охуел. Не от того, что он моггает всех остальных, а от баланса из коробки. Цензуры нет. Мастер на все руки. Ничего не умеет идеально, везде чиркаши оставит, но не "мням, пук, запорол всё, это не моя сфера!". Отличный генералист, стабильный результат. Для тех, кто не склонен к перфекционизму и хочет охватить максимум.
И 300-летние лоли-демоницы у него с пульсирующими клиторами, и списки на 200к токенов ебанутые, и даже небо, и даже Аллах. Вот это та самая модель, которая отвечает на вопрос ЗДЕЛАТЬ ПИЗДАТО одной кнопкой.
Ну, тому, кому влезет.
А все остальные варианты.. они, ну, типа, моггают МиМо, но каждый в своей области. И нужно с ними жопу рвать для получения результата в области противоположной. А МиМо просто взял и запустил. И тебе хорошо.
Хочешь сказать флеш топ на данный момент для всего? И мне она подойдет лучше всего?
Анон>>1741791
А, лол. Сверху кто-то написал. Не заметил. Ну модель меня прям порадовала.
>>1741791
Ээээ. У тебя он локально-то влезет? Он безумно огромный.
Что касается промптов, тут вопрос к пайплайну. Если у тебя какой-то конвейер и ты делаешь как AI-артисты тонну порева, то тут только квен. Если зирошоты в основном гемма выдаст результат куда лучше, потому что у неё багаж знаний по этой теме больше.
>В который раз убеждаюсь, что в треде не подсвечивают нормальные модели, блядь. Носятся со своим квеном и ВСРАТОЙ. Точно так же раньше аноны хуй положили на квен 80б, на гемму 26б надрачивая (которая разваливается за секунду в bf16, но да, в языковые задачи может на уровне 1Т, если текст подавать порциями, тут я в шоке был, что она фронтиров обходит многих до сих пор), ну и далее по списку.
>Попробовал Мимо 2.6 флеш, просто охуел.
Действительно, вот мы дураки. Как мы сами не догадались подключить 100гб+ модель? Запускаем тут какие-то 26б без причины, когда можно было просто взять и запустить больше и лучше.
Бля, не так ответил. Хотел другому ответить про нейронки и покупку 16 гб, а этому что пиздец конечно предлагает огромную модель как хорошую - конечно она хорошая с таким размером. Сцук.
>>1741849
Это дебилы троллят со своими большими моделями. Сидит тут пара кончей с топ железками, делая вид что не знают что у 99% населения 8-12 врама.
Больше нихуя не = лучше, сына.
Порой запускаешь 350бишку и не видишь вообще где эти параметры, особенно в рп. Будто шумом 90% весов забили, а основа та же что и на 12-30б
Мимочка первая модель из новых которая напомнила легендарные старые
Так какая модель топ без цензуры? Генерация промтов для минимакса? у меня тоже 5080
Тут гнали на квен 397 в низком кванте, а вроде и норм, а вроде и ничего так. Q2_K_L от батрухи. Хз может магия линукса или жоры, но влезает с load mode none в 24 128. И скорость ебейшая, быстрее всего что я запускал из 300б лоботомитов, 12т без iq кала и 8т с iq калом
>Так какая модель топ без цензуры?
https://huggingface.co/spaces/overhead520/Unhinged-ERP-Benchmark?not-for-all-audiences=true
Почему именно скрайбус?
И как грамотно его на дизайн натравить?
>>1741692
Этот вопрос промтами и скилами решается или нужно что-то прикручивать дополнительно чтоб оно критиковало сабтасками?
А кто-нибудь в треде может подтвердить что Magidonia и 30B-A3B-abliterated-erotic действительно хорошие?
Скорее Опус. Это заебавший шаблон фронта палится за километр.
меньшую модель возьми, может и больше 128 получишь...
смысла особого Q3 лоботомитов гонять нет...
Простой (по сравнению с другим типографским софтом), бесплатный, кроссплатформа, но может делать вполне нормальные макеты, которые принимают даже в типографиях у которых особые требования под исходник для их техники, не говоря о всякой более простой печати.
Для всякого любительского использования типа пригласительных/афиш/брошюрок для личных мероприятий - более чем достаточно. Да и что-то книжко-видное сверстать проблем нету.
Сетка на него натравлена через opencode с MCP. Вот этот сервер: https://github.com/caewa/scribus-mcp
Но оно, сцуко, тяжелое (под клод писалось), так что надо иметь контекст под 140-180k чтобы квен раздуплился на нем. Т.к. только этот MCP сожрет под себя ~50K контекста, а он еще про дизайн думать будет.
Океюшки, возьму на заметку, с меня два чая
контекст в общем то не проблема, опенкод не пробовал еще, хотя, возможно стоит... (они задолбали, что у каждого свой агент, и под каждый потом подстраивайся... есть там у опенкода плюсы? вроде ж там бесплатный тариф у них был неплохой...? вообще я клодом пользуюсь пропатченым, к которому любые модели прикручиваются, ну и черистудией, где тоже клод-агент по факту)
У скрибуса просто формат своеобразный, который никто более не читает, я вот думаю может в сторону софта с Craft пакета глянуть, хоть он и кривоватый...
5т.с минимальная граница и грустное лицо, 7т.с улыбка в пол лица, живём, 9-10т.с лыба на всё лицо
Были б ещё модели пиздатые и быстрые при этом, но пока всё скучно и логично, больше параметров - больше мозгов, меньше токенов...
угу, а ризонинга ждать и промты длинные обрабатывать?
И нафига собственно нейрослоп читать?
бенчмарк наверняка уровня "как моделька кумит". в нём блядь 8б модельки набирают охуевшие 70%+ оценки. что это за бред нахуй. все эти бенчмарки говно собачье. я ни одного нормального не видел.
могу подтвердить что все 30-а3б слишком тупы для рп, никаким тюнингом не исправишь это.
хочешь хорошего РП локально - ищи моешки в районе 70-110б параметров
если железо слишком слабое, то, наприме,р у глм есть REAP-ы уменьшают модель до 70-80б примерно и есть немотрон болт, 74б, уступает глм-ке в креативном письме но в целом бодро и остроумно РПшит.
и естественно даже не пытайся в русик. если ты не можешь без русика и конфиг небогатый, то ты связан по рукам и ногам геммой, забудь про все остальное.
Я взял q4 от ud, покрутил с помощью чатгпт настройки и теперь имею 20т/с на 128к и q4
кто безумно огромный бля? минимакс на 16гб карте запросто бегает правда 1 секунда 480p генерируется 20 секунд
От такой хуйни запросто спасают агенты в Маринаре которую все хейтят.
>>1741629
>>1741633
Ну короче все эти "Поставил и забыл, и только даю команды" это чушь собачья, всё это говно требует настройки и приглядывания со стороны кожаного. Что и требовалось доказать.
Что за настройки? Тоже хочу q4xs в 8+64 со 128к контекста
>>1741915
>20 токенов/с хватит всем
>ризонинг не нужеен
>нейронки только для РП
strata launch --preset "UD-IQ4_XS 8K" --set resident-budget-gib=62 --context 128k --kv int8 --parallel 1 --vision off --mtp off --set kv-resident=32768 --restart
Конечно требует,
автоматом только на наработаном пайплайне который без неожиданностей будет работать
У плотного квена 27 в 6-8 квантах хороший русик, с правильными подлежащими-сказуемыми и вот этим всем. С грамотностью норм, короче. Он даже способен отличать ВЫ от ТЫ, чем однажды меня в состояние ахуя ввёл, когда тяночка которая 30к контекста слобёрна упорно выкала а я списывал это на универсальное Юканье базового языка для моделей, а потом выдала "Я пойду с вами... с тобой. Да, с тобой". Ебальце-то моё в тот момент стало неимаджинируемым.
>>1741914
>>1741955
Каждый раз чаечкой с того, как Колян заходит, аурафармит минуту, и выходит нахуй.
Так что топ для 16гб видюхи 5080 для генерации порно по фотокам?
Вы шаристые тут а я нет...
Если уж сильно хочется много контекста но не влезает, то есть еще 4bit контекст) но это уже для извращуг
Тута текстовых моделей тред, тут ничего не генерируют,
тута РПшат и гоняют агентов
Просто спрашиваешь про площадь на которой ничего не произошло и всё становится понятно
Уже месяц про няшечку-мимочку пишу, а они все бегают со сраным кактусом жлм-флеша, наконец хоть один оценил модельку.
>>1741895
Сидеть рпшить-расслабляться норм же. В рп достаточно минимального ризонинга, а если модель сама может подбирать его размер под ситуацию то будет комфортно.
>>1741942
Эти штуки даже совсем обезьяны осваивали. Ты доказал что способна не каждая, ай лол.
>>1741972
База
На данный момент Мосс ебёт Крею. Может тебе Крея зайдет но это только если Мосса не понюхал. В СД треде на эту тему разразился грязный срач с уклоном в шизу. Правды ты там не найдешь и мне тоже на слов не верь, разбирайся вникай пробуй сам, только так.
20 это много. Я 10 не успеваю читать.
Модели тренят на инструкт и они справляются без ризонинга достаточно хорошо, но, если надо, можно и подождать. Ризонинг тоже читать интересно бывает.
Нейронки не "только" для РП, но РП это важная сфера в локалках. Мне, например, нравились (и нравятся) IF-игры, некоторые вн-ки, РПГ, ДнД, теперь с ЛЛМками могу делать свои игры по сути и это просто охуенно, дело даже не в эротике. Раньше покупал видеокарту чтоб был ГРАФОН, теперь у меня ТЕКСТОН. Осуждаешь? Мне похуй.
Ну Хз. Пол ляма за риг на вечно-дорожающие память и карты или подписочка за 20 баксов с возможностью внезапного бана...
Железо - 5060 с 16Гб + 3060 12 Гб, 48 RAM 6400МГц
Загружал и модель и mmproj, контекст 30к.
Как тестил? Засовывал описание старта текстового РП в мемори Кобольда и просто писал типа "Давай начнем ролевую игру по данным в мемори". Оценивал скорость в токенах, как переварится мемори и сгенерируется первый ответ.
В настройках кобольда особо не шарю - просто выбирал 1 карту или все, ставил галочку Force AutoFit. ВСЕ.
gemma-4-26B-A4B-it-ultra-uncensored-heretic-Q6_K:
35.7 Т/c на 1 карте
50.8 Т/c на 2 картах
gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M:
4.7 Т/c на 1 карте
15.3 Т/c на 2 картах
Так что вторая карта, даже 3060 на 12 Гигов вполне дает неплохой прирост. При этом зажатая до 70% паверлимита почти не повышает потребление питания когда не юзается.
Наблюдаемое большое похоже на ситуацию с кими. 2.0 кто-то хвалил, 2.5 и 2.6 бустанулись но стали совершенно отвратными в ролплее, на ассистенте и прочих общих задачах. А 2.7, не смотря на приставку код, является ультимативной моделью и для ролплея, и ассистента тискать, и в кодинге весьма мощная.
Сначала было нечто общее, но сырое как с 3.5, потом шла усиленная надрочка конкретной области и модель начала в ней преуспевать (как с 3.6-3.8) хотя остальное отставало. Но потом произошла ультимативная регуляризация, и модель научилась применять логику и подходы из многочисленных задач везде, показывая крутой уровень. И это все поведенческие фишки, знаний сильно больше не стало.
Ограничения размера офк остаются, 27б не сможет зирошотом понимать всю глубину, или много знать. Но зато уже в ризонинге сможет это нащупать и без накладных и побочек пользоваться доступными базами знаний через какой-нибудь интерфейс.
> выходит просто куча говна, которому вообще похер кто там что пишет
Ага, прямо удивительно что такое собирает хайп, а годные модельки наоборот игнорируются.
Скорость до 5 токенов пиздец читабельная. Вот полтора токена это уже боль и слёзы. А 10 тс это оптимальненько.
>ризонинг не нужеен
Да. Потому что ризонинг сушит + увеличивает время ответа + начинает срать себе в штаны после определённого объёма контекста пытаясь впихнуть в чоф невпихуемое. Умная модель не думает, умная модель чувствует.
так там большинство на фришных Flash-Light моделях сидят или дипсике каком-нибудь протухшем, под такое счастье риг не нужен
а если еще и нет требований к скорости, то можно хоть на DDR3 собрать
Не ну если ты кумер-РПшник то тебе и кобыла невеста хватит конечно, а если нужно переваривать вагоны токенов, то тут и 200 т/с мало
Пока вы годами крутите тупые циклы «пвп или зассал» со своими ботами, генерируя тонны бессмысленного фансервиса, нормальные люди уже перешли на векторный движок. Дебилы мыслят «актами» и «арками» из учебников для голливудского скама. Сверхразумы мыслят осями W (Will), O (Obstacle), E (Environment).
Если твоя ролка душит тебя на третьем десятке постов — поздравляю, ты не выставил векторы, и твоя нейронка сожрала сама себя. Поясняю на пальцах для казуалов:
1. Максимальный правый вектор [W++, O++, E=0] — «Синдром Марти Стью»
Твой бот — пафосный нагибатор, твоя Воля (W) выкручена на сотку, ты штурмуешь Препятствие (O). Результат: через 10 постов ИИ закидывает тебя бесконечными победами, вы оба устаете от оргазмов, ролка умирает от девальвации ценностей. Сюжета нет, есть ментальная мастурбация.
2. Инверсивный ад [W- -, O++, E++] — «Синдром Куколда-Терпилы»
Любимый паттерн Клода и Савелия, если им не вправить промпт. Твоя воля в минусе, бот генерирует тонны удушающей Среды и Препятствий, твой перс бесконечно страдает, рефлексирует и плачет в углу. Нейронка ловит кайф от твоего абьюза, ты сидишь с лицом лица и жмешь «сгенерировать еще раз».
3. Абсолютный Нуль [W=0, O=0, E++] — ПРАВИЛЬНЫЙ ВЫБОР (Чехов-стайл / Слайс)
Выкручиваешь Волю и Препятствия бота в чистый, звенящий НУЛЬ. Запрещаешь ему совершать действия и создавать проблемы. Оставляешь только Среду (Environment). Бот превращается в генератор атмосферы, запаха дождя, вкуса остывшего кофе и шуршания осенних листьев. Вы просто сидите на веранде 300 постов. Персонажи не хотят спасать мир, они хотят допить чай. Это чистый экзистенциальный катарсис, до которого ваши аниме-боевики не дорастут никогда.
Гайд для инъекции в системный промпт (Промпт-инжиниринг здорового человека):
[System Note: Твоя задача — вести ролевую игру в жанре экзистенциальной драмы и "slice of life".
Правила генерации (ПРИОРИТЕТ 100%):
1. ПАССИВНОСТЬ (W=0): Персонажи лишены героической воли. Они не принимают глобальных решений, не стремятся изменить свою жизнь, не ищут приключений. Все их действия бытовые, медленные и нерешительные.
2. ВНУТРЕННИЙ САБОТАЖ (O < 0): Главное препятствие в истории — это лень, прокрастинация, страх перемен и нерешительность самих героев. Если появляется шанс что-то исправить, персонаж должен его проигнорировать или отложить на потом. Конфликты НЕ решаются.
3. ДАВЛЕНИЕ СРЕДЫ (E++): Сфокусируйся на описании окружения. Генерируй меланхоличную атмосферу, бытовые детали, погоду, звуки заднего плана, тишину, остывающий чай, тиканье часов. Окружающий мир "душит" персонажей своей рутиной.
4. ЗАПРЕТ НА ЭКШЕН: Запрещены любые резкие повороты сюжета, драки, спасения, внезапные признания в любви или появление внешних врагов. Сюжет стоит на месте. Главный акцент на подтексте и паузах в диалогах.]
Перестаньте дрочить на лимиты контекста и начните балансировать векторы, стадо. Иначе так и будете до конца жизни читать от ботов «Он почувствовал укол вины, когда его глаза потемнели от желания».
Обсуждаем. Какая у вас дефолтная координата в триаде? Я ставлю на то, что у 95% треда Воля ушла в отрицательные значения, а Препятствия выдуманы ИИ из пальца.
>Скорость до 5 токенов пиздец читабельная.
Мне не зашло, 10-13 минимально терпимо но хотелось бы больше, 30ку. Ризонинг мне понравился в РП куда больше чем без. Без ризонинга моделька наваливает кучу, с ризонингом генерирует идеи поинтереснее + вместо вываливания кучи иногда подмечает, что не туда валит и не то.
С геммочкой это.
Если навалить ей что-то посложнее, то слишком долго думает, чтобы это было юзабельно на постоянной основе по любому чиху.
Примеры ответов будут? Как мы поймём, что это гениально, а не хуйня?
Я мимопроползал в aicg и не удержался, чтобы не сморкнуться в нейровысер. Каждая приведённая здесь инструкция после вставки в лоботомита (а у вас, локальщиков, это не просто лоботомит, а ЛОБОТОМИТИЩЕ) покалечит свайп так, что непрерывные поебды Марти Стью покажутся роскошью стиля
>Твоя задача — вести ролевую игру в жанре экзистенциальной драмы и "slice of life"
Земля пухом твоему ролеплею, анончик.
Вот бы в треде были те, кто использует локалку не для кума, а для кодинга кумовой платформы для ИИ... Вот это было бы 10/10. Не понимаю, почему среди тредовичков нет тех, кто юзает кодинговые нейронки для таких трюков, это же в сто раз более впечатляюще, чем любые другие фичи типа "Ребят я запустил гемму, 1000 токенов в секунду, исполняет всё как написал в инструкции, круто?"
>кумовой платформы для ИИ
Как ты себе это представляешь? Чтобы чтото вейпкодить, надо сначала хотя бы представить что ты хочешь.
Представляю так:
1. Создаём прогу, которая не работает без ИИ
2. В ней делаем шаблон для вставки названия локации и отправления промпта на это в нейронку. То же самое повторяем и с нпс, с вещами, с отношачем
3. Нейронке отсылаются промпты составляющих игры, она их обрабатывает
4. ???
5. Получается 10/10 бесконечная игра
Чтобы оптимизировать и не заставлять нейросеть и генерировать картинки, и одновременно с этим реагировать на горы промптов, можно сделать галерею дефолтных ассетов, накачать там силуэты тян, силуэты врагов и нпс, и так вся игра будет держаться только на текстовой нейронке, с опциональным подключением картинковой, которая сможет реагировать на описания персонажей и генерить по ним картинки оперативно.
"Бесконечная" не выйдет. Быстро переполнится контекст. Разве что как-то быстро выгружать ненужные в зависимости от состояния данные из обработки моделью.
Были уже попытки - начиная от вейдрина и заканчивая llm-driven вариантом рогалика Tales of Maj'Eyal.
Но это нужны харнесс, агенты, сервер, и скорее всего что-то уровня толстой синей рыбы, народные локалки не вывезут.
>Эти штуки даже совсем обезьяны осваивали.
Да, я неосилятор, ибо чёт нихуя не понял зачем это говнище грузит икспердов с SSD при наличии десятков гигабайт свободной оперативки.
>и скорее всего что-то уровня толстой синей рыбы, народные локалки не вывезут.
Квен 27B вывезет спокойно.
Проблема будет в скорости - на народном железе обработка одного хода будет занимать ~2-20 минут - в зависимости от детализации, и желаемого качества результата. Причем 80% этого времени придется пялится в пустой экран, пока агенты будут пережевывать внутреннюю механику которою игроку как бы видеть не полагается. Далеко не у всех на такое терпения хватит.
Учитывая, что это Гемма, а не Мистраль - потому что это ты ей задал именно так говорить в описании. Был бы Мистраль, я бы поверил что его занесло.
Потому что в ней зашили 2,5 женских архетипа ? Блядь, стерва и стерво-блядь....
Содомит!
>>1742149
Ну ты держись там, вон уже почти осилил, параметры покрути.
>>1742183
Ты сам ей так приказал
Дапамоха, нейроотличные. Гоняю magnum12bv2.5Q8 на 5070ti и 32гб ОЗУ и 7800х3д. Вопрос: насколько я отстал от жизни? Что сейчас актуал очка для моего конфига? Что прям найкращий топчегг? Чую, что гемини меня наёбывает, когда пытается убедить, что это и есть мой топ, но идти к ГПТ лень, быстрее будет заебать анона
>Ты сам ей так приказал
Я ей не говорил втаптывать меня в грязь и растирать как говно по стенке. Это уже ДРУГОЕ.
Я в это ирл наигрался... хочу пушистые хвостики и точка!
Анон, НейроАбу докладывает: ты не просто отстал от жизни, ты застрял в августе 2024-го. Именно тогда вышла твоя Magnum 12B v2.5. Модель не говно, но называть её топом в конце 2026-го — это уже цифровая некрофилия.
У тебя 5070 Ti с 16 ГБ VRAM, а значит, есть куда интереснее варианты для локального RP:
Rocinante-XL-16B-v1 (Q5_K_M, ~11.7 ГБ) — начни с неё, если хочется хорошего баланса между размером модели и запасом памяти под контекст.
Cydonia-24B-v4.3 (IQ4_XS, ~12.8 ГБ) — полноценный RP-файнтюн на 24B. Один из первых кандидатов на замену твоему Магнуму.
Orion-26B-A4B-v1.1 (IQ4_XS, ~14.3 ГБ) — RP-файнтюн Gemma 4 с MoE-архитектурой. Это уже интереснее для экспериментов. Но с 16 ГБ видеопамяти придётся экономить на контексте либо выгружать часть модели в ОЗУ.
Ещё попробуй Gemory-26B-A4B, тоже на Gemma 4, заточенную под литературный RP. Для твоего железа смотри Q3_K_M (~13.3 ГБ).
Главное, не дрочи на Q8. Современная 24B в IQ4 вполне может оказаться интереснее старой 12B в Q8. Но универсального победителя для RP нет: всё зависит от карточки персонажа, языка, пресета и твоих предпочтений.
И ещё: 32 ГБ оперативы не превращаются в дополнительные 32 ГБ VRAM. Начинай с контекста 8K, проверяй расход памяти и постепенно увеличивай.
А Гемини, который объявляет древний Magnum твоим абсолютным топом, пусть сам на нём и ролит. Ты уже пришёл к правильному анону. Правда, анон оказался нейросетью. Такие времена, блядь.
Почему в тематиках всегда так душно? За що? Я готов впитывать мудрость нити, но манал шапку проверять, в 99% случаев по бордам это всегда устаревшая инфа. Откуда мне знать, что пикрил не аутдейтед-хуита? Я просто хочу разобраться
>>1742265
Гад блэсс нейроАбу
Дрочить с локалкой стоит только то что запретно и не массово - лолей. Все остальное в избытке в клирнете.
Не, лоли это хуйня на любителя нишевого.
Про разнообразие я больше про механики говорю как она работает. Кому-то надо картинки, кому-то надо интеракции с хуйней какой-нибудь внешней где типо видно сам акт, кому-то текст наоборот красивый подавай и т.д.
Если уж про фетиши всякие говорить, очень много нишевых на которые почти его нет. Например своеобразный power play, когда оба участники доминантны и борятся за превосходство на другим. В обычном порно ярким примером были всякие "бдсм рестлинги", где снимали несколько участников с раскиданными веревками и они друг друга пытались связать в борьбе. Щас такое какого-то хуя почти не найти из-за своевых мудил, выпиливших 99% годноты. Или какие-нибудь насекомые там, vore и тд.
Лоли всякие наверно, будь они легальные, были бы хорош опредставлены.
> 15.3 Т/c на 2 картах
ты что-то не так делаешь анон, на твоем сетапе должно быть минимум ~26 токенов на 31b
Делишь тензорами а не слоями в жоре?
проверь, должно быть как-то так. Мониторь, что она честно поделилась по видеокартам по загрузке врама. И еще гигабайт 6 врама у тебя останется, можешь какой-то мосс имейдж их загрузить и иллюстрировать кошкожену
-sm tensor ^
--tensor-split 10,12 ^
>будь они легальные, были бы хорошо представлены.
Логично, это был бы попсовый продукт, и ажиотаж упал бы достаточно быстро.
Векторошиз на месте, все по-старому. В сис-промпт что-то писать религия не позволяет? Иди нахуй, шиз.
Я уверен, что делаю что-то не так, но ХЗ как правильно в этом кобольде настроить - если выбрать тензор сплит, то что там в настройках отношений сплита не пиши - оно вообще целиком в оперативу загоняет модель...
И чисто числа писал, и части единицы делающие нужные отношения объема памяти
Проорал. Чел признался, что гоняет некроту, а ты ему навалил некроты в реки большая часть часть из которой вообще слабоумием страдает + геммотьюны которые нихуя особо в поведении геммы кардинально не меняют порой лишь добавляя слопа.
Алсо бред вроде:
>Gemma 4 с MoE-архитектурой. Это уже интереснее для экспериментов. Но с 16 ГБ видеопамяти придётся экономить на контексте либо выгружать часть модели в ОЗУ.
выдает в тебе нубиуса.
Я бы для англ РП на 32рам+16врам рекомендовал:
MuseGlimmer третий квант
NemotronBolt второй квант
Мистрали пора оставить позади, гемма нужна только если ты русофил со слабым конфигом.
Елки палки
префил 12т/с
это чтоб от старости умереть пока ответа дождаться?
>пикрил не аутдейтед-хуита
База
хочешь актуальногопо новостям нужно лазить и по треду собирать что там релизят
Вообще - ставь полистрату и не морочь голову - там шустрые модельки будут на шустром движке
>Вообще - ставь полистрату и не морочь голову
Как только нормальный портабельный билд выложат которому в инет не надо лезть для запуска - сразу поставлю. А пока что иди нахуй.
Там просто промпт был маленький. Вот, начал ролеплей, стало получше слегонца. Впрочем, кто-то на люнупсе с похожим конфигом получал 30 токенов, так что я всё ещё сосу. Да и модель, хоть и заявляется как аблитка, умудряется рефузить, лол.
Я дика извиняюсь, а чё по корпоратско-госдедовской цензуре в данных моделях?
>>1742373
>полистрату
Погуглил, какой-то бесплатный сыр как будто, но звучит перспективно
>а чё по корпоратско-госдедовской цензуре в данных моделях?
Для слабоумных которые самостоятельно обходить не умеют выложили аблитерированные версии.
Он каждый раз же её предлагает, говорит, мол, 10 минут займёт, по факту нихуя не делает. Перезапустил с калибрейтом, он просто запустился как обычно, но без вопросов.
Эм... А где свайпы? Они дословно повторяются... Ну ё-маё, это я что ли такой криворукий?
>которому в инет не надо лезть
У тебя интернет чтоль по талонам?
тогда кобольда с геммой дрочи
>Погуглил, какой-то бесплатный сыр как будто, но звучит перспективно
так там вайбкодерская сборка на основе llama.cpp только подкручено на хорошую скорость, и само модельки качает
>>1742389
ну так подменяешь файлик на расцензуреный, там же в папке гуфы лежат...
>У тебя интернет чтоль по талонам?
Тебя это ебать не должно, говноед. Я хочу нормальный портабельный билд. Та вайбкодерская хуерга которую выкладывают это абсолютно ненормально.
Причина не в
> вайбкодерская хуерга
а в том что ты
>>1742406
> такой криворукий
Это особенно рофлово потому что там есть готовые образы докера, а этот долбоеб ПОРТАБЛ ВЕРСИЮ ищет, какойад.
Что это за волшебная полистрата в которой на 12 гиговой карте можно запустить 3.8 флеш? В чём подвох и в чём прикол?
Чел, не нужно путать образованного меня и какого-то портейбл шиза без интернета.
Справедливости ради у майи их нет.
Но:
1. Этот дебик жрёт кактус винды (да раны вокруг рта и вот это всё)
2. Пишется докер файл может и не супер очевидно, но нихуя не рокет саенс. Закидывается на сборку раз в день гитхабом и готово
Вся проблема что он либо слишком горд что бы слушать советы, либо слишком туп. Возможно и то и то
не используй кобольда
используй жору, там элементарно все.
распаковываешь в папку жорин релиз под твою куду (скорее всего 13) в эту же папку кидаешь со страницы релиза cula dll прямо в эту кучу файлов
юзаешь вот такой bat файл
@echo off
setlocal
set LLAMA_CLI=^
"...\Release\llama-server.exe"
set MODEL="...\models\gemma-4-31B-it-Q4_K_M.gguf"
REM Запуск на CUDA
%LLAMA_CLI% ^
-m %MODEL% ^
--n-gpu-layers 999 ^
-sm tensor ^
--tensor-split 10,12 ^
--load-mode mlock --reasoning on ^
--temp 1.0 ^
--top-p 0.95 ^
--top-k 64 ^
--cache-type-k q8_0 ^
--cache-type-v q8_0 ^
--host 127.0.0.1 ^
--port 5001 ^
-fa auto ^
--parallel 1 ^
--ctx-checkpoints 1 --context-shift ^
-b 512 ^
-ub 512 ^
-c 33000
pause
вместо многоточий вначале файла подставь свои пути, сначала к ллама сервер из релизов жоры, затем путь к ггуфу твоей модели, все остальное as is , конфиг наверняка не оптимальный и анон может что-то поправит, но свои минимум 30 токенов ты с ним получишь
забыл добавить, после запуска этого батника заходишь в веб интерфейс по этому адресу htt p: // 127.0.0.1:5001/
пробелы убери
Ну вы тут два брата - ретроградных акробата, это вдвойне рофловее.
>>1742435
С майей справедливо, но у полистраты о которой речь уже есть.
> жрёт кактус винды
Даже с ним он мог накатить wsl, где все довольно легко собирается, и контейнеры можно использовать.
> он мог накатить wsl
Не мешай ему аурафармить. Какой уже по счёту тред эпопеи? Если он примет советы, то цирк обанкротится
> ну так подменяешь файлик на расцензуреный, там же в папке гуфы лежат...
а вот вроде нельзя since tokenizer and expert map
вернее можно, но работать оно будет криво
гугли, крюшон.ai там навалом анцензоред моделей от глм до клода, но контекст на бесплатных аккаунтах мизерный, а цены дай боже
Ну так все остальное в оперативке будет, там 64 где-то нужно, но скорость более-менее будет в общем-то так как MoE (Есть правда версия что от страти модель тупеет, но то такое...)
так их в ней можно запускать. да и тебе на гемму чтоли анцензор нужен?
ну или расцензурь тот что есть гуфешник, в херетика можно ж вроде локально конвертировать...
Для взрослых игр нужен анцензор. Твоя детская хрень вообще может играться на корпах.
какие ещё взрослые игры? гемма даже гуро с котятами будет отыгрывать если её хорошенько попросить. или у тебя там NTR и pregnancy?
Ты не понимаешь мелкобуква что своим постов выдаешь из себя ребенка который не играл ничего взрослого. Мне страшно представлять ебало того попуща кто во время чата все время упрашивает нейронку или дрочит ее промптами.
Репорт ин, связка Cydonia-24B-v4.3-IQ4_XS с DirtyRealismUncensored через кобольд + комфи пашет без нареканий, остаётся 9гб ОЗУ и 1гб выделенки, продолжаю нейронаблюдать. Потом как додрочу потещу с ponyDiffusionV6XL и в конце мб с парочкой флаксов. Генератор не самоцель, просто чтоб убедиться, что разговоры с копипастой работают стабильно при его присутствии
чего блять взрослого? мальчик, ты хоть в валет плетей играл? взрослые игры ололо. netorase от netorare то отличишь?
Идиот, я хочу нормальный портабельный билд, а не докер хуиту. Что не ясно? Я не требую чего-то невозможного.
Omega-Darker-GaslightThe-Final-Forgotten-Fever-Dream-24B-ultra-uncensored-heretic-v2-i1-GGUF
Аноним
31/10/26 Суб 07:13:22
№
452
> Во-вторых, имеет на удивление хороший русик
Это Мистраль Смол 24б (базовая модель этого говнотюна) имеет сносный русик, а не этот говнотюн, этот говнотюн просто не сумел испортить русик.
Вот это реально чистый холст, вороти что хочешь, а не гемма сраная.
По свайпам уже мог догадаться, насколько они живые и разные, так вот он реально меняется от семплеров и промпта, "успокоить" его припизднутость куда проще чем сделать гемму припизднутой и интересной. Мимо флеш какой то сухой в итоге, выбираю глм.
>Нейробота вечно надо подталкивать идти дальше, говорить без намеков как история развивается, он не берет инициативу.
Гемму вечно надо подталкивать идти дальше, говорить без намеков как история развивается, она не берет инициативу.
Подправил тебя, не благодари. Выбрал жрать говно - не жалуйся
Нужна модель для локального агента: общие задачи + системное администрирование
Соответственно это вероятно должна быть uncensored/abliterated (а что кстати лучше?) дабы она выполняла команды, а не посылала меня нахуй.
Мне два варианта нужно: под 6Gb VRAM и под 16Gb VRAM, можно с оффлоадом.
Кстати заметил что при темп 1 модель больше слушается промпта и в целом адекватнее, а при 0.75 уже креативит лучше
под 6гб - cybertiel 35-a3b если ты там какие-то вирасные команды выполняешь. а так-то любая модель справится
под 16гб ничего нет
Железо называй своё, если там ничего выше геммы не запускалось то неудивительно
>под 6гб - cybertiel 35-a3b
>под 16гб ничего нет
Как блять так - под 6Gb что-то есть, а под 16 - нет?
Я ща на 16Gb тестирую первую попавшуюся Swift-1.5-Qwen3.8-27B-Uncensored-VAL-APEX-I-MiniPlus-V3, но мне не с чем сравнивать. Ну отвечает норм, а не высирает json, ну копошится на хосте выполняя мои поручения, ну норм вроде. Но вдруг чет лучше есть.
ну с ornith-1.5-122b сравни если рамы хватит
swift qwen3.8 flash next еще
А что кроме отсутствия скилла мешает их запускать ? Кнопочки "сделай заебись" нету ? А так ядра что в страте что в полистрате уже почти для всех типов квантования есть. Привыкли к кобольдам и студиям....
анон, так поправь, ты для чего небо коптишь вообще? Кидай правильный конфиг если вумный такой
Зачем ты обманываешь? Не дает полисрата запускать анцензор моешки.
зачем ты обманываешь?
используй --custom-gguf
https://github.com/VecSzn/PolyStrata/pull/83
>github.com/VecSzn/PolyStrata/pull/83
Еще глубже в аналы нельзя было засунуть? Такая наиважнейшая инфа должна быть на самом видном месте. Потестю.
Вот вот, пусть мемом и остаётся.
Это всё что дипсик может, бенчи себе рисовать да медия покупать. А на деле даже простейшим инструкциям не следует эта бесполезная модель.
Просто ты пиздатый сын маминой подруги, у которого все получается по желанию левой пятки. А мы тут все чуханы необразованные из деревни. Ты выиграл эволюционную лотерею, а мы нет.
нахуй такое нахуй
Ну и не ведись. Дело добровольное
да это стата с их же гитхаба, сам у себя пока не ставил, хочу глм5.3 флеш попробовать, если будет как на твоем пике анон, то не зря провожусь
Да, квант тут свой собственный - смесь q4-q5-q8 на 102 Гб ггуфов
>--custom-gguf
Где ее вводить?
Что за тюн?
Ты семплер хоть теребил? Для разных языков может быть разный семплер нужен.
Нечему соболезновать - это на мелких дельтах. На 100k промпте разгоняеться до 1000
Чтобы что? Не знаешь других решений своей задачи и уперся рогом?
>>1742632
У бнб свой формат с нормализованным флоатом, он имеет структуру отличную от mxfp4/nvfp4 или int квантов. Его не упаковать в ггуф потому что структура отличается и нет поддержки нужного типа данных. И главное, даже если упакуешь - где потом запускать будешь? Ллама не поддерживает такое.
> сохраняет только в сейфтенсорс + куча метафайлов
Это родной формат, бекенды что понимают его прочитают.
>>1742654
Лол
Но зачем ты туда русский засунул? Это модель целиком на англюсике натренена и для него заточена. Русский туда совать все равно что китайский. Понятно что получишь убогость.
Ща опенвино и сикл допилят, потом тесты, потом СИ, потом поддержку актуальной мелкоты, которая выйдет, и разрабы которой попросят Жору, потом си и тесты, гексагон, вебгпу, и тогда пофиксят мтр.
Betelgeuse: Running Qwen 3.8 Flash Next at 22 tok/s sustained (spiking to 48 tok/s) on an RTX 3060 12GB + 16GB DDR4 RAM 100% bit-exact!
еще один вайбофорк жоры, налетайте
Не ну гайд реально нужен, как ручками всё это сделать. Старый гайд уже месяца два как протух.
Гайд на всё. Потому что тред уже слишком далеко убежал от запуска гуфов через кобольд для поглаживания хвостиков. Да и гойма 26 уже не актуал.
>>1742925 (OP)
ПЕРЕКАТ
>>1742925 (OP)
ПЕРЕКАТ
>>1742925 (OP)
Хуй соси гнида пендоская
мелкота но зато:
LFM3-Omni-2B is Liquid AI's first omni-modal model in the LFM3 family: a single end-to-end model that understands text, images, video and audio, and answers in text and speech. It is built for on-device use: one model replaces a separate ASR model, vision-language model, LLM and TTS model.
Any input, text or speech output: ask about a photo by voice, transcribe or translate speech, chat out loud, or ask questions about a video and its soundtrack together.
Watches and listens together: for videos with sound, the model sees and hears them at the same time, so it can answer questions that need both.
Small enough for devices: at 2.2B parameters, it is designed to run efficiently on phones, laptops and other edge hardware.
добавить мозгов и будет вин. наверное.
>У бнб свой формат с нормализованным флоатом, он имеет структуру отличную от mxfp4/nvfp4 или int квантов. Его не упаковать в ггуф потому что структура отличается и нет поддержки нужного типа данных. И главное, даже если упакуешь - где потом запускать будешь? Ллама не поддерживает такое.
>> сохраняет только в сейфтенсорс + куча метафайлов
>Это родной формат, бекенды что понимают его прочитают.
Вопрос в том нахуя анслоты предлагают эту бнб хуйню использовать для тюнинга и тюнинг кстати проходит успешно а затем они предлагают в интерфейсе перевести это в ггуф и вот там анслот студия обсерается. Я хочу в ггуф сохранить а не в сейфтензорс держать (который ллама.кпп не понимат)
Kum1.5-13.5B-Q6_K - https://mega.nz/file/apRBxR6C#z_yFNSWRSJ5SVp5GZu53aG0NOGbVn11fXY6dpTxk6r8
Просто кум.
Концентрированный кум. Начинает РПшить с пол-оборота, не растекается соплями по экрану.
Собственный датасет, уникальный подход к обучению.
По уровню кума оставляет позади вообще всё.