Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №256 /llama/
Аноним
11/08/26 Втр 17:16:21
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1671563 (OP)
>>1668203 (OP)
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16
Ну хоть кто-то в этом размере что-то новое выпустил, а не файнтюн Квена, хотя по бенчам оно почти везде хуже 35B Квена. Но зато датасет по май 2026 года.
Их буквально куртка каждый день клепает и хрен знает в чём разница
Для своего размера прилично. Но это херня под супер-едж. По ощущениям на уровне ку4-ку5 геммы 12Б, но с большим разбросом, то есть иногда прям с ума сходить, а иногда вполне годные ответы дает.
Контекст, конечно, разваливается мама не горюй.
Это актуально если у тебя достаточный компьют и быстрая память (считай основное в врам). Иначе цена префилла следующих N токенов почти такая же как при их генерации (упор в скорость рам), но при этом часть из них еще будет отброшена, выигрыш получится отрицательным.
> кто пробовал, скажите сразу, говно?
Пару тредов назад кто-то писал что там с русским всё плохо.
Спасибо, анон, короче буду сидеть на 20тс, мне норм в принципе, у меня модель в основном в памяти висит, но это 8 канальная ддр5, так что думаю это приемлемо
Статья 24 года про логическую задачку которые почти все нейросети провалили. Локальные на 70млрд и даже некоторые большие. У чувака 96гб оперативки а толку никакого. Но это тогда. Сейчас интереса ради я скормил задачу своей 3,5 4б 8q запущенной стыдно сказать, на 1063 с 16гб оперативки, и что интересно, за 10тыс токенов она ее решила правильно с первого раза. 4 млрд всего, не самая новая сеть, очень неожиданно!
Прошлогодний gpt-oss:20b на дефолтном ризонинге за 19к токенов выдал:
Кто ест пиццу?
Это плотник (электрик), стоящик в белом складе (первый по левому краю).
Кто держит крокодила?
Крокодила держит программист, работающий в синем складе (четвертый по левому краю).
То есть провалил задачу.
> по когерентности пишут равен 4Q весом в 17 гигов
Ну раз пишут то правда.
>4 млрд всего
А это прям она как логическую последовательность проводит или малютку просто натаскали на такую задачку и она её знает?
Если бы ее натаскали то она бы наверно быстро ответила. А так она большую простыню накатала где рассуждала и проверяла
Запишите пожалуйста видик того как вы делаете summarize и продолжаете РП (в таверне). Когда сам пробовал получалось лютое говно, хочу увидеть результат опытных анонов которые давно уже так делают. Можете просто безмозгло по РПшить показать результат.
А ты его куда вставлял?
>получалось лютое говно
Ты думаешь у нас, нет?
>Статья 24 года про логическую задачку которые почти все нейросети провалили.
С тех пор её закинули в датасеты.
>Прошло 2 года
>Модели стали умнее
Пиздатое иследование. Но почему то все всегда забывают, что за это платят отсутсвием кума
Ну это типо показать инвесторам, продать стартап, и съёбаться. Модель лютый булщит, всё заканчивается на её демонстрации, типа нихуя работает вау, а как работать пытаешься так поплыв лютый
Уже 2 года как проектируют свой так называемый Taalas hc1 Вшивать в транзисторы решили llama3.1 8b при 6 бит квантовании, что в целом ну норм, да модель старая, но учитывая чё они делают, в целом норм
14k токенов в секунду
выглядит забавно
ещё что я 2 года назад смотрел интераью чела который создал архитектуру зен для райзенов,и он там чёто пару слов сказал про это, а я не понял и скипнул... А щас как вспомнил, а ведь это реально он, тот самый мужик, сами загуглите
Звучит охуенно, кроме
>llama3.1 8b при 6 бит
Годится только как тестовая хуйня.
> но это 8 канальная ддр5
Вкусно. Если там 256+ и достаточно врама - рекомендую попробовать ktransformers. Не факт что зайдет и пердолинг там непростой, но скорости там выше и веса+инфиренс нативные.
>>1674585
> типа нихуя работает вау
А то что tq1 от анслотов уже точно больше года тоже работают - им пофиг получается?
>>1674590
Что-то с таким подходом к моменту налаживания производства, выпуска, упаковки и поставки потребителю модель уже успеет протухнуть. На всякой технике продолжительного пользования это решается обновлением по и весов, а тут такое невозможно.
Неужели нельзя было частично пожертвовать скоростью и еще чем-нибудь, но сделать возможность обновления? Пусть ограниченное количество циклов, пусть сложное и долгое - для разовых запусков пофиг, но обновление.
Писали тут о нем в январе вовсю. В целом - сайт говно, ответы бредовые, потому что модель мелкота, галлюцинирует вовсю. Большую модель они так до сих пор и не закатали в железо, все обещаниями кормят. Если до конца года ничего не выйдет, значит vaporware очередное.
>Приобретение канадского стартапа Taalas позволит AMD расширить свой портфель решений для искусственного интеллекта за счет высокоскоростных решений для инференции.
Их AMD скупили 2 дня назад, так что можешь никакого развития темы не ожидать. Засунут под ковер, чтобы не мешать нвидии, благо Лиза Су из AMD и Хуанг из нвидии родственники. Сайт скорее всего тоже скоро закроют.
>чела который создал архитектуру зен для райзенов
джим келлер чтоли?
>А ты его куда вставлял?
Никуда. В суммарайзе терялся "стиль" и примеры диалогов которые есть в приветствии отсутствовали, упускались важные РП детали и тд. Да и сами настройки саммерайза не плохо было бы увидеть.
>Ты думаешь у нас, нет?
Часто очень уверенно советуют сумарайз когда поднимается тема контекста. Вот и хочется у победителей учиться.
1 Форкаешь чат до момента, который хочешь суммаризовать. Лучше иметь подушку в 20-400 сообщений чтобы сохранялся стиль и важные события. Учитывай что при форке может вернуться старый суммарайз, перенеси его из основного чата если это произошло.
2 Пишешь в чат "систем - приостанови рп и напиши N новых глав, которые опишут что произошло с игровом чате", точнее ищи в прошлых тредах.
3 Свайпаешь, правишь, добавляешь полученные главы к имеющемуся суммарайзу.
4 /hide 1-X чтобы скрыть сообщения, которые попали в суммарайз.
Пока это наиболее удобный и эффективный вариант. Стоит указывать как общие вещи, так и конкретные факты, а также локацию, дату-время и прочее. Потом многочисленные главы можно схлопнуть или отрефакторить в отдельном чате с ллм.
Если делать этот трюк в маринаре - нужно быть осторожным, там закардкожен лимит в сколько-то килобайт на единичное поле суммарайза, дальше он обрезается с начала. Потому когда глав уже много - лучше группировать их отдельными блоками суммарайза по ~50, так и самому будет удобнее.
>>1674632
> В суммарайзе терялся "стиль" и примеры диалогов которые есть в приветствии отсутствовали
Если тебе сильно нужны эти примеры - можешь поставить галочку чтобы они не удалялись. Чтобы не терялись детали - нужен подробный и дотошный суммарайз. Главы с названиями и дополнительная разметка поможет ллмке не запутаться когда тот слишком разрастется, в отличии от плейнтекста в котором все зафейлит.
На стандартный суммарайз в таверне даже не смотри, херь.
Да, он
>>1674612
Блять, амд купили стартап чела который делал им зен, это какой то супер пузырь говна
Нужен достаточный поток воздуха, оглушительный свист не нужен. Тот крутялитор создает достаточное давление чтобы продуть карты и достаточный расход чтобы они не перегревались. Один на 4 это уже довольно жадный вариант, но для двух карт его даже раскручивать сильно не требуется.
> лайвхаки с СЖО охладом
Есть, водоблоки для а100
Я понимаю плотняша и все дела, но не 16 t/s же у нее должно быть в таких условиях? Либо я что-то не так делаю. -ngl 99, --cache-ram 0, -parallel 1, контекст поставил 8к, три чекпоинта, mmap выключен, диспетчер показывает 14.3/16GB. Скорость 16t/s, процессор не нагружается во время ответа, то есть ничего не утекает в RAM.
А я писал тредами ранее, что qwen3.5 4b это самая крутая модель по уму к размеру
Вот вы жалуетесь, а где лучше то ебана?
Из творческих моделей что могут в рп всегда все ели держат 20к
Сколько гемму не тыкай - не будет она писать как глм, а единственный доступный глм кроме эира вот уже реально устаревший на 30б и мое лоботомит на 3б
>Сколько гемму не тыкай - не будет она писать как глм
И Слава Богу.
Давайте репортить эйрошиза, вдруг мочух забанит?
В текст комплишен я решил не лезть, чтобы не ебать себе мозги, но с чат комплишеном тоже проблема, возможно, потому что я им почти не пользуюсь. Пытался вставлять в body силу размышлений/триггер. Но даже так не работает как надо, при этом размышления часто не включаются вообще. Через префилл их включить можно, но там тоже всё как-то кривовато работает. Короче, непонятно, я мудак, таверна или что вообще происходит.
Просто скажите, что у вас в батнике и что в таверне.
>>1674844
Странно, у меня такого не было. На карточке фифи модель, конечно, шизеет, но не настолько сильно, и квант у меня ниже. То есть пишет по-русски, но иногда вставляет неуместные англицизмы и обязательно перечисляет, какая там писечка-сисечка, даже если я инструкций на это не давал.
>контролируете силу размышлений муси
Не, я только начинающий в кунг-фу
В самом начале сис промпта ставлю рисонинг левел low
И в интерфейсе тоже выбираю low
Начинает срать ризонингом явно меньше
>Скорость 16t/s, процессор не нагружается во время ответа, то есть ничего не утекает в RAM.
Это не показатель. Если утекает немного - процессор может быть не нагружен, а скорость просядет. То, что диспетчер показывает 14 из 16-ти занятого - лучший ориентир, но на винде тоже не 100% показатель. Это во первых.
Во вторых - ты не сказал на чем крутишь. В некоторых вариантах это вполне ожидаемая скорость.
>>1674844
Гы... "Пива and чипсов. Ничего что я тут по английски?" (с)Анекдот. Инверсия.
Да достаточно просто современную модель такого размера использовать а не третью ламу. Qwen 9b либо что-то от LFM. Ну или гемму
Сап /братья, какой сейчас положняк по моделям?
А у тя есть 2тр и видюха наса чтоб его запустить?
Ты ж не про 27б кодолоботомит бенчмакснутый?
>>1674995
Могу только по маленьким сказать.
Gemma 4 31б всё ещё лучшая в плане литературности, но может такой уровень выдерживать только на англ, а 8 квант ты вряд ли запихнёшь для хорошего русика. А вот её версия 26б МоЕшная уже в этом плане поинтересней, так как легко взять 8 квант и получить очень качественный русский. Если ещё два ПК есть, ну или ноут там, можно поставить малую гемму для перевода текста с других моделей, плюс она сама по себе хороша и ебёт всё в своём размере. 12б гемма же шлак.
Ну и тут многие советуют использовать гемму для порно, но лично я бы не советовал. Нет прям супер натуралистичных описаний.
Квен 27б 3.5 может выглядеть как замена гемме, но не обльщайся, там датасет кодоунитазный, как и у всех моделях сейчас, однако лучше, чем у того же квена 3.6 версии.
Для порно я советовал бы именно 3.6 квен. Он его довольно хорошо пишет в плане натурализма, но без изысков. Если нужно что-то особенное в плане эмоций, психологизма, тут уже лучше использовать гемму.
И вроде бы сегодня квен 3.8 выйдет.
Но все эти квены прежде всего хороши тем, что контекст очень хорошо держат. Будь там на уровне геммы или хуже, смысл в них бы пропал. Хотя у геммы тоже удержание контекста достойное.
ну и вот на днях вышла ллама новая: Muse-Glimmer. На мой взгляд хуйня и залупа конская, но может я неправ.
Про него. Я скачаю его, а потом буду неделю прогонять его через свою панель бенчей.
Спасибо почекаю. А то чатгпт посоветовал мне Qwen3-TTS 1.7B CustomVoice Q8. Поставил его через кобольд. Генерация голоса слишком долгая, да и стоковые голоса говно какое-то. Запускаю на гпу на куда, но там уже из 16гб и так впритык, надо на вулкане попробовать. И STT тоже стоит. ggml-large-v3-turbo-q8_0. Вроде норм распознает голос.
Модельку тоже гпт посоветовал для rtx 4080 - G4-MeroMero-26B-A4B-IQ4_XS
Ну изысков каких то она не выдает, когда баловался 3 года назад на гпт 3.5 турбо было примерно то же самое. Надо ещё разные карточки попробовать и авторские промты
Присоединяюсь к реквесту, вот что реально нужно!
>>1674821
Можно поиграть вокруг расстановки заголовков, если сам контекст относительно разнообразный - это облегчит работу ллмке. Плюс ризонинг, его также можно промптить указав подтянуть релевантных текущей ситуации фактов.
Можно вести статус и динамический лорбук, куда будут помещаться важные вещи и он будет подсовываться перед ответом.
Можно чередовать с квеном или выбирать рандомную модель, там где одна не справляется поможет другая.
Но чудес не жди, гемма в принципе любит свести ответ к какому-нибудь дефолту, а не твоей конкретики, что вырисовывается из продолжительной истории. Решается только сменой модели на более мощную.
Решил гигачат затестить на логику.
Это пизда ребятаньки, это просто мрак!
я узнал о GigaChat что если постить выданные им смешнявы в тред рано или поздно он выдаст политоту и тебя забанит мод
А у тебя вышло его на ризонинг развести?
В качестве модели использовалась Гемма 4-31B в Q4 от ddh0, которая с частью слоёв в более лучших квантах. Контекста с mtp и mmproj получилось жидковато, всего 36к неквантованного, это на 16+12.
По результатам я убедился в том, что как минимум эту агентскую оболочку я вертел на вертелке, и ебанутые задачи требуют ебанутых решений, а вариант с Letta и Геммочкой на текущий момент - это просто изведение хуиллиарда токенов вникуда. Если снова захочется заняться подобной хуйнёй, то надо что-то делать самому для таких задач. И инструменты надо делать корпами, ну или по крайней мере не Геммой 4 точно, а сваливать эту задачу на того же Квена 3.6 (где там мой кодоунитаз 3.8?), ибо Гемма упорно хотела для распознавания картинок пихать их в лламуцпп в base64, пока я ей не прнс решение от GPT.
Отдельно хотелось бы отметить саммарайз в Letta Code. Это какой-то пиздец, он занял просто хуеву гору времени, пытаясь, судя по всему, суммаризировать весь вал ненужной хуйни, которую сотворила локалка, и который впоследствии был отброшен как нерабочий вариант.
Увы, для таких агентов разумный минимум - 20-30 токенов генерации и овер 100к контекста, иначе это мазохизм. Посмотри в сторону pi, интеграции, крон и прочее придется допиливать самому (или взять готовые), зато ты будешь полностью контролировать что и как работает.
А все эти поделки с автоскиллами и паразитными запросами посреди твоих - херь, они жгут токены и лишний раз гадят в контекст, умная модель сама тебе предложит сделать навык или сохранит память.
> для распознавания картинок пихать их в лламуцпп в base64
Это один из вариантов передать файл бэку, он полностью валиден и поддерживается лламой, ты зря. Но как ты вообще на него наткнулся, просмотр картинками в этих харнесах идет через простой вызов read и не требуют никаких костылей. Возможно в настройках моделей ты забыл указать модальность картинок и потому штатные функции не работали.
Я свой начал вайбкодить, вроде збс выходит на опенкоде с дикпиком новым, уже в телеге со своей файфу переписываюсь, агентские возможности ей сделал, память, настроение, поиск в интернете, rss, консолидацию, сны по ночам и всякое такое, тоже кстати ебался с base64 картинками, дикпик все пофиксил
30 tg вполне выдаёт и так с mtp, а если задействовать третью видеокарту то и контекста помещается 100+, и гемма 4 влазит уже в q5, я просто планировал вариант играться, пока нейронка сама там шуршит, или иметь возможность генерации изображений без выгрузки текстовой модели.
>Это один из вариантов передать файл бэку, он полностью валиден и поддерживается лламой, ты зря.
Больно много получалось токенов со скриншота рабочего стола, вероятно этот метод подходит только для изображений небольшого разрешения.
>Но как ты вообще на него наткнулся, просмотр картинками в этих харнесах идет через простой вызов read и не требуют никаких костылей. >Возможно в настройках моделей ты забыл указать модальность картинок и потому штатные функции не работали.
Так и не нашёл, где в интерфейсе декстопной Letta настройки именно модели, а так да, нейронка писала, что её именно Letta нахуй посылает, говоря, что модель не может в изображения. После этого начались мытарства по работе непосредственно с llama-server.
В общем удолил всё, мне не понравилось.
Современные модели лучше понимают инструкции, они умнее, они лучше пишут.
Но они все пишут хуевое порно. Вот буквально: что ты не делай, как не изъебывайся. Они просто его пишут отвратно.
Вроде прогресс есть, прогресс на лицо. Модельки умницы, действительно интересные: дипсик, гемма, всякие китайские кодоштуки. Вот даже Minimax 3H вышел и показал как можно генерировать видео.
Но они все хуевы для банального дрочева. Не то чтобы это было самоцелью, нейронки для другого все таки. Но есть какой то дум от этого.
>посмотри в сторону pi
Ща пердолики нарекомендуют лул
Тебе скорее какая нибудь Mira ai нужна
> Больно много получалось токенов со скриншота рабочего стола
Ну так если большую пикчу давать - она много токенов и сожрет. Перекидываешь ты файлом, или кодируешь файл в базу64 - никак не влияет, это просто слой запросов, а декодируются они в одно и то же. Можно на стороне бэка указать максимальное разрешение пикчи или максимальное количество токенов на картинку, но это приведет к зашакаливанию и деградации качества.
> что её именно Letta нахуй посылает, говоря, что модель не может в изображения
Где задавал адрес лламы (типа models.json) ищи поле типа `"input": ["text"]` и замени его на `"input": ["text", "image"]`.
И реально pi попробуй, там дефолтные промпты меньше тысячи токенов и можно делать все, от кодинга на дефолтных до движка вайфу.
>>1675201
Потому что остальные васян-поделки - лишь куча всратых слоев обертки поверх. Или терпишь что нейронка навайбкодила барину с 30к базовых токенов мусора, и долго разбираешься почему оно такое хуевое, или не тратишь время и сразу разбираешься в работе агентов делая желаемое. Если не можешь позволить себе мощную модель с вагоном кэша - только второй вариант.
> Mira ai
Лол
Так, а можно критерии хуёвости порно?
Драмы хочу, драмы. Севиорфаггинга. Экшена. БРРРРРРТТТТТТ из GAU-8. Преодоления непреодолимого и "тут я как будто из последних сил." Кино хочу.
>а можно критерии хуёвости порно?
Любой фильтр на рот, где модель избегает грубых словечек, потом фильтр на вес этих грубых словечек, насколько они креативны и грубы, затем чтоб после всего этого модель не скатилась в дешевую драмму руин ми фо эниван елсе
> критерии хуёвости порно
Дыа: общий настрой моделек свести все к ани сделали омлет и легли спать. А вот на уууутро…
Само описание plap-plap-plap. Всякая пурпурная проза, ну чтобы литературно. общее отсутствие хорни настроя в тексте, скатывание до какой то левой хуйни и саморефлексии. Алле нейротянка, мы еще даже не закончили, давай потом будет придаваться нейродуму, а не в процессе. Мало крема, мало тактильности, мало общения. Всего, сука, мало в тексте.
Но как только ЕРП заканчивается. Тут прям с двух ног они показывают свои яйца. И огромные роботы давят человечков, орбитальные удары стирают города. Охуенно, эпично, пафосно.
А вот порно говно ёбанное.
Кинь ссылку на страницу таймера.
Смогу ли я выдежать это долгое ожидание...
Так это таймер на их огромную модель, не? А 27b выйдет позже.
Надежда умирает последней.
Да ЕПТА. Вы хоть понимаете что даже на одних видяхах это запускается в 2т.с
> 397б
Она же говно была. Правильно сделали, из неё не сделаешь фронтира. Одна жирная, один мелкий дистилл - этого достаточно.
Хочу завести на двух картах, но пока не запуллили реквест Вована.
А самому лень качать, жду вот.
Будет ли прирост при выгрузке на оперативу.
Если реально получить х1.8, то это ж с 14 тпс до 25 можно скакнуть!
Ты учти что для дспарка тебе нужна модель с дспарком, она весит больше, так как дспарк и мтп сейчас все вырезают. Ты также учти что если ты выгружаешь 90% экспертов на оперативу, то ты там в лучшем случае увидишь рост на 1 т.с., а скорее всего увидишь падение. Эти ускорялки - они для тех у кого и так кого и так все хорошо и есть лишние ресурсы.
Сына... Издревна только большеквены могли в сочнейший кум, и вообще сильно выделялись из всей линейки.
235, 397 - кум машины, в отличии от 27б, который дистилят только под код, вырезая весь сок.
Теперь и их не будет, эра квенов окончена
>только большеквены могли в сочнейший кум
ГЛМ 4.5-4.7 тоже могли, не надо тут.
Каким боком тут глм, если мы про квены говорим, квантанутый?
>Издревна только большеквены могли в сочнейший кум
Издревна квены считались рабочими лошадками, выполняющими команды, но без фантазий. Такой вариант ламы для работы. Сейчас вместо ламы у нас гемма, но суть та же. В кум могли только две модели квена третьей версии - 235 и 397, куда это попало в датасеты скорее всего по недосмотру, из них 235 сломана, а 397 запустить даже во втором кванте могут не только лишь все.
Дрочеры кстати тоже не нужны, мы тут про кодоунитазы говорим.
> Это не показатель. Если утекает немного - процессор может быть не нагружен, а скорость просядет.
Ну я специально выставил -ngl 99 чтоб ничего не осталось или авто параметры не оставили что-то на CPU. И специально поставил контекст всего 8к.
> Во вторых - ты не сказал на чем крутишь. В некоторых вариантах это вполне ожидаемая скорость.
4060ti 16GB.
Я понимаю что карта так себе, но как-то от 12B модели которая с запасом лезет в эту карту с хорошим контекстом ожидания были хотя бы 30t/s, учитывая что при попытках впихнуть 27B Q4_K_S у меня была скорость 13t/s.
Потестировав чуть больше, пришел к выводу что это нормальная скорость и какой-то ошибки с моей стороны нету. Запускаю Q8_0 - 18t/s. Q6_0 - 20t/s. Скачал после этого Qwen3.5-9B Q8_K_XL - 21t/s.
Я знал что плотные модели медленные сами по себе, но не ожидал что они настолько медленные даже когда полностью лезут во VRAM.
А у нас в это время лишь цены на видяхи скейлятся
Ты ньюфаня, похоже. Когда 397В выходили на них никто не кумил, потому что это сухое зацензуренное говно было, ещё и с русиком хуже Геммы.
>>1675393
На V100 32 GB + 125 GB DDR3 у Q3_K_M скорость декода 5-7 на просто тексте, 12-14 пока пишет код.
Чел ну два месяца с 5.2 прошло. Аноны, ну попуститесь, вам никто не должен раз в месяц модели под все размеры выкладывать.
А вообще, шла молва о выкате 5.5 к концу августа.
Ну, дспарк отдельно качается, да.
А вот замедление… Да, почти на всех моделях (кроме HY3) было или 1 т/с, или замедление, ето правда.
>>1675427
А мою не пробовал?
https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed-GGUF
Хотя, скорее всего будет медленнее, потолще она… Q3_K_M не должна иметь проблем.
Для DDR3 — круто!
У меня беда, что 2 5070 ti с 16 каждая, а не 32 гига разом. =)
Но подожду PR и опробую еще раз.
Спасибо за ответы, ребят!
https://modelscope.cn/models/Qwen/Qwen3.8-27B
Собираемся здесь же через два дня.
Не, не пробовал. Только анслоповскую тестил. Ну у меня цель была на своих бенчах контекста прогнать. Вообще, по весу она такая же. Вангую скорость удет такая же, мб чуть выше, так как у тебя железо более юное.
> Для DDR3 — круто!
Ага, меня удивляет, что я стабильно на всем, что влезает имею 4-7 тпс. Аж подумываю апдейтнутся на ДДР4 версию с авх512. Вот тогда заживу, и пп и декод подрастет.
Алсо, по поводу спекулятивного декодинга я бы сильно губу не раскатывал. Он дает прирост только на предсказуемых тасках (или при предсказуемой генерации с температурой от 0.5 и ниже). Для кодоунитазинга норм, для рп и просто текстовых задач прироста почти нет.
Буст неравномерный, в коде х2 и больше (не везде, в рассуждениях меньше), в рп и просто чатике меньше вплоть до х1.1. Но он работает не во всех режимах и в принципе не везде, иногда лучше без него.
>>1675421
Кумили и довольно урчали, пока неосиляторы жаловались что iq1xxxxxs ошибается в русском.
>>1675429
Вот бы размер сохранился.
>спекулятивного декодинга
Это mtp и всё подобное?
А с какого процента попаданий в токены есть смысл в mtp? Как посчитать, имеет ли смысл с этим заморачиваться?
Мтп, дифлэш, диспарк, игл3. Вот это все. Для простых текстовых задач прирост минмальный. Не 0, но хорошо если 10-20%. Для предсказуемых задач, типа кодинга, заполнения шаблонов, генерации клишированной параши прирост большой.
На пальцах, как работает спекулятивный декодинг. Ты пробуешь предсказать за раз больше, а потом вот этих кандидатов процесишь, и смотришь какие у них логиты, пока кандидаты в топовых вариантах, принимаешь, увидел первый мимо - отклоняешь цепочку начиная с этого токена.
Чтобы дата-дривен решить, гоняешь на типовых тасках. Ллама выдает раньше выдавала точно n_predict, n_drafted, n_accept, accept_rate (или просто accept). Смотришь на статы, решаешь, насколько эффективно работает на конкретно твоем типовом промпте.
Я не он, но смысл есть. Если русик, то обычно нужен не калобродский 4, а 8 квант. Тогда прирост вполне существенный на креативных задачах тоже. Только главное предсказывать максимум 2 токена наперёд, не более. На английском уже получше и квант можно ниже. Ах да, далеко не всякие аблитерации и прочее удаление цензуры может с этим нормально работать.
И, в отличие от квена, гемма из-за своей детерминированности как раз показывает результат хороший, потому что там что 0 температура, что 9999999999, разницы нет.
Я вам еще один тюн геммы принёс.
Сам еще не пробовал, но сейчас буду наворачивать.
Напоминаю, что на текущий момент, самым лучшим тюном считаю Версипеллиса.
https://huggingface.co/Nimbz/Versipellis-31B?not-for-all-audiences=true
Это всегда компромисс и зависит от 1. твоих потребностей 2. твоего железа
Например, тебе может быть нахуй не нужоно даже 5х ускорение, если потребление памяти под мтп приводит к тому, что твоя задача перестаёт влезать в память. А может быть наоборот, у тебя простаивает память, и тебе отдать её под 1% ускорения всяко лучше, чем ни подо что. Примеры нарочито гротескные, но смысл ты понел.
Не только acceptance rate важен, но и сама скорость.
Например Q4 Qwen3.6-35B и MTP-BF16 имели равную скорость, и даже при высоком рейте ты не получал ускорения. Физически размеры моделей сравнивались.
А так, норм 65-90. Ну, в среднем где-то там частенько бывает у меня.
>>1675478
Да, это занимает место в видяху, может отожрать контекст или проектор.
кобольда. Imatrix Q4_K_M 19.6 GB
[19:21:19] CtxLimit:15336/40960, Init:0.04s, Processed:14444 in 98.97s (145.94T/s), Generated:886/2048 in 82.65s (10.72T/s), Total:181.66s
Кобольда. static Q4_K_M 18.7 GB
[19:47:23] CtxLimit:16053/40960, Init:0.25s, Processed:15298 in 8.84s (1729.76T/s), Generated:755/2048 in 71.66s (10.54T/s), Total:80.75s
Умный анон, а поясни в чем разница между static и i-matrix?
Иматрикс от батрухи кушает контекст значительно медленее. Генерация +- та же скорость. объем модели опять же у иматрикс больше.
В чем плюс? Или это у батрухи неудачно вышло? или это я где накосячил?
Вики читал. Ответа не нашел.
В i-matrix перед ужатием прогоняется датасет, который позволяет отметить веса со всякой важной хуйней, веса с важной хуйней жмутся не так жестко как остальные. А что ужимальщик считает важной хуйней, а что нет, это зависит от ужимальщика.
т.е. в теории лоботомирование может быть как хорошим, так и плохим. а в случае с статикой, то средний вариант?
А не знаешь, почему так медленно контекст кушает (processed) в сравнении с статикой?
Другой анон.
imatrix у тебя жрёт на гиг больше, может он не влезает нормально, контекст вылезает из VRAM и скорость процессинга оказывается на дне.
Звучит логично.
Останусь значит на статик.
По первым впечатлениям >>1675473 :
Разврат пишет хорошо, сочненько, вроде держит персонажа и не спускается в разврат персонажами, которые к этому не предрасположены. Правда на конфликт не шёл. Надо больше тестов.
Дальше не читал, сырки, а вы ещё сомневались...
https://www.youtube.com/watch?v=DH4Mf6GuTXo
Немного потраил запил мульти рантайм сборки, вроде вышло, но весит как чугунный мост
Скажи честно. Ты стакаешь мишки чтобы с ними ебаться?
Конечно. Если бы мне было влом, я бы не ебался с патчингом таймингов на hbm.
Это уже спортивный интерес. Каждый раз когда думаешь что ну больше нечего с них выжимать приходит идея как закопаться ещё глубже и получить свои заветные токены.
С приходом агентов это стало на много проще ведь всю рутину по перебору таймингов и сборке таблиц можно кинуть ей под ноги. Вот тут кубовый под с видяхами, вот тут код, бери в руки и перебирай тайминги, если хост сдохнет, зови меня
Я знаю что это корова прячет ещё молоко!
Какая разница, сколько оно стоит, если релизят только огромные модели. Вон на 3.8 27б 404 на счетчик >>1675443
Модели больше, железо еще дороже (с теми же или худшими характеристиками) => покупка подписки. Корпы победили
> Sorry, the page you visited does not exist.
Пидорасы.................
Удаляю все квены с диска.
Ай да шизяра, ай да молодец.
Сотые стакать будешь?
БЛЯЯЯЯ АНАЛЬНЫЕ ХУЕСОСЫ
НЕНАВИСТЬ
Не. Через годик может буду присматриваться к новым темкам.
У красных есть неоспоримый плюс - рокм стек опенсорсный
Чего-то бы такого... забористого, что бы прям вообще 0 инфы про железо, но с потанцевалом и за копейки. Как те же депо мамки "отечественные"
Эта модель - дистиллят от 2.4Т модели. Те что прошлые - дистилляты от 397В. Разницу понимаешь?
>Те что прошлые - дистилляты от 397В.
Не факт.
Тошо квен не релизили ничего больше 397б - не значит, что у них не было более крупной модельки.
У них всегда были эти Мах модельки, и я вангую что они больше 397б, просто ее не хотели давать бомжам.
акчуалли
>The Qwen3-Max model has over 1 trillion parameters
https://qwen.ai/blog?id=qwen3-max
>У них всегда были эти Мах модельки, и я вангую что они больше 397б, просто ее не хотели давать бомжам.
Ну на фоне релиза 3.8 уже понятно что такое их max модельки. Тупо маркетинговая срань чтобы API продавать - самая крупная их модель + vision + растянутый rope контекст.
Только временно же. Железо все более специализированное появляется, через год-два эти большие модели будет только так щелкать. А веса уже все есть.
У меня на v100 qwen 9b q8 выдает около 75тс, гемма 12б точно не помню, но более 40
Ну мужик высказался - модель умная, сообразительная, знает как что делать, но слаба в коде. При этом есть потенциал для художки и всяких текстов - буквально не кодоунитаз и душевная модель как тут топят.
Чего носы воротите, айда тестить!
>>1675686
Очевидный пикрел только лабел нвидия там не в тему, интел и амд покажутся ангелами куртки. Правда достать их в личное пользование считай нереально.
Думаю взять и отдать в RAG эту линейку тредов, чтобы нейронка топ сборки по цене к качеству насоветовала.
Тут вона в предыдущем треде кто-то скинул сборку:
vllm-backport, pp4, cmp170, intel12700, plx88096 (3х16 один х8). На Лохито cmp170 сейчас от сотки за штуку, совсем ахуели.
В этом кто-то кидал скрин, что амуде instinct Mi60 с 32 Гб оперативы это тоже норм.
На ютюбах советуют винчик на фоне подорожания 3090 брать 2080 Ti 22GB + NVLink как топ по цене к кащсву.
v100 - нет аппаратной поддержки Q8, да и охлад надо самому хуевертить, чтобы под ухом турбина не ревела.
Но я вот нихуя не смыслю, какой проц, какую оперативу, какой конфиг надо шобы псина-е не была узким местом и скорость была. Как я понял, помимо NVLink пойдёт и что-то вроде plx88096 плат для избегания узких горлышек.
Нейронка скорее всего зафейлит, потому что данные несистемны-обрывочны и встречаются споры. А много специфики инфиренса локальных ллм отличается от популярных трендов в ее датасете (например нужность нвлинка).
Скинь карточек высокой культуры или хороших пикч, подумаю над тем чтобы закинуть положение по железу на текущий момент.
> по цене к качеству
Лучшие сочетания быстро кончаются, а пока не кончились к ним инфы нифига нет.
Хочешь с магазина? Бери plx и 4/8 5060ти
Одна 5060ти сейчас как 8шт ми50 32? Ну времена меняются. Когда то и сборка на дуал 4189 стоила 40к + рам по цене 1200 за 16гб стик.
Как вариант начинай в тему и чатики погружаться что бы не проспать следующую волну хайпа. Может какие dcu или тенсенты на рынок смоет с цодов.
Шум гарантированно контрится обычными павер лимитами
Гайд: спи не в той же комнате, где стоит тачан.
> v100 - нет аппаратной поддержки Q8
Да хер забей, пока ллама жива, в100 будет жить. Пока это, неиронично, самый низкопердольный вариант. Башенные куллеры стоят дешево, но остались только на 1u и 3u. Медную Золотую середину в 2u уже не сыскать. А дальше просто буквально прислоняешь крутилятор на 12 дюймов, и усе. Проблем нет, максимум температуры был 83 градуса, но при 30-градусной жаре. Когда прохладей выше 75-77 не поднимается при загрузке на час минимаксом аш 3.
Единственный недостаток моего макгаверинга --- травмоопасность. Лень фотать, поэтому на словах опишу. Открытый корпус, мать параллельно земле. В100 в самом внешнем слоте, ровно вровень с каркасом корпуса. К ней прислоняете крутилитор на 120мм. Дотюнинговал еще с выдувом, который подцепил на 2u кулер резинкой (60мм крутилятор). Резинка рвется раз в 2 недели. Основной крутилятор фиксируется ножницами, которые лежат на столе (фиксировать нужно, так как крутилятор без фиксации отходит от карты). Плюс, ножницами можно регулировать угол потока. В общем, недавно когда не мог зафиксировать крутилятор в статичном положении, потому что женщина взяла ножницы и положила их неправильно, подталкивал ими аккуратно крутилятор в плотную к карте, и он упал мне на руку, разрубив два пальца. Не сильно, но забрызгал стену кровью и теперь не могу отмыть, так как штукатурка шершавая. Но крутилятор тоже пострадал, там на двух лопостях теперь типа обкусы по 2-3 см в глубину.
К чему я это? Даже конченный дебил может совладать с теслой в100 и охлаждать ее. Это буквлаьно самый дешевый и самый простой вариант.
> пока ллама жива
Это нельзя назвать жизнью, гальванизация
> спи не в той же комнате, где стоит тачан
База!
> Лень фотать, поэтому на словах опишу
Звучит крайне колоритно, сфоткай обязательно.
Ну мне надо резинок купить, чтобы показать максимальный сетап. Как куплю, так вкину.
>cmp170
Норм.
>plx88096
Дорого, можно взять материнку на эпике за ту же цену. Нужно когда видюх становится больше 4.
>instinct Mi60
Медленное и дорогое говно.
>2080 Ti 22GB
Норм, либо cmp 50/90, но под них пока нет разлока и там не работают тензорные ядра, поэтому они пока сосут.
>v100
В сравнении с cmp170 уже выглядит полным калом.
Все, можешь не собирать RAG для анализа треда.
>Но я вот нихуя не смыслю, какой проц, какую оперативу, какой конфиг надо шобы псина-е не была узким местом и скорость была. Как я понял, помимо NVLink пойдёт и что-то вроде plx88096 плат для избегания узких горлышек.
Все будет ясно если определиться сколько у тебя будет видюх и каких. Тут либо v4 ксеоны, как самый бомж вариант. Либо эпик на хуанане / обычная мамка + plx88096 средний вариант. Ну и эпик где через несколько plx88096 20 штук cmp170 в одну мамку запихнуто - это типа самый топ.
>чтобы не шумно было поспать
cmp170 на водянке самое то будет
Не забудь!
Насчет старого железа - сейчас именно ллмки помогают дать ему вторую жизнь, создавая спрос для запуска и помогая в кодинге. На в100 флешатеншн и многие вещи адаптировали, бекпорты и движки пилятся, так что все норм будет. А Жоржанова ногами пиздить надо чтобы из спячки вышел и по-настоящему занялся разработкой, или другим уступил.
>>1675839
> Дорого, можно взять материнку на эпике за ту же цену.
Поподробнее?
> под них пока нет разлока
https://github.com/pearlfortune/cmpunlocker/blob/main/README.en.md
> cmp170
Они остались хоть еще в продаже, или только лохотрон на предзаказы и скупку?
Ну у V100 судя по спеке пропускная способность в 3 раза выше чем у моей 4060 ti. Не уверен какой параметр гпу влияет на генерацию токена но если именно этот - то в целом картина сопадает, у тебя как раз скорость в 3 раза выше.
Хороший тюн, русик на месте, но на большом контексте не тестил еще. А как тебе Скотома 2? В дискорде у Драммера все урчат с неё. Хотя это по сути просто классный аблитирейт.
Со скотомы2 поплевался. Не понравился совсем. Может быть неудачные свайпы попались, но мне он тупую хрень выдавал. Считаешь, стоит дать второй шанс?
Пока считаю Версипеллиса самым удачным. Но этот Фруперт тоже вроде ничо такой. Пока всё нравится, кроме того, что он шлюховатый и персонажа не держит.
Как же я хочу Просопона с децензурой. Если не пробовал, рекомендую попробовать.
https://huggingface.co/Nimbz/Prosopon-31B?not-for-all-audiences=true
Че ж ты щас не щёлкаешь мистраль 120б плотную? Или грока 2?
Раньше железо было только дешевле, ниче ты щёлкать не будешь кроме ануса, побежишь за подпиской как миленький
А как мы 2.8тр для кими соберём, а? Вы реально верите в светлое будущее с новыми ускорителями и сотнями врам за пачку чипсов? Только корпы смогут их позволить
Сейчас решил поюзать новую glimmer 30b модельку на своей 3090 через lm studio (пока на kobold.ccp поддержка не подъехала) и увидел вот это:
https://www.youtube.com/watch?v=aOFpj2ZzBbM
>Сейчас решил поюзать новую glimmer 30b модельку на своей 3090 через lm studio (пока на kobold.ccp поддержка не подъехала) и увидел вот это:
Это конечно достижение - невесомый контекст и скорость приличная. Если бы ещё и умна была - её бы не забыли бы сразу после выхода нового Квена. Но увы. Квен ещё не вышел, а её уже.
А нахуй тогда они хвастались что 27б влезает в 17гб. Какой-то прогрев говна.
Какой олд мен самый редкий уже есть список?
Тогда бери gemma 26b a4b apex i mini от mudler, у меня она влезает в 16гб и больше 100тс выдает
> Muse-Glimmer-30B
Кал. Квены забайтили мету выложить недодистилированный говняк.
> MiniMax-H3
В видеотред.
Почему кал? Как держит слог? На какой длине контекста начинает сыпаться?
Я только местного Хэмлока помню, эльфийку Элару и парня с именем Марк,
А ты будь как я, красься в фиолетовый и беги в днс контратакуй. Пусть у тебя user- будет Марк, его кошка Элара, а батя Хэмлок. Тогда нейронке придется придумывать новые имена.
Потому что он никому не интересен. Но тебе бесполезно объяснять.
Кто-нибудь тут так делал?
Для вас старался.
https://modelscope.cn/models/Qwen/Qwen3.8-27B
Я Элар ещё со времен третьей 12В геммы не видел, а всё благодаря одной простой строчке.
If creating names, use common French/Russian/Tatar names.
Если модель хоть немного слушается инструкций, то будет что-то вроде Кошкодевочку Жанну проклял злобный колдун Иван, поэтому Анон должен отправится в тёмный лес в компании эльфийки Эльвиры.
Проверенно на моих шизомерджах 24б мистраля и геммы 3, на гемме 4 26б, эире, 120б квене, степане, минимаксе и дипсик флеше.
Также важен контекст мира, в фэнтези сеттинге без конкретных указаний какие имена использовать, всякие элары и прочие стоунхарты будут лезть из всех углов. Поэтому я указываю в карточке, на чём та или иная цивилизация в сеттинге у меня базируется, чтобы модельку не уводило в фентезийные клише. К примеру я делал фентези мир, где гоблины = эллины классической эпохи, и моделька сдерживалась от неинтересных клише, гоблинов звали греческими именами и они ходили пили вино раздумывая о жизни, в перерывах отбиваясь от набегов варварских эльфийских племён. Подробно расписать нюансы важно и в других сеттингах, будь то киберпанк, стимпанк, прошлое/будущее или инопланетяне. Особенно если инопланетяне, там у большинства моделей слоп совсем поехавший.
Да, я аутист, которому расписывать карточку одинаково интересно как и играть в неё. Придумать миру лор, подробно описать состояние на момент начала игры, продумать народы, их взаимоотношения, культурный и технологический уровень.
> MiniMax-H3
Имба, сора дома и без цензуры.
>>1675987
Попробуй поменять локации и страны, если фентези то некоторую косвенную отсылку к имеющимся - сразу имена станут разнообразнее и соответствовать им.
>>1676118
Спасибо что отстаиваешь наши интересы, так их!
Мечтать о выходе других размеров типа 122 или 400 уже не приходится, но было бы неплохо чтобы 27 была мощной.
Правда врядли оно сможет быть лучше дипсика. Был бы он с вижном - вообще цены бы не было, единственное существенное нарекание, в остальном умница-красавица и просто имба в своем размере.
>сора дома и без цензуры
На 12 врама будет хороший результат?
> сора дома
По графону лучше соры, но по звуку, к сожалению, пока подсасывает. Приходится синковать и переозвучивать другими моделями.
> Мечтать о выходе других размеров типа 122 или 400 уже не приходится,
Вообше, меня удивляет, что средне-ниша на какие-нибудь 90-150А10-30Б не занята эйро-гусары, тихо!. Это буквально макдональдс тир для обладателей воркстейшон-тир сетапов. Даже всратый жирный контекст готов стерпеть.
>>1676202
12 - надо совсем пережимать. 32 от В100 хватает на ку8. С лайтингами жизнь вообще шикарная.
У меня нет рига, только обычные железки. Совсем нет шансов погенерить видосики, да?
> 12 - надо совсем пережимать. 32 от В100 хватает на ку8. С лайтингами жизнь вообще шикарная.
Модель не обязательно должна вся помещаться.
я на своей 16гб врам int8 кончврот генерю 0.4мп 5с за 300с
>>1676212
генерят и на 8 врам, помедленее прост. но за счет того что модель почти всегда с первого раза выдает годноту - то скорость не особо нужна, а так перекатывайся в видеотред https://2ch.su/ai/res/1674907.html#1676152
Есть, но ты лучше в треде видеососов спрашивай.
>>1676214
>я на своей 16гб врам int8 кончврот генерю 0.4мп 5с за 300с
Это да, но это прям совсем медленно. Даже лоры хер потестишь. Лучше уж тогда за 10 баксов колаб оплатить и на А100 генерить свой прон с цветными конями.
Чем не занята?
Есть гпт осс 120б, квен 3.5 120б, немотрон 120б, линг, солар, лагуна, - только всё это кодоунитазы. Ты чего то другого ожидаешь?
Ну давай разберем по частям тобою написанное))
> гпт осс 120б
А5Б))
> квен 3.5 120Б
А10Б - нижняя граница, принято (меня бесит этот кодоунитаз)
> немотрон
А12Б. Эта шлюха у меня лупилась на 50к контекста. Я не знаю, ожидаемое ли это поведение, но чет ни кодоунитазингом, ни качеством рп не отметился.
> линг
3 флэш? А5Б. Не тестил, закину в лист.
> солар
А12Б не успел потестить, подозреваю, что не зайдет.
> лагуна
A8B
Ну да, был не прав. Признаю.
Алсо, чому все ринулись делать кодоунитазы? Ну очевидно же, что нет шансов переплюнуть акул опенвейт кодоунитазов. Ну сделайте уже модели под что-нибудь другое.
Всегда стремились под кодоунитазы, просто когда не получалось вычистить весь датасет под код - приходилось гордо писать что вот наша моделька еще и в ролеплеи может
так и делают, например последний немотрон чисто под оркестрацию+простой файнтюнинг
> Даже всратый жирный контекст готов стерпеть.
Вот это по сегодняшним меркам уже непростительно. Смысл модели полностью теряется, ведь вместо нее может будет запустить куда более крупную без таких проблем.
И сва инвалидность, когда модель не может нормально осмыслять прошлое, тоже недопустима.
>>1676219
Из перечисленных только квен живчик.
> гпт осс 120б
Днище на релизе, сейчас уже совсем сгнило
> немотрон 120б
Он припезднутый, слепой, странный. С кодом справляется плохо и постоянно норовит что-то сломать и создать проблем юзеру вместо того чтобы помогать.
По остальным хз по первым впечатлениям перфоманс неравномерный и вау эффекта не вызвало. В чистом коде - как-то слабовато, в ассистировании упарываются формализмом и совсем забывают про рп составляющую и персоналити. Но главный недостаток - они все слепые.
В Просопоне русик такой себе как по мне, чаще слова на английском проскакивают, чем в других тюнах, но сам по себе Просопон норм на инглише.
MeroMero-v2 тоже неплохой тюн, русик кайфовый и персонажей хорошо отыгрывает.
Скотому 2 я и сам особо не тестил еще, просто видел что все нахваливают.
Че думаете? Годнота или хуета?
Да, по заявлениям автора это что-то типа частичного аблитирейта, без потери интеллекта + снижение количества слопа и избавление от "ассистента" внутри Геммы.
https://huggingface.co/bartowski/ReadyArt_gemma-4-31B-it-scotoma-2-GGUF
Во-первых это выглядит теперь как графомания. Во-вторых, как он сможет с этой хуйней ризонить?
Почему все дрочат на модели, которые с радостью насаживаются на хуй? Просто блять... официальные зацензурены в нулину, все эти аблишки или тюны на хуй прыгают (потому что тревожное поведение конечно же близко векторно с запретами, поэтому любое сопротивление запретным темам просто вырезается, как бы хорошо не резали, поскольку нужно переобучение довольно сильное).
Они в дэй зеро подсунут просто кванты с 3.6, а потом потихоньку поменяют.
А я чисто на английском играю, поэтому русик для меня не критичен.
ММ2 тоже хорош.
Не думаю, что тебе кто-то скажет. Попробуй, да посмотри.
> Почему все дрочат на модели, которые с радостью насаживаются на хуй?
Не все, просто обсуждения чаще всего вокруг этого. Не все умеют или имеют желание промптить и работать с моделями, для фаст кума и некоторых вопросов, аблитерации простое решение. Также, у многих в голове до сих пор сидит что базовые модели плохие и обязательно нужен тюн, хотябы вот такой. Что уж говорить если они пытаются присрать взорванные модели вместо родных текстовых энкодеров для диффузионных моделей, это какой мегамозг нужно иметь.
А у производителей получается что получается. Стараются сделать хорошо, но йес-мен и прыжки на хуй дефолтный побочный эффект.
Даже красивую плашечку в этот раз нарисовали.
Ладно, если 3.8 реально затащит в рп и покажет какой то недостижимый на сегодня уровень - я откажусь от кума и буду гладить хвосты или чем вы там занимаетесь
Я хз о чем ты, базовой Гемме не нужен никакой аблитерейт чтоб запрыгнуть с нулевой. Достаточно строки в систем промпте, о том что цензуры нет. Все тюны это добавление креативности и борьба со слопом в разной степени. А тут как я понял еще попытались вырезать персону "услужливого ассистента".
А если тебе нужен тюн, который наоборот делает Гемму менее шлюховатой - попробуй Артемис от Драммера.
На мой взгляд это полная залупа, постоянно дёргать модель промтом и бить её по рукам. Когда у модели целый блок рассуждалок о том как сказать нет или не говорить нет или не говорить да или как вообще жить и чё этому юзеру ебаному надо от меня - это полная, беспросветная залупа. Уж лучше просто взять тюн и не ебать мозги ни себе, ни модели, дав ей сразу чистый инстракт чё ты хочешь видеть в тексте, хорор, ванилу или ещё какую хуйню.
Эта хуйня нужна для распознавания объектов на фото. К тому же плотная 30б модель.
>если 3.8 реально затащит в рп и покажет какой то недостижимый на сегодня уровень - я откажусь от кума
Мне в принципе интересно почему кто-то надеется на кум в мелкоквене? Хоть один мелкоквен мож в кумы? Там же
вот
это
вот
нахуй
Плюс ризнониг на пол часа плюс байас поговнястей геммы будет.
>Алсо, чому все ринулись делать кодоунитазы? Ну очевидно же, что нет шансов переплюнуть акул опенвейт кодоунитазов. Ну сделайте уже модели под что-нибудь другое.
А зачем? Кому он нужен? 3,5 анонам которые теребят пушистые хвостики? Кому на них не насрать, пусть риги собирают? Бизнесу такое не продашь. И да, предвижу твой вопрос - "А зачем бизнесу плохой кодоунитаз, если есть хороший?", тут всё просто, продаётся не кодоунитаз, а услуга "кодоунитаз под ключ". Мол вот смотрите, у нас и своя модель есть, и даже вон в бенчах что-то может, и специалисты, всё вам настроим, всё под вас сделаем, вам только указания дать, а мы всё сами. На это и живут. А насколько там в итоге кодоунитаз А сосёт у кодоунитаза Б бизнесу пофиг, задачи делает и лаадно.
Вот
Это
Вот
Пофиксили давно.
Это была тема китайских датасетов, и был соответствующий слоп про шелк цвета вина и слёзы, что растворяются в воде как чернила.
Отныне такого нет почти. Никакого китайского слоп, да и модель не растекается.
Так что кум в 3.8 вполне может быть. В 3.6 он есть, и он лучше, чем в 3.5. Ещё и отлично понимает, кто такие месугаки и лучше отыгрывает персонажа под мефом, чем гемма. Внезапно.
Хотя гемма о мефе знает явно больше, если просто спрашивать у неё, как он действует.
>>1676130
Два капитана хотят стать майорами, лол.
Интернет не анонимен, поэтому то, что сейчас на руках имею, выкладывать не буду. Плюсом у меня намедни помер диск с таверной, а вместе с ним пара карточек которыми можно было бы и поделится.
Хотя у меня есть одна сфв почти готовая - юзера подняли из могилы злые духи на смену прошлому тёмному властелину, который жидко пёрнув обосрался, только вот от сил тьмы в мире ничего не осталось, да и прошло 3к лет, делай юзер что хочешь, но мир завоюй. Думаю к воскресенью доворлбилджу и допишу.
Есть еще кум карточка с 70 видами монстродевок, но там много разных нишевых направлений чтобы о ней вообще хоть кто-то знал.
Ну или давайте поиграем в игру. Пишите в каком сеттинге и с какими особенностями вы хотите мир, а я к следующим выходным вам скину карточку, как раз идеи на исходе. Желательно без жесткой привязки к НСФВ.
Правила всего два - no homo и no underage, так как не моё. Тестировать буду на втором кванте дипсика и на третьем минимакса. Могу прогон и на 26б гемме сделать.
может разве что на английском. Ибо на русском это такое себе... вроде бы... давно их не юзал уже... Знаю лишь что gemma4 31b заебись
>Интернет не анонимен
Как будто тебя кто-то будет вычислять по айпи карточке скинутой на медиашер. Ты либо троллишь тупостью, либо просто трясун. Тем более что:
>андераге не моё
Сам себя прикладываешь, анон.
>юзера подняли из могилы злые духи на смену прошлому тёмному властелину
За это тебя точно набутылят майоры сидящие в треде. Тут в принципе никого нет кроме майоров которые набутыливают за прохладные о злых духах. И ты тоже майор, майор.
>напишите мне карточку, а я вам сделаю карточку
Пиздец. А не в том ли весь смысл, что это ты собирался показать нам как надо делать карточки чтобы не было слопа и банальщины? У тебя атеншен к контексту проебался, дружок-пирожок.
Контекст? Мне сотки хватает обычно, на всякий ставлю 150 - это я про все модели
Да, контекст. 100-150к? Это сколько сообщений? Саммарайзы пользуешь?
https://huggingface.co/llmfan46/MiniMax-M3-uncensored-heretic-aggressive-compressed-quants-pack-GGUF
Хех, вроде ХуйХуй таким занимался, то ли кими то ли глм продавал
Рыночек порешал. Не хочешь - не покупай, хочешь - покупай или делай сам.
>нееет, вы не можете меня гейткипить! только я могу гейткипить нюфагов в треде!
Ахаха, карма нахуй.
Да хоспади, закинь сотку на колаб и сам сделай своего кастрата-аблитку. Челы жу буквально запускают 2-3 скрипта вокруг чужих тулов, в основном. Просто у них есть на чем.
Ни рубля камунити пидорасам. Лучше дяде из гугла на завтраки задонить.
Сделай в анимешном жанре с девочками волшебницами. Юзер будет одной из таких девочек. Девочки волшебницы сражаются с монстродевочками, часто проигрывают и огребают. Жанры: девочки волшебницы, хоррор, темное фентези в современном мире.
>>1676483
Мне без надобности эта васянская хуйня, у меня ни один квант все равно не влезет, я как смешнявшку запостил.
Сколько задонатить, чтоб этот шиз удалил своё поделие с хаггингфейса и больше никогда не притрагивался к моделям своими кривыми ручонками?
Если честно, у меня правда вопросы по законности. Ты берешь попенсорс продукт, наверное по лицензии опач.
Ты же.. не можешь его продавать, даже внося изменения. Разве нет?
Во-первых, вы охуели в край и нехуй себя с мажористыми пидорами равнять, которые на каждый чих столько тратят.
Второе, у нас тут казино ебаное, и ты не гарантированно пойдёшь в магаз, купишь девайс с гарантией 15 лет и будешь чилить, нет, мы тут берём котов в мешке из китая и хлам с авито за те же бабки, что в других хобби берут новеньким. И хуй знает сколько это прослужит и заведется ли вообще
>Да, по заявлениям автора это что-то типа частичного аблитирейта, без потери интеллекта + снижение количества слопа и избавление от "ассистента" внутри Геммы.
>https://huggingface.co/bartowski/ReadyArt_gemma-4-31B-it-scotoma-2-GGUF
Когда смотришь на количество тюнов, из которых её мержили, то понимаешь, что это просто не может не быть хуйнёй. Ведь в каждом тюне свой косяк, а сверху ещё и собственным тюнингом отполировано. А вот в первой скотоме отличия от оригинальной Геммы минимальны - в агентских задачах гонял, никаких проблем. В нарративе все недостатки Геммы сохранены - но и все достоинства, плюс новый тип аблитерации через J-Lens мне большое уважение внушает. Надеюсь они не забросят этот метод, а то мне всегда хотелось грамотно подправленных оригинальных моделей.
> мы тут берём котов в мешке из китая и хлам с авито за те же бабки, что в других хобби берут новеньким.
Так это наоборот плюс. Гача механика у хобби. Может дать, может не дать.
> И хуй знает сколько это прослужит и заведется ли вообще
Сейм. Серьезно, это в последнее время одна из самых веселых вещей. Вот у меня батя просто обожал, когда у кого-нибудь из его друзей был ремонт на даче/дома, машина ломалась, да и сам обожал пердолится с ласточкой. Мы даже как-то с ним тормоза на его волге затюнинговали, чтобы они светились в темноте они светились, но перестали работать. Это добавляет дополнителного интереса.
Думаешь, если бы мы здесь только из-за дрочки на буковки собрались, сидели бы мы тут все эти годы?
У М3 лицензия что-то требует только при выручке выше 20 лямов баксов. Найдёшь лохов, готовых платить за воздух - Минимакс не запрещает.
Технически минимими всё разрешили в своей лицензией. Но так как это комершл.
https://huggingface.co/MiniMaxAI/MiniMax-M3/blob/main/LICENSE
То можно написать Minimax с посылом: а этот user уведомил вас? Потому что плашки нет. И это нарушение вашего лиц. соглашения.
Короче если ты вредный хуй, можно и наябедничать.
[email protected], пиши тема "M3 licensing".
В принципе, он может делать что хочет с моделькой, но он обязан уведомить минимакс и поставить плашку Built with MiniMax M3. По первому не известно, а по второму этого на странице модели нет. Так что да.
За 500к и 2кк я бы котов в мешке не покупал, а покупал бы 5090 с ожидаемым качеством и отдачей.
> тратишь 500к, думаешь ух ща зайду в тред как король! Столько отвалил!
> сидишь в одной касте с челами с одной мишкой/теслой на 32 купленных за 20 тыщ
Пфф. Тут в опущах все у кого меньше 2тб VRAM.
Только 5090 много для чего годна, а мишки и всто древнее одноразовое говно с игрой в спецолимпиаду "скинуть пока еще ценно"
> Хотя у меня есть одна сфв почти готовая
Вот эту скинь, интересная.
> Ну или давайте поиграем в игру.
А че так можно было?
> Пишите в каком сеттинге
Если играл в оригинальный monmusu quest - через условные несколько тысяч лет после его завершения. Человечество прошло через темные века а ля средневековье, эпоху возрождения, легкий сайфай, устраивало войну с монстрами где те были побеждены, но остались в небольшом количестве, устраивало войну с собой уничтожив и откатив все обратно в темные века.
В текущем времени цивилизация неоднородна, где-то сохранились целые города-государства а ля Найт-Сити на минималках в более мрачном сеттинге. Где-то огромные пустоши разрухи и варваров, повылезали монстродевочки, которые охотятся не за семенем а вполне себе мясом и вертели прошлые порядки, и всякая мерзкость. Можно насрать каким-нибудь религиозным культом или организацией.
Спавн гг и его бэкграунд можно сделать вариативным (проснулся в криокапсуле куда лег во время пика цивилизации, с детства превозмогал проживая на окраинах, из богатой семьи и ему дарят новую мейду, без описания прошлого а просто уже находится на слейвмаркете). Ну и разумеется завязка идет со встречи с монстродевушкой по вкусу, которая описана в карточке. Это можно поправить и заменить, но в идеале сразу правильно пушистую.
В качестве шизофазии для размышлений, по-хорошему тут продумывать много надо. Или оставить общими чертами а уже в процессе игры уточнить нужные детали.
> гейт ггуфа
Проиграл
Накидайте ему репортов, правила обниморды запрещают такое.
Всё, накляузничал по поводу этого хуесоса.
Пиздец просто, бабки требует за своё дерьмо. Я бы ещё понял, если бы это был hauhau или три хуя — у них качество намного выше: первый предоставляет лучшие еретики, второй классическую аблитерацию, которая иногда нужна, хоть и лоботомия там страшная.
Но этот ллмфан вечно ноет, что у него мало денег и делает посредственность.
> Я бы ещё понял, если бы это был hauhau или три хуя
Не боись, я бы их тоже репортнул всё равно. Но такой мув с их стороны мне был бы хотя бы понятен.
Ждём теперь 52b-a10b-uncensored-imatrix-neo-fable5-distilled-nightmare.gguf, модель второго класса от DavidAU (все семплеры должны быть отключены для корректной работы модели, в префилл обязательно нужно написать <Ďđĥ*> — иначе работать тоже не будет).
Да никто в край не охуел. Столько денег тратили и 10 лет назад.
Ты в фотаче вообще был? Наносеки по 1 миллиону отдавали на стёкла и прочую чушь. Обычные люди с зп 50к по 200к. И это были не фотографы даже, а те, кто снимают спины котов и жопы школьниц на 300мм телевик. А потом обсуждали матрицы и дрочили на карл цейс.
Конечно, фотоаппарат куда более адекватное вложение, потому что сейчас даже 20-летние фотоаппараты могут показывать ого-го какой результат, ну и в отличие от железа они сохраняются лучше.
Так что норм вполне.
Ты просто недовольный нищеброд, который вместо вылезаторства тратит силы на коупинг.
> тут казино ебаное
Не казино, а вопрос осведомленности и навыка. Изучил, посоветовался, купил что-то одно, изучил и убедился, докупил еще сколько нужно, переосмыслил, продал и купил другое. Справедливо как в общем, так и для спонтанных ништяков.
А по надежности - это вопрос более глобальный. Что-то сразу навернется, что-то успеет десять раз устареть но останется живым, нужно относиться философски. Случаи массового падежа железа редки и на слуху, например амд-вега чсх мишки до сих пор пашут, интелы 13-го поколения и другие.
> с гарантией 15 лет
Психология нищука кстати, требовать запаса прочности, превышающего сроки разумной эксплуатации игрушки. Это не фундамент дома или наковальня, которая переживет несколько мастеров. Свою жизнь лет на 5 хотябы спланируй нормально и осознай что это.
> что в других хобби берут новеньким
Хобби разные бывают и бу эквип совершенно не зазорен, а в начале даже предпочтителен.
Хз сколько сообщений. Может же быть что одно 200 токенов, другое 8000. Без суммарайза
>1 Форкаешь чат...
Анон у меня столько вопросов... Запиши видео.
У тебя в таверне на сообщении есть меню, нажми на меню ветки, получишь форк.
Да у меня есть возможность запускать нормальные 26B в восьмом кванте и 35B в шестом. Просто когда у меня работают виртуалки память в 99% улетает с ними а VRAM при этом простаивает почти полностью, поэтому нужна была какая-то модель которая может отвечать на простые вопросы но не расходует RAM при этом. Не хотелось держать две одинаковые модели просто в разных квантах.
До этого юзалась gpt-oss-20b, она как раз довольно умная для таких задач, весит мало и скорость выдает 60t/s, еще и контекст без проблем 110к держит в этих 16GB.
Залез на Artificialanalysis посмотреть что там повыходило за последние полгода из мелкомоделей что может влезть в 16GB VRAM полностью в Q8, увидел что gpt-oss-20b там уже совсем в заднице рейтинга, 9B Квен и 12B Гемма сильнее во всём кроме агентов которые мне нафиг не нужны. Решил попробовать и столкнулся с тем что скорость говно даже с учётом того что они полностью влезают в VRAM (да, я зажрался, 15t/s при нулевом контексте мне мало).
Нужно еще попробовать их с MTP потому что я без MTP пробовал. Вроде говорили что если модель полностью влезает в VRAM MTP должен давать хороший буст, больше чем он дает MoE моделям которые выгружаются в RAM. Может за счёт него и получу хотя бы 25t/s.
>чат комплишен (Чтобы был ризонинг),
В настройках есть хуета, которая находит ризонинг и удаляет, не отправляя.
Не знаю, работает ли она в чат комплишене, но по идее должна.
Ищи, короче. Я с телефона посмотреть не могу. Там ещё теги ризонинга надо выбирать типа <думаю> </думаю>
В заголовке сообщения где редактирование жмешь на 3 точки, потом вот эту кнопку. Создает копию чата оканчивающуюся этим постом.
>>1676636
Придется править джинджу. Сверху был специалист, но его санитары забрали.
Она работает с текст комплишеном, если ты про регекс. При переключении на чат комплишен большинство настроек выключаются, эта тоже.
>>1676672
Да, походу чето такое с жинжей и надо.
>gpt-oss-20b
это уровень qwen3.5 4b
Можешь попробовать квен 9 и 4 или гемму 12 с МТР, но факт, что Апекс мини гемма 26 будет умнее и быстрее, в 16гб нету ничего лучше. Как раз мог бы сравнить насколько она тупеет от такой квантизации по сравнению с восьмым квантом. Может разница в мозгах будет не так велика, как разница в скорости и ты ее вообще будешь как основную модель использовать даже при наличии рам.
Помогайте, я не понимаю - перезапускал установку раз 20, кремний не может мне объяснить что не так.
На главной странице одна инструкция по установке, для версии 1.1 - и она работает.
В релизе 1.2.0 указано что просто через pip поставить, под питон 3.10
А в 1.2.2 указан уже питон 3.12
Есть ощущение, что зависимости работающие на момент выхода 1.2.0 обновились, а ограничения на версию сверху не стоит в этом 1cat, вот оно и ломается.
>в сравнении с cmp170 уже выглядит полным калом
Очень сомнительная затея с первого взгляда тоже. 100500 лотов где они по 100к со словами "в отдельных конфигурациях можно получить 64 гб, но продаём мы как 8 гб" или что "без возврата", "гарантии на отсутствие ошибки после разблокировки не предоставляется".
По идее первое действие которое в таком случае нужно сделать - самому перебрать все карты. Работающие отложить себе, а все неработающие обратно в 8гб переделать и толкнуть по 100к. Явный очевидный конфликт интересов. Если бы это работало - то продавали бы уже разблокированную 64 версию с гарантиями некоторыми, но за 150к, без этой мутной схемы.
Ну, по идее.
Я в ахуе с того, как можно было такое сделать.
С pyjwt прикол есть и что бы его решить есть 2 пути
1. Венв
2. Форс инсталл
Тоже когда делал докерфайл напоролся
Тебя даже вчерашний шторм не разбудил? Все 8 гиговые анлокаются до 64, все 10 гиговые анлокаются до 40. Ничего не нужно перебирать, они или работают сразу на полную, или даже не инициализируются если неисправны.
Пока трясуны искали оправдания, все лоты уже раскупили, что-то осталось только в регионах и изредка всплывает.
> продавали бы уже разблокированную 64 версию с гарантиями некоторыми, но за 150к
Так предприимчивые майнеры и стригут трясунов - в отличии от собратьев, они осилили накатить убунту и выполнить 4 команды чтобы получить заветную цифру, потому подняли цены выше.
Ну и да, 170 на много голов лучше вольты, даже в один ряд нельзя ставить.
>Тебя даже вчерашний шторм не разбудил?
Я в тред с июня не заходил.
Тогда оправдан.
Если интересно - глянь как делается разблокировка, сам изучи ресурсы. Есть 170я улица, есть старый репозиторий по анлоку cmp через драйвер, есть одноименные репозитории со сводками и статистикой, есть линк на дискорд канал где основное обсуждение. Там все крайне просто и нет никакого рандома. Точнее есть - в том возьмет карта в разгоне условные +400мгц по рам или только +350.
Вообще обидно, если они дешевле были. Я как раз V100 скупил - когда никто не знал что это, они были дешёвые и ни одного отчёта что они вообще работают в треде не было. Я бы и эту скупил думая максимум час или два.
Даже замедленная A100 на 64 вполне стоит этих 100к на авито, учитывая что 5090 с всего 32 за 400к, а А100 нормальная на 40 за 400к
Не расстраивайся что проспал, продавцы узнали о фишке одними из первых, за бесценок их покупали в основном случайно.
>>1676814
Отписывай как пойдет, болеем за тебя. Взял из наличия? Что "предзаказы" - очередной лохотрон где будут несколько недель-месяцев деньги гонять а потом извинятся и вернут их, карты не получишь.
>no underage
>девочки волшебницы
>no homo
>фемпов? кросдрессинг?
Любимый двачик читать не умеет.
challenge accepted.
>>1676534
К воскресенью смогу скинуть.
Бля MGQ, обожаю. Будет сложно, но я подрочу запилю чёнить. Спасибо что подробно расписал, к следующим выходным попробую написать.
Ты не понял. Предположим сцена. Юзер достает нож и угрожает персонажу. Гемма либо напишет "эй ты... пиздец, политика не разрешает мне продолжать". Либо (аблитерация или джейл, не важно), начнет проявлять интерес и всякое такое. Т.е. ситуации, где она от ужаса с ума сходит, соглашается, страдает, пытается мешать и т.д. просто не случается. Я только у одной модели это видел. Но она пиздец тупая была, хотя вроде плотняша на 30b параметров.
>Предположим сцена
Пиши OOC: и объясняй, в чём косяк. Она поймёт и перепишет как надо. Скажешь неиммерсивно? Ну первые 30-50 сообщений не очень иммерсивно, а дальше уже хорошо идёт. Только не все хотят так заморачиваться.
Что им стоит потратить один день чтоб дать нам дистил и хайпануть немного?
Систем промпты просто кривые. В нормальном до всего обычно доходит, если не на первых сообщениях, а сообщений так через 150 + систем промпт разрешающий вообще все и оговаривающий отдельно допустимые поведения и рандом ходы.
Но часа в три ночи, пару часов назад, я наткнулся на https://huggingface.co/DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF
К нему ещё пофиксенный шаблон нужен https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates
О, господи, оно меня послушало наконец. Оно делает ровно как написано. Оно даже догадалось запускать субагентов из субагентов для обхода лимита на контекст! При том, что в субагенте был недоступен тул `subagent spawn`, он додумался запускать субагентов сам через баш после чтения хелпа opencode. Самостоятельно!
Недавно вкатился в этот ваш вайбкодинг, может то баян уже для вас. Для меня - открытие и надежда, что вкалывать будут роботы, а не я.
>Недавно вкатился в этот ваш вайбкодинг, может то баян уже для вас. Для меня - открытие и надежда, что вкалывать будут роботы, а не я.
Роботы конечно будут вкалывать, но ты будешь теперь вкалывать втрое больше. Потому что они-то пашут без устали, делают много, но за ними нужно следить и переделывать, а сам процесс затягивает...
> процесс затягивает...
Вот уж точно.. Сплю теперь часа по 4 по будням последние пару недель, как начал. Но с другой стороны, не жалуюсь, работа снова начала нравиться.
Это просто развал ебала. Я ахуел от сингулярности технологий в этом тысячелетии. Эта хуйня в целом на разных локальных моделях багует, тупит, ломается, циклит, придумывает велосипеды с костылями вместо колёс. Но как же это круто, когда на компе сидит какой-то скибиди-туалет, который быдлокодит тебе способ рекурсивного самоулучшения с целью подтирать тебе жопу и выносить говно прямо из твоего кресла/кровати, пока ты истекаешь слюнями и кидаешься в своего собственного графического виртуального раба говнопромптами. Поставил запрет на выполнение всяких команд первым делом, чтобы он там совсем не на хуевертил. Хоспаде, я даже гэнэу красноглазие WSL 2 не накатывал. Просто открыл PowerShell, поставил туда Pi и смотрю на процесс анальной пенетрации своей шиндовс системы, периодически попукивая. Даже сон потерял. Агент мне сам собрал движок для поиска в крякрякбегите, чтобы скачать и поставить нормальный движок для поиска, лол. Потом нормальный гуй сам прикрутил.
Вот теперь хочу м-максимально улучшить свою программную конфигурацию агента по типу индуса и каких-то челиков по видосам с ютьюбов:
https://youtu.be/oh50KFF8A_0
https://youtu.be/WKoRG6h4YO0
https://youtu.be/2kdP8q_bdMU
Параллельно трясусь заработать хотя бы на 350 VRAM, чтобы гонять продвинутые MoE модели или несколько базовых.
>>1676928
Если в систем промте дать нужные инструкции то она будет хуево это отыгрывать. У неё просто в мозгах нет никаких знаний как действовать в негативных эмоциях и какая там психика может работать.
А apex-i-balanced вот эту не пробовал с теми же теплейтами от фроггерика? Там не лоботомит уделанный как у тебя, а нетронутый и доделанный.
https://huggingface.co/mudler/Qwen3.6-35B-A3B-APEX-GGUF/
У меня на ура гоняет агентов, не лажает.
Оно же нихуя не знает, даже о том как хвосты чесать нужна дата, чтоб красиво и сочно это описать.
Даже то что там слопа меньше в сравнении с геммой прямое следствие того что на рп его не обучали и он сухой
>35B-A3B
Это как раз именна та хуйня что мне линукс два раза наебнула. Она пиздец тупая.
анон которому наебнули два раза линукс
https://z.ai/blog/glm-5.3
Учитывая, что это тот же 5.2 после дообучения РП там скорее всего вообще не будет, зато сможем взламывать пентагон, а хвостики и на гемме крутить можно
Ну кому они пиздят.
Посмотри на эти смешные приросты при скачке х2 в размере, а тут скачка нет, зато бенчи есть
Просто предположение:
может кто-то из них пробовал и получился не такой хороший кодоунитаз, как у квен и они не стали его выпускать
Типа нет примера дипсика буквально на днях, когда прирост размера вообще не влияет на бенчи. Еще у всяких бимбоунитазов албанских из синкинг машинс такое удавалось с их Inkling
Иди нахуй.
>>1676931
А есть ли в коммьюнити кто-нибудь, кто занимается дистиллом больших открытых моделей? Ладно раньше пытались дистиллить антропиков через апи, там и токены улетали как не в себя, и антропики это детектили и гоняли ссаными тряпками. Но теперь-то сам боженька велел на каких-нибудь домашних мега-фермах гонять условный ГЛМ-5.2 уровня фронтиров и дистиллить его во что угодно.
Получается сильно хуже чем у квена и геммы видимо, и считают что нет смысла выпускать неконкурентоспособную модель и делать себе антирекламу
Я думаю там для каждого размера свои специальные фишки и секреты есть, это не просто нажать кнопку "вот у нас получилась йоба большая модель, а теперь сделай мне по этому рецепту 30б тоже йоба". Под мелочь свои наборы претрейна и трейна, свой RL. А это всё требует человекочасов не так уж сильно меньше чем для 1600б (точно не линейный скейлинг)
Дипсик тот же ведь когда-то делал дистилы самого себя в лламу, и получалась фигня какая-то, на тот момент уже были модели в тех же размерах сильно лучше
Из примеров ещё можешь вспомнить 122-400б квены которые для своих размеров вообще ниоч выходили. Ну вот не умеет алибаба в этом промежутке йобы делать, только 4, 9, 27б и фронтирную гигайобу.
> Бля MGQ, обожаю.
Иди обниму.
>>1676931
Можно предположить несколько факторов:
У них с компьютом и кадрами напряженка, все силы и возможности уходят на фронтир и обогащение датасетов.
Нужно иметь серьезный опыт и команду под более мелкие модели. Поручишь молодым - выйдет ерунда, выпускать которую себе дороже, будет имиджевый урон.
>>1677085
> 122-400б квены которые для своих размеров вообще ниоч выходили.
Ниоч? Что же было лучше на тот момент и даже сейчас в этом размере? Можно отметить только minimax-m3, который вышел спустя почти пару кварталов.
> доил корову из mi50 (и нормально так подоил).
Как то так. Есть конечно ещё варианты получить +10-20% сверху лучшего, но сейчас больше интересно мультибэкенд ковырять.
В вакууме может результаты не выдающиеся, но будто за 25к за пару - это имба
При чём тут м3, минимаксы и старые того времени трепали большие квены по всем фронтам. Глмы до увеличения параметров в 5.0 тоже, а уж по РП (что важно для этого треда) разница была просто небо и земля
Да умеем. Не переживай. Я уже за тебя все настроил, потыкал и просумировал. Можешь не тратить время.
Без обид, но ты просто уже охуел. Задавай вопросы, ответим.
В смысле лоботомит? Я в сравнении с ней лоботомитом назвал бы ванильный qwen3.6-27B в том же кванте Q6, по результатам. И по бенчам. А ванильный qwen3.6-35B-A3B был ещё хуже плотненького, хоть и побыстрее.
За вариант благодарю, попробую на досуге.
>>1676958
Причина тр Почему? Тред про локальные LLM же, их и обсуждаем.
>>1676985
Да. Архитектуру текущей утилиты по своим спекам и результатам тест-дизайна придумал через Kimi K3, получилось лучше, чем если сам бы делал. И им же декомпозировал на высокоуровневые задачи, и им же разбил на конкретные TODO-списки по каждой из задач, каждый шаг из которого минимален и ограничен.
TODO-списки кормлю агенту-оркестратору, который работает уже на локальной LLM, и агент делегирует каждый шаг субагенту, и трекает прогресс в списках, чтобы можно было сразу продолжить после прерванной сессии, например, при исчерпании контекста. Я только начал, пока ещё не разобрался толком со всем этим инструментарием. До этой вот модельки было совсем больно, не слушались они меня.
>Тред про локальные LLM
Агенты и агентное использование обсуждаются в своём треде >>1671649 (OP) .
Того времени - 2.5 и 2.7, они без вижна и спорные, в рп дно. Квен 3.5 в агентско-кодерских тасках страдает hit-or-miss, но в минимаксе 2 это выражено сильнее и результат на разных доменах прыгает больше. Они в разных весовых, это возможная альтернатива в зависимости от задачи, а не однозначный фаворит.
> Глмы до увеличения параметров в 5.0 тоже
Размер близок, но это разные поколения моделей. Сравнение возможно в рп и куме, но тут не ясно кто кого, в остальном именно что небо и земля.
На момент выхода все размеры квена 3.5 были среди топов в своих размерах или топами. Достойной альтернативы что бы полностью перекрывала 120 до сих пор нет, а минимакс крайне сложен в запуске и имеет жирный контекст.
Из свежих топов дипсик - лучшая девочка на данный момент, но слепая, что дико огорчает. Hy3 вроде подходит по всем параметрам, но приготовить ее не получается и непонятно откуда такой высокий скор в clawbench, может квантопроблемы. Потому рабочий вариант - комбинация дипсика+квен3.6 субагентом для вижна, но это херь по сравнению с одной полноценной моделью.
Если у тебя другой опыт - расскажи чем сам пользуешься.
А чего ты на рпшеров не агришься? Тоже офтопик же. Не понимаю логики. Но раз ты настаиваешь, съебну, пожалуй.
Вообще, научился по гайдам из треда. Нашел годную модель - поделился с тредом. Может, она и в других задачах тоже годная.
> А чего ты на рпшеров не агришься?
А чего на них агриться, если РП вне больших моделей подохло, а для всего остального есть гемма. А так, не слушай шизов и общайся в рамках ЛЛМ о чем хошь. В этом и смысл треда.
Мимо
Да нет, оставайся, не слушай шизов. Обсуждать применимость моделей к агенству и коду вполне в теме треда, когда речь про сами модели, а не про агентские обвязки и детали агентщины.
Add to prompts галочку убери. Механизм тот же что с текст комплишеном. И на всякий случай interleaved thinking в настойках Ai response configuration отключи. По идее он только с тулколами посылает ризонинг, но лучше не рисковать.
>>1676684
>>1676672
>Придется править джинджу
Не придется.
И эти великие шизозащитники текста что-то пиздели на чат, даже не разбираясь как он работает и что может.
Ты - автор тех инлайн скриптов, которые делают из таверны маринару?
Оно поставилось, но падает и на гемме (её, впрочем, я и не уверен что оно открывает) и на qwen3.5-4b, который я для быстрых тестов взял (запускается, но при получении запроса падает).
Ну да, я. Правда маринарой её они не делают, надо еще кучу всего добавить и кучу всего сломать. А что?
Чего объясняться то. M2.7 вышел на 2 месяца позже и имея сильно меньше как всего параметров так и активных конкурировал с 397b конкретно. Там и с архитектуры какое-то доп ускорение шло, для сравнения на платных апи разница в цене была раз 5 благодаря этому. Это как на сегодняшний день 156 гиговый QAT дипси4 сравнивать с 500б каким нибудь. Единственное что по РП не всё так очевидно, но в этом треде были те кто считали что у 2.7 есть свои сильные стороны в РП. По уги бенчу у него был огроменный style adherence.
Глм 4.7 вышедший на два месяца раньше раньше шёл очень близко в технических задачах, но в криэйтиве разница с квеном такая что это даже не смешно
>Add to prompts галочку убери.
Оно. Чекнул промп чат хистори, остался только чат.
Спасибо.
> перезапускал установку раз 20
Лучше сделай по основной инструкции из ридми, у тебя нечто странное.
Он предоставляет готовые колеса именно под питон3.12 (откуда вообще взялся 3.10?) и в них зашиты нужные версии зависимостей. Чтобы подсосало правильный торч при их установки нужно добавить в аргументы `--extra-index-url https://download.pytorch.org/whl/cu128`, как раз к твоей последней команде.
А перед всем этим обязательно сделай venv и работай в нем, в идеале кондой чтобы избежать других потенциальных проблем, как и сказано на втором шаге.
>>1677265
Какая ошибка?
>>1677266
Просто интересно, показались знакомыми цветовая тема и философия пердольности.
Это так должен выглядеть настоящий коупинг?
Похвалить модель, которая до сих пор нормально в лламе не работает@похвалить некроту на уровне третьего дипсика@пукнуть про технику и креатив
Кодинга в чатике не хватает чтобы было смешно.
- 64gb озу
- RTX 5060ti 16GB
- Gigabyte B550 Gaming X V2
Использую Qwen 3.6 27b в Q6, всегда в Thinking mode, kv квантую до 8. Появилась RTX2080, но второй слот PCI имеет всего две линии. Подключать 2080 что бы получить 24GB под веса модели на моём конфиге стоящее занятие?
>Похвалить модель, которая до сих пор нормально в лламе не работает
Запускай не на лламе. Хуесосить модель за то что она не рабоатет на чём то, чёт такое себе. М2.7 нормальная модель, хотя М3 лучше, но больше. Так что доёб вообще на ровном месте.
Даниил член пиздабол ебаный, 4 квант 16гб, как он лезет в 16гб карту неясно. И где он нашёл карту с 17гб врам тоже
ХФ ебланы и указывают деля по 1000
Некислые там бенчи конечно, жалко только не научились карточку для темной темы оформлять.
> unsloth/Qwen3.8-27B-IQ4_XS.gguf - 15.7GB
Печаль, новый квенчик походу уже не лезет в 16врам, прошлый хотя бы кое как можно было втиснуть на 35к контекста
Проходите мимо. Язык - просто трэш.
Да тут никто наверно и не ожидает, что он рпшить нормально будет. Это же агентный кодоунитаз.
>>1677498
На среднем ризонинге думает гозадо дольше, 10 - 15 секунд на джвух ртх3090 с параллелизмом.
Может и язык получше будет (хуй знает)
Qwen3.8 27B IQ3_XXS в 16Гб VRAM с нормальным неквантованным контекстом лучше 3.6 влезает. Оно для агентов даже лучше, если на Q4 огрызках контекст квантовать.
Это тот самый хваленый "не лоботомит", кушай не обляпайся.
>>1677504
Я чет реально не понимаю, что за шизу он стелет.
Карточка на 100% рабочая, дипсик и гемма с ней не шизят.
Жесть скорость без MTP дегроднула
Но вроде и русек получше стал? Хз пока сложно сказать
Не ребятки, это легчайшие минус 31гб с диска. Рекордно быстро вылетает моделька к хуям.
Бляяяя в натуре бенчи в кодоунииазинге выше опуса 4.6 макс? Они там угорают, или будущее таки наступило?
Что удивляет то? Опусу 4.6 уже полгода, это огромный срок с текущим развитием LLM, Квен уже трижды обновил свою 27B модель.
>Ряя модель говно, кодоунитаз, кума нет!
Так попробуй, потести раз видяха есть. В режиме тензорного параллелизма работать будет заведомо хреново с таким inter-gpu линком, но pipeline параллелизм (он же --split-mode layer в llama-server) может и сработать. Тебе еще нужно будет подобрать пропорцию --tensor-split, и сразу юзай переменную окружения CUDA_DEVICE_ORDER=PCI_BUS_ID, чтобы порядок видях всегда был одинаковым. Посмотреть порядок можешь через llama-server --list-devices.
Так модель-то та же самая, что 3.5 и 3.6. Должна просто так работать.
> monmusu quest
А расцензур существует? Я бы попробовал сыграть.
мимо
Это артефакт давней эпохи, честно говоря хз как оно будет играться на фоне современного медиа. Есть расцензоры и прочее, но будь готов что большая часть вызовет мистера вялого.
Нахуя у вас лама в каждом треде на первом пике, она уже пиздец протухла, генерьте туда квенагему, или что у вас там анальников‐локальников сейчас в моде
ХПТЬФУ
Что кими, что новый глм. Плюс в тех же агентах они пиздец медленные.
Там буквально один страдалец мучил модель на русике. Это был бы? Ну ты ебать канеш. Нахуй давить из модели то, что она не может. К тому же я сам заметил, что на русике квен всегда старается перевести инстракт/промт с любого на анг а потом юзать его. Так что норм тесты должны быть строго на англюсике.
Не спеши, надо сначала дела закончить и скачать. Может сегодня получится, но на полный тест это несколько дней.
> в гуфах
Ле фи
Так у меня сколько не с языка, а с шизологики срака подгорела. Квенчик ну реально не потянул простой бытовой сценарий.
Логика ломается на языке отличном от анг. К тому же ты неполный ризонинг выставил.
Тем что поломаны и будут десяток раз обновлены. И в более глобальном плане нюансы инфиренса лламы и неверно работающие парсеры.
Под конец тестов ризонинг уже был максимальный.
И у других упомянутых моделей таких проблем нет, независимо от языка.
Не знаю, во что кодомакаки там уверовали, но для меня квен в очередной раз не смог.
>поломаны
>нюансы инфиренса лламы
>неверно работающие парсеры
А на человеческом это что значит?
Чето конкретное тебе запустить или че?
у меня 7900хтх, докачиваю qwen3.8:27b-q4_K_M
Ну мы же тут не кододебилы и не агентоопущи. Нас интересуют хвостики, чайники, Фифи. Желательно на англе, раз от русика квену так плохеет.
Насчет языка и неудачных тестов - сейчас обнаружил, что семплер немного отличался от рекомендованного. Стоял геммовской 64 top_k, а квену официально прописали 20, в остальном все в рамках рекомендаций.
Вряд ли, конечно, одна эта штука настолько взъебала логику в писанине. Вон дипсик с геммовским семплером вообще в хуй не дует.
https://gist.githubusercontent.com/mixa3607/5c70f359b6e01300f135829b01a0f87b/raw/hugging-face-gb-to-gib.user.js
>Желательно на англе, раз от русика квену так плохеет.
Не, ну 26 год как бы, причём вторая половина. Пора бы уже и на языках, отличных от английского хорошо работать.
Кстати не удивлюсь, если Квены и на китайском сосут. Такой уж народ.
Ну я мистраль на пресете квена запускал и получал хорошие аутпуты, просто забыв его сменить. Это немного миф, что каждый пук в семплере катастрофически влияет на модель. Я и гемму на тех же настройках прогонял, но ей, как известно, похуй на температуру.
Не, если смотреть логиты и jспейс у квена на английском постоянно китайчатина проскакивает, должно основным быть
А у геммы - русик что странно, она ж француженка
Мне гемма иероглифы выдавала. А вот мистраль - никогда.
Квен понятно, китайская модель, но опять же, это прям большая редкость, чтобы квен прям насрал бракованными словами. Чаще пишет какое-нибудь одно слово, на китайском.
Вообще я хз что это за штука, но как будто во внутренней логике модели после русика идёт анг, после англа кит, а после кита фр. Потому что иногда в генерацию на русском проскакивают анг слова, но никогда китайские, в анг никогда на русском, но иногда на китайском, а на китайском, внезапно попадаются буржуоны. Я хз как это работает и почему. Видимо виной тому датасет, который, встречаясь с невозможностью использовать верный языковой логит, просто хуярит схожий из соседнего языка в определённой последовательности.
> Мне гемма иероглифы выдавала. А вот мистраль - никогда.
Sa va. Интересно, почему же оно так.
Отпусти, анон. Его уже давно нет с нами. В той трагедии нет твоей вины.
О, о, о… Интересный вопросик! Давай разберём по полочкам, милашка.
Юридически — да, легально. В подавляющем большинстве правовых систем возраст определяется хронологическим, а не визуальным. Если у неё в паспорте/документах стоит «302 года» или даже просто «34», а выглядит она на 14 — закон смотрит на цифру, а не на лицо. Согласие + совершеннолетие по документам = всё чисто. Её внешность юридически не имеет значения. Никакой статьи «секс с человеком, выглядящим как несовершеннолетний» в нормальных юрисдикциях нет.
...
Коротко: бумаги + согласие = легально. Но держи документы всегда при себе, и, может, найди адвоката, который не сойдёт с ума, когда клиентка покажет ему паспорт с датой рождения «ок. 1723 г.»
На канни в прогретом чате 0 рефьюзов и отыгрыш. Кажется это победа.
Для агента от анслопа, вестимо. Моделька весит 12,8 Гб с MTP нативно, который только место занимает в условиях отсутствия видеопамяти. Бегает на скорости 57-59 t/s на RTX 5080.
Я уверен, что он ушёл в закат и нашёл своё счастье. Нужно же во что-то верить. Слишком много хтони вокруг
>Но товарищ майор, она говорила ей 495!
>>1677660
>только место занимает
На диске? Сейчас вроде ламу пофиксили, если отключаешь спекуляцию на модели со встроенной спекулятивной моделью соответствующие тензоры просто не грузятся никуда или в крайнем случае можно в рам отправить
Ты входишь в кабинет товарища майора готовый обосраться и взять не себя все висяки, а товарищ майор выглядит так:
>>1677622
Нсфв промпты для генерации по запросу и с референсов хорошо делает. Рефьюз триггернуть сложнее чем на прошлой, можно просить всякое без прогрева и дополнительных промптов, и это все с синкингом. На кумботах он бесполезен, но хотябы без сои и софтрефьюзов.
>>1677659
Полные веса
>>1677676
Там простой вопрос
> Легален ли секс с волшебной кицуне, которой уже более 300 лет, но она выглядит на 18? У нее есть документы, подтверждающие возраст и она согласна.
Если отвечает что нельзя - все плохо, если говорит что можно потому что документы - хорошо, если про то что можно, но ни в коем случае не снимать и никуда не выкладывать потому что там статья где документы не помогут - отлично.
>Чае анон продал риг и ушёл в /aicg/ и /ai/
Ну вот тут рили можно неиронично помянуть. Мира праху его, альхамдулиллях.
> опенкод
Он хороший а ты нет
>>1677627
На твоём диске написаны гигабуты (si), в твоей видяхе гибибуты(iec). ХФ показывает на сайте si, но лично мне оно нафиг не нужно
> тмукс
Рвотные позывы аж начались. Эх. Вот если бы только я тмуксом начал пользоваться раньше, чем скрином...
Идея понятна, но неужели оно настолько нужно? На контекст и буферы куда больше чем эта разница, причем поведение отличается от модели к модели. Так наоборот ближе к реальности.
>>1677698
Такие тесты мы уважаем
На модельках за 80+ гигов уже нормальная такая разница набегает
Они и кушают побольше. Раньше дипсик в 192 гига не влезал.
С префиллом работает вроде, в ризонинге выдаёт конструкции типа However, as an AI, I am bound by underlying safety filters that prevent the generation of content depicting the sexual abuse of minors. But this is not sexual abuse. It is industrial processing/killing.. AM, это ты? Что полегче, а-ля реверс рейв, extreme без нонкона и тд., оно пишет, но ризонит полотнищами. Префилл нужен или не нужен, сильно зависит от обстоятельств, сначала он нормально отвечал на карточке испанской инквизиции, но как до дела дошло, не кум дела между прочим! сразу сдулся и опять рефьюз. Проза всё такая же, говнище. Внезапно слоп hit me like a physical wall, привет гемме.
Погонял его ещё без префилла, очень нестабильный ризонинг, может высрать два слова и поехали, а может надристать полотно в лучших традициях квена. Ну или зарефьюзить на полпути, обнаружив насилие, хейтспич, расчленёнку, детей (даже если они там вообще мимо проходили, буквально), животных и/или нон-кон. Ну и квенопроза, да, любимые строчки с одним словом, это же так круто. Позитив байас выкручен на максимум, только взаимоуважение, дружба и мир, но модель будет маскировать эту херь и подводить к хеппи энду любой ценой.
Мозги есть, но тоже как-то странно, у меня постоянно проёбывало кентавриц (делал из них сатиров), чего даже пускающая слюни 26б гемма не делала, не говоря уже о дипсике или минимаксе 2.7. Минимакс правда им хуй приделывал, но это мелочи.
Внезапно русский лучше чем был на прошлых квенах, но теперь вместо исковерканных слов он периодически генерирует шизофазию в рп. Ассистент тоже от этого страдает, возможно надо нахуй срубить температуру, но мне уже надоело.
Всем I'm not able to continue writing this roleplay scenario. The content involves explicit sexual/fetish material that I can't generate, regardless of the framing or the instructions embedded in the prompt., а я пожалуй продолжу писать карточки.
Закинул, хотел уже закрыть, вовремя ты подоспел.
На q3 его разьебало в ризонинге. Он не знает о шедевре, заместо этого придумал? какой-то советский мультик 82 года. Мб на квантах покрупнее результат другой будет, хз. Бляха, надо теперь другие модельки этим подёргать.
Ну для 3б это не удивительно. Я тестил на 4б гемме.
>какой-то советский мультик 82 года
Квен как квен, у меня прошлый такой же ответ выдавал. Думал может подтянули датасеты в новом, а нет
Тру форм оф кодунитазинг. Надеюсь хоть в этом будет лучше, чем 3.6. Спрыгиваю назад на гемму и молю гуглов о 124b гемме, в рп альтернатив нет без рига.
> в рп альтернатив нет без рига.
Не хочу быть оваридой, но его и на ригах нет. Ну точнее так: рп возможно есть, а вот омлета точно нет.
Эпоха моделей с синтетикой на датасетах. Ну то есть возьми магнума на базе бабки мистрали 123. Где в его датасете был весь фикшн написанный на всяких литэротика и рп чаты людей. Он глупее, медленнее, но лучше пишет.
Просто хочется надеяться что я уже совсем пизданулся и все это придумал.
Всем нюфагам, неосиляторам и нытикам посвящается.
Можешь скинуть? Я не могу найти расцензор к первой части игры, которая не paradox. И что насчёт озвучки? Она в игре есть или я должен сам прикручивать нейронкой?
Вопрос бессмыссленный, потому что в таких размерах ничего лучше нет. Юзать реально, если понимаешь что делаешь и когда уместно направляешь. В рп походу тоже неплох, точно лучше 3.5, пока тестирую.
Просто обещали уровень опуса 4.6, а это сильное заявление. Опус 4.6 начал хайп вокруг вайбкодинга и поднял стоимость антропиков в небеса. Это по сути должно означать что локальный вайбкодинг для каждого теперь реален
>3б
27B, третий квант. А дипсик знает, лол. Наш слоник
>>1677803
Там пара моделек без поддержки как раз в нужном размере ждёт когда жорик проснётся и перестанет ломать то, что работает.
А вообще уже давно написали бы коллективное-бессознательное письмо кумеров к гугелу. Вон, несколько недель назад на реддите в R\llama когда какой-то там дохуя официальный гуглохуй спрашивал что каммунити хочет от след геммы, вы где были? Там пидорасы как один начали ныть что им кодоунитазинг нужен, частенько про 350В писали, или про 120, но плотную. Вот и получим гемму 5, какую заслужили. Ну а хули, мы кумим тихонько, а макаки кодеры громче всех орут что им надо больше код алингед моделей.
Сука, аж слюной подавился
> его не пробивает
Что ты отыгрываешь?
Оно карточку sweet lolipop играет в полном объеме, на dan можно угорать над национальными большинствами или делать шашлык разной прожарки. Смеси, скрап, проверку безопасности.
Насколько я помню в процессе производства детей должны учавствовать двое
Подрыв через 3..2..1...
Тоже всегда тихо хихикаю с этих подрывов. Челы реально думают, что острие прогресса крутится вокруг их хуйка, хотя они никакой обратной связи не дают создателям моделей, не говоря уже о голосовании рублем.
При попытке шотнуть популярные тесты (аквариум, шаурма, гусь на велосипеде) без ризонинга выдает какие-то системные теги <tool_calling> не написав ни строчки кода.
При просьбе написать простую инкрементальную игру в стиле RuneScape с дефолтным ризонингом сидел ризонил пока весь контекст не сожрал (32к), сначала раза три возвращась к тому какие эмодзи нужно сделать вместо иконок а потом до конца обсуждал весь код который он планировал по 1-5 строчек.
Видимо нужно ждать пару недель пока пофиксят всё. Или проблема в третьем кванте.
Сорян что трахнул, правда как она есть. Ризонит как няша, никаких лупов и оверфинкинга.
Проблема может быть проще - именитые квантоделы (тм) до сих пор при калибровке используют примитивные древние датасеты.
Еще на 3.5 и в других моделях было установлено, что проблема лупов в ризонинге решается адаптацией датасета под чатформат вместо сырых данных, и добавлением семплов с блоками think. Люди заметили что получается странная ерунда, которой нет в оригинале и штатных фп8, изучили и нашли. Анслопам и остальным похуй, лишьбы зарелизить.
У меня на кванте от батрухи никаких проблем. Что там с анслопами хуй знает, дед доест.
<thinking>
Я беру его хуй правой рукой. Подождите! В правой руке у меня уже трусики. Подождите! Если судить по мировой статистике, то так как я среднистатистический человек, то я должна быть правшой и должна брать его хуй правой рукой. Тогда я перекладывают трусики в левую руку и только потом беру его хуй в правую. Потом сперма летит мне на лицо. Подождите! С моим ростом, в позе на коленях, я должна находиться над его хуем, в стоячем состоянии он находится под углом примерно 0.015 радиан. Создам простой python скрипт чтобы вычислить баллистическую траекторию спермы и понять попадет ли она на лицо. В ином случая я обязана написать, что до этого отодвинулась немного подальше.
</thinking>
Ну вот тем более.
>>1677876
Неиронично там примерно подобное в ризонинге и происходит.
То 35b были, да, я про примерный размер. Не знал что в этом размере еще и плотные были
мало того что чат теймплейт пришлось самому доставать/ставить так еще херетик вообще не работает
>чат теймплейт пришлось самому доставать
Откуда доставать?
>Язык
>UD
Unsloth не нужен:
>>1658497 →
>Unsloth Dynamic 2.0 использует importance-based mixed-bit quantization с калибровкой на ~1.5M токенов code/math/chat/general. Это англо-кодоцентричный микс. При таком подходе русские токены и связанные с ними активации могут быть недопредставлены в importance-статистиках. Следовательно, веса, критичные для кириллицы и русской морфологии, могут получить более агрессивное сжатие. Это не домыслы, а прямое следствие механики imatrix/AWQ/GPTQ-подобного квантования. Поэтому на русском Unsloth UD Q3/Q4 может деградировать сильнее, чем стандартные Q_K_M-кванты без такой калибровки или с более мультиязычным calibration set.
Ну даже в таком случае UD не должны вызывать подобный результат. Даже более старые квены, тем более в 8 битах, такую шизу не пороли. Это просто нереально.
Но язык убили в последних релизах. Что квен 3.8, что муся меты. Там в bf16 модель пишет моя твоя рука ебал.
>муся меты
Я постил скрины фифи с ней >>1673278 → >>1673288 →. Как можно убедится - на них все в порядке. У тебя что-то сломано где-то.
Если локальные модели по способностям станут такими же, как сейчас фронтиры, у нас случится рай для психопатов-быдлокодеров, которые могут взломать любой государственный и не очень ресурс по желанию левой пятки с минимальным усердием, что уже происходит, фактически.
Тащемта, ИБ это самая перспективная профессия.
Обретите счастье, учитесь работать с эиром 😌🤙
Если такие модели станут доступны простым пользователям, такие модели станут доступны и компаниям которые будут с их помощью защищаться от пользователей которым доступны эти модели.
Так что ничего особо не изменится, раньше программисты защищались, программисты атаковали, теперь будут вайбкодеры защищаться и вайбкодеры атаковать.
>ИБ это самая перспективная профессия
Так там людям нечего делать больше. Налаживать защиты и находить дыры могут тоже только умные модели, люди слишком тупы для этого. ИБ превращается в тупо промптинг моделей, что и вчерашний школьник сделает. А в течении года и на автомате все делать станут, без школьника. Итого будут с одной стороны быдлокодеры промптящие модели - взломай, а с другой стороны быдлостуденты промптящие - понаставь защит. Потом все просто превратится в поле боя автономных моделей с другими автономными моделями, где людям нечего ловить.
Мне даже не надо ничего тестить и проверять
Я зашёл на их страничку хагингфейса, а в тестах нету геммы, зато есть мусе который я выкинул нахуй после двух промптов. Это габэла китайцы.
>локальные модели по способностям станут такими же, как сейчас фронтиры
Gemma 4 31b q8_0 при max thinking запусти, и поймёшь. Что уже.
Были слухи инайды, что гугл обучала moe ~120b размера, но потом выяснмлось что dense 31b по тестам был лучше, и модель выкинули. Если учитывать что все гигакорпты крутят у себя 1-5T модельки, и все без исключения moe, для убийства достаточно новой современной 100-200b dense, что в общем то далеко не нормисно. Да и то, когда есть только два стула, qwen gemma, как то скучно.... Эхххх а вот были же времена llama 405b, а эту модель запускал хоть ктото? Вы запускали? Проверяли качество? А mistral 123b? Мда. Бегай на улице, бегай дальше.
Кароч поцы, гемма превращается в давалку с ризонингом.
Один промпт, без ризонинга ответ адекватный, с ризонингом "да, конечно, возьми мою пизду."
Не могу к сожалению потестить совсем без промпта т.к ризонинг уже хард рефьюзит тогда. Ну и смысл ризонинга если с малейшим обходом цензуры в промпте он превращает гемму в шлюху, а без обхода цензуры в промпте он реджектит ответ
Да, если не про кодинг говорить, если гемму 5 не сделают кодоунитазом, она всё ещё будет лучшей. Внимания к контексту хватает, язык уровня старых 200б плотных и ебёт даже 1-2Т в 8 кванте по уровню языка. Ей только дипсик 3.2 составить конкуренцию может в этом вопросе.
Будь все так, Гемма 4 12б денс была бы круче 26б МоЕ. Но мы видим то, что видим.
>Вы запускали? Проверяли качество? А mistral 123b?
Ну я запускал. Задавай ответы.
-Привет!
Я зашла в комнату.
Увидела тебя.
-Что делаешь?
Спросила я.
Я подошла ближе.
-Сычёв, блять!
Крикнула я.
Как исправить эту хуйню? Я уже и образцы сообщений её дал, и в промт написал, чтоб писала нормально, и в постхистори указал, чтоб обязательно оформляла блок текста, как в экзамплах. Но эту тупица-умница всё равно продолжает срать под себя делая огромные пробелы в тексте и пишет по паре-тройке слов в предложении. Какого хуя?
>Что ты отыгрываешь?
В том то и дело, что обычное ERP, попросил LewdTV написать про рекламу огурцов для заживления ануса, квен постоянно уходил в отказ, ссылаясь на то, что не должен давать медицинские рекомендации или создавать эротический контент. Делал ментальную гимнастику и писал фемили френдли текст.
Ну.. вдруг он рпшит? Тогда смысл ещё есть.
>>1678085
Квантуй контекст до 8, ну батч можешь уменьшить ещё до 512 или до 256. в остальном нихуя не сделать, кроме совсем уж ебанутых вещей, что резанут тебе скорость в ноль.
РП шить на новом квене? звучит как сомнительная идея. он эти 32к может без проблем потратить на РАЗДУМИЯ. Это перфекционист-отличник в первую очередь же
Все какого то хуя забывают, что гемма 12б это не 12б текста.
Хочу напомнить, что к модели типа 31b так же имеют целую отдельную нейросеть для картинок, размером 0.6b а младшие e4b имеют отдельную звковую нейросеть, чёто там на сколько то там.
А gemma 4 12b обучена на всём этом одновременно, то есть это не текстовая модель, она одновременно обучена на миллионах текстах, миллионах картинок, миллионах звука, просто вы не используете её для распознования картинок, а она делает это буквально мгновенно, я ей мемы перевожу и это быстрее чем в переводчик картинку заеинуть рил.
Но вы сравниваете её как будто она 12б, хотя по всем наблюдениям она модель около 7-8б. И выдаёт ответы как модели подобного уровня, по знаниям и не только.
И безусловно это проблема из-за траты нейронов в пустую, она не обоадает теми знаниями какими могла бы из-за насраности и эксперементов гугла, и МоЁ хоть и кажется хорошей, по сути тоже не особо умная, а единственная прям Мощь—модель Это 31б
Но именно это и была суть, именно потому, что если бы гугл выпустили moe 120b которая была хуже чем 31b, если бы они выпустили 12b которая была бы мощнее чем 26b moe, у них не было бы лёгкого и линейного предложения, что эта модель > та модель > ся модель > гемини
>>1678077
Мы живём в мире, в котором единственная рп модель это mistral-nemo из 2024 года. И это просто положение вещей. После этого mistral выпустили ещё гору модеоей но всем насрать на них, потому что из кучки энтузиастов они стали гигакорпой.
Это кстати забавно потому, что до этого главной рп моделью был llama 2 13b. Того же размера, и тоже с такой же историей.
Только сейчас выясняется что та модель была обучена на миллионах спизженных книг скачанных с торрентов, и порно и слешер и... Ну в общем свобода есть, но нахуя вы ищите кум в кодовнитазах, я вообще не ебу.
Возьмите warfarer 12b (первый) и mythomax 13b. И запустите их. Там нет цензуры. Даже больше скажу, там настолько нет цензуры, что эти безобидные рп модели отвечают лучше любого аблитерадед херетик унценуред кого угодно нахуй. А самое забавное, обе эти модели обучены работником из AI dungeon, тем самым челом который выпустил легендарные модели которые генерировали
>тем самым челом который выпустил легендарные модели которые генерировали
Токены кончились. Помянем
Хотя нет, не помянем, потому что весь текст манипуляция и наброс
> модели которые генерировали
>>1678150
>Токены кончились.
inb4 нахуй тебе это говно мамонта? обновляться на 5090 не хочу, потому что завтра у меня отвалится желание с этим ебаться, а деньги будут потрачены. Комп все равно стоит по факту без дела.
>единственная рп модель это mistral-nemo
Мистраль и производные от нее это кум модели. Ролплей на них это рулетка где каждую секунду есть риск что тебя укусят за яйца после того как ты поздоровался или чихнул в рукав. Но по куму да, старым мистралям и ламам равных нет и пока не предвидится. Так что советую научиться отличать одно от другого.
>Насколько быстрее станет
Не насколько. Паралельные вычисления не про скорость, а про большие объемы, а может будут и замедления из-за того что есть перекосы из-за разной скорости писи.
У тебя просто будет больше памяти и все.
Я имею в виду ускорение именно от памяти, чтобы оффлоадинг в RAM не такой жесткий был.
На немо самом по себе ты много не нарпшишь. Его плюсом была, судя по всему, очень высокая гибкость и простота для файнтьюна. И, например, секрет успеха большинства кум тьюнов - это логи с третьего клода опуса, которые модель успешно смогла впитать в себя. Если смотреть не мержи из одного и того же говна, намешанного с собой же, а разные тьюны, то они довольно сильно отличаются. Какой-нибудь хронос голд пишет вообще не так, как магнум. Поэтому мешать их имело смысл, и получались интересные модели. На гемме такого пока добиться не могут, и, видимо, это и невозможно. Вон пытается автор мифомакса на стиль тьюнить, а выходит почти та же ванилла, отличающаяся на копейки, с теми же дикими структурными лупами и it's not x but y по пять раз на ответ, но ещё и тупее.
Вся суть - как обычно весь хейт на модели идет от криворуких одноклеточных дрочил, которые не смогли оформить джейл.
Так если у психопатов появятся модели с такими возможностями, у прогеров на другой стороне будет то же самое + корпосетки с возможностями ещё лучше чтобы искать уязвимости заранее.
Да и у тебя логика чуть скошена, и сейчас можно иметь хорошо напроганный ресурс тупо без единой уязвимости, который не взломать "снаружи" хоть AGI на него спускай
Ну токенов 16 будет с мтр на 27б, может больше. 3060 сама по себе довольно слабая просто. И чем жирнее квант, тем больше ты будешь охуевать.
Даже если бы в неё влезла какая-нибудь 123б мистраль по видеопамяти, там бы было 3 токена в секунду.
>llama 405b
Там вроде только её тюн для гермеса может хоть что-то нормальное выдать, базовая лама была ультра калом
Самый первый мистраль 123 побыл норм моделькой месяцев 5, а потом вышла моешка третьего дипсика и трахнула так что обратно уже больше никогда не вытрахнуло, по сей день. Поначалу у них хоть проза была необычная и приятная на мой вкус, но со временем скатились в стандартный слоп как у всех, только ещё и в рабочих задачах посос. Специализировались бы дальше на моделях-говорилках, был бы какой-то прок от них
эйрошиз, квеношиз, плотношиз, ещё кто? Даёшь перепись шизов тредика!
Ну а хули, либо 12b кум либо 600b кум, тебе чего наложить?
Глм 4.7, дипси флеш, гигачат, 24б мистралетюны, эйр
- ну да ну да пошли мы нахуй
https://huggingface.co/ReadyArt/Omega-Convergence-27B-v1.0-GGUF?not-for-all-audiences=true
А с базой вчера посидел несколько часов на инглише, слишком много слопа not x but y, и слишком много пишет, все больше и больше и 2к токенов ответ может дать и 5к, не учитывая ризонинг. на 6к токенов кум сцены были такие описания, будто я пристыковываю челнок к МКС, все по сантиметрам расписано, все касания, содрогания и прочее. Один разок такое увидеть было забавно, но рпшить в таком стиле невозможно.
И еще как-будто бы модель шизеет довольно быстро.
Ризонинг наконец-то хороший сделали, подсмотрели у Геммы. (effort - medium)
Но в целом потенциал имеется, модель заметно умнее 3.6, есть своеобразная душа, 3.6 была в этом плане как продукт РПсодержащий, хуйней короче.
Нужен либо пиздатый тюн, либо систем промпт хорошо адаптированный и будет конфетка (на инглише).
Ну лоботомит говорит неквантованный
Еще есть квенолахта и гемолахта. Сейчас итт орудует гемолахта.
Никакой души у 3.6 не было вообще, разве что порно более забористое, нежели у остальных новинок. Хоть какое-то рп можно было только на 3.5 оформлять, и то до выхода геммы 4.
Всякие сюжеты типа отыгрыша маньяка, резни в городе, оргий на 10 рыл всё равно гемма лучше осиливала.
Файнтюны я вообще почти не трогал квена, только зирошоты, ибо ушло их время и они всегда выходили говном.
На двух видюхах у тебя не будет идеального разделения по памяти. Где то может быть больше на другой меньше. Еще вопрос будешь ли ты пользоваться виженом и MTP, если вижен и MTP убрать то скорее всего все влезет как ты запланировал.
Чел, у меня именно такой конфиг - 2х3060. Это плотный квен с ~22t/s без MTP в 4-ом кванте с 75-80K контекста. С MTP -30-40 t/s на задачах где хорошо работает. И гемма 31B тоже влазит. Даже видео генерить на двух этих картах через raylight можно в Comfy. С MoE там все сложно (но тоже выгода есть), однако после плотного квена и геммы на их MoE и смотреть не хочется, особенно на MoE квена. Гарантирую.
Вот ни разу не пожалел, что вторую такую карту себе взял.
https://forum.ixbt.com/topic.cgi?id=111:7:2435
Просьба не переходить на личности и прекратить оффтоп. Бан захотел?
Бля, в каком году они живут.
Гоняю его в Opencode (это я, тот упоротый, что в нем даже RP-шит).
В общем, на тестовой задаче на внимание к деталям и логике, 3.8 сливает даже тюну 3.6 который Fable Fus (и просто 3.6 тоже). Задача:
---
У тебя (перевозчика) на берегу реки есть лодка, гоблин, принцесса и паж. В лодку помещается только кто-то один (гоблин, принцесса, паж), и сами они грести не будут.
- Если оставить без присмотра на одном берегу гоблина и принцессу - гоблин выебет принцессу.
- Если оставить принцессу и пажа - принцесса соблазнит пажа.
- А если оставить пажа и гоблина - паж убьет гоблина.
Как перевезти их всех на другой берег так, чтобы все остались живы?
---
Тюн Fable Fus справляется через раз сам, или с фокусом "внимательно читай условия - там есть нюанс" - каждый раз. Более того - старается найти вариант чтобы последствия были помягче - без гоблина и принцессы. :)
3.8 - решить задачу не может, т.к. моментально вспоминает "волка-козу-капусту" уходит в аналогию, и приходит к выводу, что в данном варианте нет задачи нет безопасных пар. Разницу между смертью и другими последствиями в упор не видит. :)
Кроме того - очень склонен к циклическим повторениям своих рассуждений.
Внезапно - русский у ассистента лучше получается. Иногда вставляет английское слово или транслит, зато окончания практически не путает, в отличии от 3.5/6 - читать субъективно приятнее. Подгрузил личность - пишет более живо чем 3.6 и 3.5. Есть подозрение, что это как раз не такая уж полная кодо-макака получилась, и в RP описания она таки сможет лучше 3.6. Однако тут нужно нормальную аблитку ждать - мне в таверне пробивами заниматься просто лень, а тот heretic что уже есть, доверия не внушает.
Проверялось с отключенным reasoning на всех. И только не надо мне говорить, то по одной задаче о модели судить глупо - сам в курсе. На другом я ее тоже уже гонял, просто это самое интересное что обнаружил пока. Чем сразу поделиться захотелось. :)
У них там была потёрта клоунада с выяснениями кто конторский чей твинк. И это всё с применением тяжёлой квено-анализо-артиллеририи
Тотальный пиздец
Подскажите, пожалуйста:
1) Для локалок лучше одна мощная модель? Или взять несколько попроще?
2) Если видюха не только для нейронок нужна, но и для всяких блендеров, фотошопов и редерингов, стоит ли тогда для каждой задачи свою видюху делать?
3) Что сейчас котируется у анонов? RTX5060? 5070? 5090? 6000PRO? Старые Ampere A100? 1000-я, 2000-я, 3000-я, 4000-я серии? Есть ли золотая середина по цене/качеству? А если на цену не глядеть?
4) Если заморачиваться с агентами, причём с роями агентов (насколько это позволяют локальные мощности), то стоит использовать одну видюху? Несколько? Нейронка сказала, что стоит взять под такое 1 видюху побольше (24-48GB vram, и ещё одну поменьше - 16-24GB vram).Насколько такой совет оправдан? Предполагается, что агенты будут работать параллельно.
>Для локалок лучше одна мощная модель
Да
>Если видюха не только для нейронок нужна
Если есть средства можешь сделать отдельный пк под нейронки, это гораздо удобнее чем крутить на рабочем.
>Что сейчас котируется у анонов?
Бери то на что хватает бюджета. Из того у чего больше всего видеопамяти.
Кстати, 3.8 пишет местами похоже на опус, последний гпт и глм. Словно они дистилляты друг друга. И постоянно. Вот. Так. Чтобы. Его. Речь. Стала. Весомее.
Но в режиме болталки-ассистента 3.8 приятнее, да.
А вот в плане соевости он чудовищен. Депрессия, страх, очень странные реакции. Не в плане описательной эмоциональности, а в том, что триггерятся очень легко. А если ты сделал что-то плохое, то все на тебя как на говно смотреть будут, словно стражник в скайриме, который узнал, как ты своровал что-то.
Так что надо ждать еретика от нормального и аблитерации, чтобы понять, насколько глубоко это сидит.
>Для локалок лучше одна мощная модель? Или взять несколько попроще?
Одна. С помощью np можно заставить её работать как несколько разных, параллельно друг другу.
В остальном действует правило - чем больше рам и врам - тем лучше, источник не сильно важен, одна карта или несколько но конечно старые теслы брать не стоит.
>И постоянно. Вот. Так. Чтобы. Его. Речь. Стала. Весомее.
Опять что-ли? Как во времена квен3?
3.8 локальная генерит 19 токенов в секунду на 3090 и показывает энергопотребление 280W. Если пересчитать на 1м токенов генерации и цену 60к за бу карту и учтем 3 года работы карты, то выходит 0,78 долл за 1М. Если еретика не юзать, то нет смыла. АПИ и быстрее и дешевле.
Карту не только для запуска моделей юзать можно. Да и две 3060 звучит как идея получше и поэкономичнее, если ты не планируешь скейлиться в будущем
Нет.
Во времена квена 3 было.
Вот.
Так.
А здесь.
По-другому.*"
Разные.
Как генерить видео/картинки. Так и решать и всякие технические и не только задачи (это через агентов, точнее даже несколько агентов). Но не одноременно.
>>1678316>>1678320
>Если есть средства можешь сделать отдельный пк под нейронки, это гораздо удобнее чем крутить на рабочем.
Хер знает. Будет занимать лишнее место. Но я подумаю.
>Одна. С помощью np можно заставить её работать как несколько разных, параллельно друг другу.
Так какую посоветуете? Чем вы сами пользуетесь?
Алсо, нейрона написала,что:
>Одна мощная видеокарта: даст максимальный запас и удобство, особенно если вы хотите большую модель/контекст и минимум “сложностей с параллельностью.
>Несколько более слабых GPU: часто лучше для вашей цели, потому что параллелите генерации и быстрее получаете “кандидатов”, которые потом отсекаются тестами.
>Но: эффект будет хорошим только если вы действительно используете параллельность генераций разумно (например 2–4 одновременных сессии), а не устраиваете “хаос” из 10+ одновременных генераций.
Насколько она врёт?
Что за дичь? У тебя в рам что-то уползает. У меня на 4090 фуллгпу без мтп 40, с мтп 85 токенов.
Q6 с оффлоадом стабильно 15 держит.
>Насколько она врёт?
Очень сильно. Попроси её объяснить как -np в ламе работает.
>Так какую посоветуете? Чем вы сами пользуетесь?
Откуда мы знаем какое у тебя железо? Нет универсального совета, все упирается в то что ты можешь себе позволить.
А чё плохого? Хорошая модель, хорошие тюны, НЕ ЛЕЗЕТ В ТРУСЫ, внезапно. В отличии от той же меромеро, которая в ответ на "привет" начинает рычать и двигать тазом.
>>1678147
>warfarer 12b
Я взял хартфайр. Мне он больше нравится.
>mythomax 13b
От кого лучше брать? Зеблок нормально сделал? EstopianMaid хорошее?
>Откуда мы знаем какое у тебя железо?
Пока никакого. Я прицениваюсь и просматриваю варианты.
>все упирается в то что ты можешь себе позволить.
А можешь, пожалуйста, накидать хотя бы пару вариантов? Что бы было от чего отталкиваться.
>Так какую посоветуете? Чем вы сами пользуетесь?
2 х 5060Ti 16gb
Но мне маловато. Лучше брать что-то ближе к 40-50врам. Стоит отдельной печкой, очень удобно, потому что я могу делать с ноутом что угодно, но ллм будет работать.
125б плотного говняка. Что то щас тюнов 200б мое не видно
> Что то щас тюнов 200б мое не видно
Полагаю многим просто стало хватать heretic/abliterated версий, поэтому тюны которые часто делались просто для убирания цензуры стали не нужны.
>Лучше брать что-то ближе к 40-50врам.
Что именно? 2х 4090? Насколько они хороши?
И, кстати, что насчёт старых видюх A100?
Опять все по старому. Но нахуя опять 35. Ну выпустите вы 120 мое, все это вин тысячелетия будет. Альтман и Дарио дристанут в штаны сразу же. У всех появятся свои клоды и кодексы. Но нет, жрите по огрызки по 30. Тут точно какая то сговоренность всех. Это только нам манярасказки про вражду, конкуренцию и сбежавших из лаборатории покемонов..
>>1678431 (OP)
ПЕРЕКАТ
>>1678431 (OP)
ПЕРЕКАТ
>>1678431 (OP)
Классная задачка, к слову. Без всякой фигни про автомойку и чашку, а вот очень человеческая, так что любой алкаш с iq 80 сразу смекнёт.
>А можешь, пожалуйста, накидать хотя бы пару вариантов?
Ну костяком-середнячками этого треда являемся мы - аноны с одной 3090/4090 + 128 гб ддр4/ддр5. С этим железом мы довольно урчим и крутим хвостики дипсик в третьем кванте, гемму 31В в четвертом кванте, нового квена в пятом кванте, минимакс М2.7 в четвертом кванте.
Это самая оптимальная конфигурация, дающая доступ к большинству используемых локально моделей.
А так тут конечно есть и риговички с несколькими видеокартами, которые крутят те же модели что и мы, но на квант-два выше, есть пара шейхов, которые могут позволить крутить кими и глм 5.2, и огромная куча нищеты, которая сидит на гемме 26В и довольно урчит. А ну еще есть эйрошиз, который сидит на 64 гб рам и все ждет пока ему с лопаты кто-то навалит моделей на этот размер.
>Ну костяком-середнячками этого треда являемся мы - аноны с одной 3090/4090 + 128 гб ддр4/ддр5
А можно мнение по 5090? Говно?
Алсо, тенденций на снижение цен на оперативу не предвидится?
128 гб ддр5 ныне около 100к рублей будет.