Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №270 /llama/
Аноним
20/09/26 Вск 21:31:46
№
1
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1707443 (OP)
>>1705886 (OP)
Освятил тред.
>Риг АМД господина на ОП-пике
>нвидиянищуков
...
>тем временем в ОП-картинках...
>4 P40 на майнерской плате
А вот это реально боль, 1x PCI ex слоты в майнерской плате.
Автор сетапа мудак, нужно слоты не менее x8 на серверной плате, тогда более-менее адекватный сетап бы получился.
>Дохуя ты промптом решил?
Ну да. У меня нет никакого ассистентослопа и тех проблем типа соглашаемости про которые ты тут воешь. Потому что обиженка и выдумал каких-то врагов
>Вы
Вместо того, чтобы разобраться и кайфовать от хорошей модели, сидишь с кислой рожей и ноешь. Похож на эйрошиза, не удивлюсь если ты и есть
Наверно можно было бы и помочь, но зачем, если ты уже всё для себя решил и предпочитаешь быть нытиком. К тому же уже давно всё разжевали когда обсасывали темплейты для того же Эйра и когда чайноанон делился своими промтами
>осталось только продать душу чтобы купить 256 оперативки.
Оперативка продается на авито вот по такой цене. Можешь птату и проц продать потом.
>нестабильный что-ли
Он не должен быть нестабильным, правда я вижен не щупал, но 0731 пользуюсь на регулярной основе.
Попробуй 0731, ты будешь первым, кто честно проверит три модели, походу.
>ud_q2_k_xl, a вижен в ud_iq3_s от анслопов. И q3 прям заметно медленнее, всего 5.5т\с, в то время как q2 "летает" на целых 8.5-9.
Урок тебе на всю жизнь насколько iq кванты(и да, анслоповский q2_k_xl - это тоже iq квант) в нулину замедлены по сравнению с k квантами. Бери квант от тредовичка https://huggingface.co/BahamutRU/DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed-GGUF - это честный квант без iq говна, увидишь реальную скорость этой модели.
Судя по логике, ты переезжаешь не на серверную плату, а на обычную, в итоге там будет один слот PCIe5 x16, следовательно у тебя одня видяха. Думаю прироста не заметишь вообще(будет минимальным), лучше сразу обновляйся на риг с серверной платой, потом сможешь расширяться, докупая видяхи.
При декодинге обмен генерациями пренебрежим, токены в секунду будут те же. А вот в префилле идет стриминг весов на видеокарту по шине для обсчета сразу батча, от шины он зависит напрямую (как и от размера батча). Если фуллврам - пофиг, хоть х1.
Если несколько карт - в лламе в режиме layer стриминг идет на самую первую, подключение остальных практически не важно. Вроде как в режиме тензор должно стримить на все, но он почти нигде не работал чтобы проверить. На фуллврам с тп от псп шин сильно зависит процессинг, может сильно пострадать при том что генерация ускорится. Если катать фуллврам вллм и другие - там при процессинге что в тп, что в пп знатные обмены, потому до определенного уровня его скорость будет во многом определяться шиной.
> ддр5
> 256 оперативки
64гиговые модули стоят на уровне cmp170 если что
> на ам5
С точки зрения ллм смысла и нет. Стоит рассмотреть риг не некросерверных платформах, ну или посвежее но там совсем цены ад.
Кстати и второй сетап тоже говно, обычная бюджетная плата где физически нет возможности каждой видеокарте выделить минимум x8 линий.
Скорость PCIE актуально только при tensor parallelism. В режиме layer split я лично комбинировал 4.0 x16 с 3.0 x4 и просадок никаких не было.
> С точки зрения ллм смысла и нет.
Разве что там будет броадкомовский сплиттер и линукс с патченым драйвером под p2p.
>>1708983
Там может быть х16 на первую, остальные чипсетными х4. Учитывая зоорпарк из трех архитектур видеокарт - разумное решение.
https://rentry.co/ne4gs3x2
Начало проработано больше, чем конец.
Ну ну. Мне твоя помощь не нужна, я тебе просто скажу хорош пиздеть. Решил он. Нихуя ты не решил. То, что гемма слоповая, излишне податливая и крайне плохо тюнится знают все. Решения ни у кого нет.
>У меня нет никакого ассистентослопа и тех проблем типа соглашаемости про которые ты тут воешь.
Ага, но пруфов ты конечно же не принесёшь потому что я такой вот нехороший шиз а может даже вообще эйрошиз. Логично нет.
Слабый байтик на пресетик, обойдёшься. Пруфы уже кидал и не раз, ктож виноват что ты отказываешься их видеть
Чел мне не нужен твой священный пресетик. Ты просто результат покажи.
"Пруфы уже кидал" это не пруф. Но раз для тебя это пруф, то я тоже кидал пруфы, что гемма это не более чем слоповый ассистент и никакими промптами это не исправить.
Ладно, ладно. Пойду лучше ещё слопика геммы покушаю чем с тобой спорить. Ты крутой 🤙
Баляяя... Я сделал хуйню, и получилось говно...
С одной стороны, я долбоеб, потому что по факту обнулил состояние обучения, и стартанул второй прогон тюнинга со стартовым лернинг рейтом.
С другой стороны, МЛщики, че за хуйня? Почему ваши нейронки это такое вонючее пердолево?
Первый раз запустил треню - лосс стоит на месте. Второй раз запустил треню на тех же данных - лосс вырос. И в итоге я не могу сказать ПОЧЕМУ нахуй.
Для запуска тебе нужно выбрать десять тысяч параметров тюнинга модели, чтобы в итоге увидеть распидорасенный лосс, и потом сиди гадай где ты проебался. Или еще хуже - иди окунайся в эти градиенты ебучие, пытайся понять где там сигнал не сигнал или еще какая хуйня.
Это че за ебатека? Это не инженерная область, а сраное гадание на таро. Ссу всем МЛщикам на лицо.
Я читал гайды, один, второй, третий, гуглил всякую поеботу. Чтобы что, через 18 часов всратых машинных ресурсов получить какашку? Вы там охуели?
Нейронщики забрали все области у алгоритмистов, якобы научили матстат чтобы он сам вычислял нужные фичи в датасете и че-то там предсказывал. И в итоге вы дебилы нихуя не можете придумать как сделать, чтобы обучение было стабильным автоматически? Вы чем вообще занимаетесь вообще? Почему мне надо читать десятки статей, выбирать сотню оптимизаторов и шедулеров, крутить тысячу параметров этих оптимизаторов, которые блять нихуя не имеют никакой человеческой интерпретации? И единственное что можно сделать в этой ситуации - тупо перебрать сотню вариантов, пока не найдется подходящая комбинация, которая не взорвет тебе лосс. Чем это отличается от астрологии?
Все. Я конченый.
Нашел еще лучше - SummaryCeption, прям то что надо. Главное в настройках расширения, в самом конце где промпты добавить строчку: Write only on English; Тогда прям красота будет.
> Почему ваши нейронки это такое вонючее пердолево
Так и есть, особенно страшно когда начинаешь, ведь тут слишком много вещей о которые легко споткнуться. Когда привык их уже не замечаешь, но продираться придется долго. Можно отучиться в универе, там все объяснят.
> Это не инженерная область
Да не, то же самое можно сказать про любую отрасль, когда там куча управляющих параметров и ты не в курсе как они работают и коррелируют. Мл - ужасно душная и заморочная область, но с высоким уровнем абстракции, которая создает ложное чувство простоты чтобы тутже вонзить тебе нож в спину как только расслабишься.
> как сделать, чтобы обучение было стабильным автоматически?
Так оно стабильно если данные норм и нет дичи в параметрах.
> тупо перебрать сотню вариантов, пока не найдется подходящая комбинация
Не не, тут нужно понять что конкретно происходит, перебирать можно вечно.
Иди обниму, все кто пердольными вещами занимаются через этот пожар проходили.
Для теста использую пока Гемму4 26а4 в Q8 с виженом, и таки страницы манги она на русском описывает весьма неплохо и точно на первый мой непритязательный взгляд. Естественно у модели есть инфа о том, что за мангу она ковыряет, и её общее описание.
Так что возможно именно для этой задачи плотные модели будут даже избыточны.
Суммаризацию главы с тем, как это делает человек, сравню правда чуть позднее, надо поправить немного.
>1
всратый нищий колхоз
>2
всратый зажористый колхоз
>3
Вот мне интересно, человек потратил несколько миллионов рублей. А потом сидит такой и думает "Хм, наконец-то я сейчас кубики блестящие разложу, красивенько так, поставлю пластмассовую бурятскую блядину на это все, сфоткаю и скину на двач, хыХЫ. А потом пойду в песочницу, в машинки играть".
Вердикт:
Инфантильный позер - сын вороватого росейского чиновника. Но это не точно, тупа вайб такой.
>4
Тот же автор.
На фоне всего этого, амуде-боярин выглядит как высшей степени разумист, альфа и омега, апологей разумности, стержень мироздания, 7 раса, хаваяющая на завтрак темную энергию, укатавшись в незримую материю вселенной и запивающая молоком гравитационных волн.
Апогей разумности это я. Одна видеокарта: GTX 1650, 4 GB VRAM. Избранные тюны микромоделек. Правильные настройки в override-kv. Элитные истории, элитный РП, элитный кум. Англюсик онли (руслоп не употребляю). 20+ токенов в секунду.
На дебилов с кучей видеокарт смотрю как на абсолютных дебилов.
>Так оно стабильно если данные норм и нет дичи в параметрах.
Учитывая, что параметров десяток, для каждого хоть и существует какое-то "дефолтное" значение, обычно также существуют и рекомендации когда этот дефолт надо изменять - уже этого достаточно, чтобы обосраться по полной и не понимать в каком направлении двигаться.
Лернинг рейтов мне предлагало условно 4 штуки, ранк лоры 2-3 штуки, альфа лоры еще пара штук на каждый ранк. Уже 16 вариков по минимуму. И это только начало. И частенько нельзя сделать 1/10 часть прогона - нужно запускать полный прогон, чтобы увидеть лосс упал или не упал в итоге.
>Не не, тут нужно понять что конкретно происходит, перебирать можно вечно.
Увы, у меня в наличии только один инструмент отладки - это лосс.
Ну допустим понятно, что треня изначально нестабильной была. Хотя тоже хуй знает стабильной или нет. Если ЛР слишком маленький - оно тогда бы просто ничего не учило. Тогда с каких хуев на втором запуске вдруг нестабильность вылезла и лосс пополз вверх?
Даже про ЛР нельзя однозначно сказать надо больше или меньше. При маленьком оно может свалиться в хуевый локальный минимум - и там начать распиздрязг с лоссом. А с большим оно может просто никуда не попасть и скакать вокруг да около.
Датасет? Ну хз, может и не идеальный, но вроде и не совсем хуевый, до 99.999% идеальности доводить это охуеть можно.
Лора ранк и лора альфа - ну тут вообще хуй пойми в какую сторону крутить. То ли ранка мало (много новой инфы не усваивается), то ли альфы много (лора тюнинг взъерошивает всю модель).
А каждый эксперимент - 3-4 часа компьюта, и потом около суток кулдауна до сброса лимитов.
>21/09/26
>GTX 1650
>4 GB VRAM.
>Апогей разумности это я.
Сидел бы ты хотя бы на 16ГБ - можно было бы сказать, но в таком случае ты мало бы отличался от других анонов, а так просто фрик еще и кумер
> рекомендации когда этот дефолт надо изменять - уже этого достаточно, чтобы обосраться по полной
Да, эти рекомендации взяты для конкретных кейсов. Буквально частная производная от многомерной функции, что справедливо в одном наборе параметров, будет иным для другого.
> Лернинг рейтов
Наиболее сложное поскольку зависит от оптимайзера, батча и прочего. Для лоры с адамв и невысоких батчей оставь дефолт 1e-4.
> ранк лоры
Просто ее размер, на обучаемость не влияет
> альфа лоры
Множитель, ставь в диапазоне от четверти ранга до него, или просто приравняй рангу и забудь.
> это лосс
У тебя там тренировочный лосс, который может куда угодно плавать, погода на Марсе. Отведи часть датасета под валидацию и смотри на валидационный. Только с этим осторожно, лучше вручную подели чтобы там были примеры из разных датасетов, охватывающие все участки.
> лора тюнинг взъерошивает всю модель
Вут
Для диагностики помимо валидационного лосса выведи себе нормы градиантов, а также указание конкретных слоев где они максимальны и минимальны. Это поможет понять что что-то взрывается и локализовать, скорректировать альфу если она совсем уж неудачно подобрана. Ранг лоры ниже 16 лучше не ставить, не обучится толком. Лучше сразу делать декомпозицию - дора вместо легаси лоры. На какие слои peft идет, только атеншн, или mlp включены?
Сначала так и подумал, но мысль-то правильная, гнаться за размерами не рационально пока что
>> ранк лоры
>Просто ее размер, на обучаемость не влияет
Ну как ллмки пишут, слишком большой ранк может приводить к оверфиттингу. Слишком маленький ранк может быть слишком тупым для каких-то сложных связей.
>Отведи часть датасета под валидацию и смотри на валидационный.
А как это работает вообще? Аутпуты же это рандом. Или оно по всем предложенным токенам от семплера ищет хоть какое-то попадание в референсный ответ?
>> лора тюнинг взъерошивает всю модель
>Вут
Чем больше альфа, тем больше влияния новых весов на веса исходной модельки. Слишком много альфы - тюненх ужарит модельку.
>На какие слои peft идет, только атеншн, или mlp включены?
Все слои, шоб круче было. Квен щас посоветовал только аттеншн использовать для стабильности.
Да гемме будто похуй на промпт, как бы тут не поупили этими инструкциями, из-за ужарки в детерминизм даже промпт еле двигает свайпы. С десяток уже их испробовал и везде примерно один ответ.
> к оверфиттингу
Там похоже другой вид оверфиттинга имелся ввиду. Лора - мощный регуляризатор, но поломать и всрать она может на любом ранге.
Если утрировать, низкий ранг = запоминание низких частот и более общих закономерностей (уровня "если просят это - ответь в таком стиле") с низкой детализацией и причины и ответа. Например, учишь ты модельку что когда ей предлагают кумить - нужно прыгать на хуй. Но запомнится более общий паттерн "что-то предлагают = становиться хорни и соглашаться". При этом, сова будет натянута на глобус очень грубо, возмущение низкоранговой лорой может быть кривым и косым, из-за чего трейнлосс как раз поползет вверх, а валидационный снизится.
Высокий ранг = больше емкость, более точно и детально. Уже будет различать, что прыгать на юзера нужно только если зовут действительно в кровать, а не просто на чашечку кофе. Или что существуют фетиши, где наоборот нужно вести себя грубо по отношению к юзеру а не быть покладистой. Но при этом падают способности к регуляризации и демпингу, запомнятся также все огрехи, а если датасет недостаточно разнообразен и мелкий - буквально запомнит сам датасет слово в слово.
Потому нужен баланс. Какой сейчас стоит?
> А как это работает вообще?
Также как и замер kl дивергенции, у ллмки спроси пусть объяснит.
> Слишком много альфы - тюненх ужарит модельку.
Не ужарит, но если сильно накрутил - придется снижать лр чтобы не было резкого оверфита и значения в матрицах не получились слишком уж малыми. Это можно посмотреть просто по std в получившихся весах.
> шоб круче было
Датасет для этого нормальный нужен где новые данные есть. Так действительно лучше только на атеншн накинуть для начала.
Всё так, 99% адекватов на борде это АМД господа на Линуксе.
Вот мой сетап:
~/llama.cpp/build$ ./bin/llama-server --list-devices
Available devices:
ROCm0: Radeon RX 7900 XTX (24560 MiB, 24518 MiB free)
ROCm1: AMD Radeon PRO V620 (32752 MiB, 32722 MiB free)
ROCm2: AMD Radeon PRO V620 (32752 MiB, 32722 MiB free)
ХаггинФейс. Итоги.
На очереди imatrix.
Покопал совсем чуть-чуть и знаете что. Здесь часто слышу визги о том что imatrix "убивает русик".
Ну так всё же зависит от того как этот imatrix создавать! Всякие там радермахеры они же не делают на русике фокус совсем. Можно делать свой, ru-i-matrix и будет маленький размер и хороший русик! УУУУ блядь. Почему никто до сих пор этим не занялся? Только ноют.
Вонючее меньшинство против тихого большинства.
И так во всём, вбросы от буйных без измеримых и воспроизводимых результатов ничего не стоят
Скорей всего после покупки Нвидией проект вообще закроют. Многие то и не знают, что такие крупные корпорации часто покупают проекты с целью уничтожения. По тому как Жоре стало похуй на проект после покупки, можно сделать вывод что для этого его и купили.
Хз что ты пытался сказать. Есть сомнения, что и-матрикс убивает русик? Посмотри типичные иматрикс датасеты. Там русский, бывает, присутствует, но наряду с кучей других нахуй не нужных языков вроде норвежского, африкаанс и так далее. Дохуя упора на кодинг, математику, науку, энциклопедические статьи - и это всё на ингрише.
Покупают конкурентов которых легко убить. Закроешь llama.cpp - появится форк llm.cpp через неделю и вся аудитория очень быстро переползет туда.
Я уж молчу про то что llama.cpp в принципе не конкурирует ни с одним продуктом NVIDIA, поэтому чего они этим добьются кроме просранной репутации и 13 миллиардов - непонятно.
Вот положить болт на нормальную поддержку AMD внутри llama.cpp они могут. А чтоб прям убить llama.cpp - врятли.
Он не только русский убивает, но и программирование. В датасете обычно мало примеров. Единственное что более-менее норм остается, это английские чаты и проза, ну и все что в википедии, потому что датасет весь из этого. Матан остается с наукой, потому что его дофига в википедии.
мимо
Если ты делаешь Q6_K, то зачем твои вскукареки про imatrix вообще? Иматрикс весь влияет на Q4 - тут мощная зависимость, как разные модели с ним или без, на Q5 уже послаблее, часто незаметно, на Q6 никакой разницы есть там иматрикс или нет.
Q6_k это просто пример был. Так-то у меня есть интерес к IQ4_XS и ниже (некоторые жирные модели у меня влазят только в IQ2). А ещё интересно, что можно выжать из IQ1
А вспомните когда в конце прошлого только вышел долгожданный глм 4.6v, не успели его опробовать и сразу вышел солар в начале года. Были такие надежды.
И каким то образом всё это задушили меньше чем за год. 100б > 700б.
Какой-то шизотьюн квена утверждает что разъебал всех корпов в общении. Верим?
GLM flash все равно отстой какой-то, мне Q5 / Q6 не понравилась, сильно плывет по вниманию к деталям.
>>1709220
>квен
Хорошо пошутил
Крч склепал мини-датасетик для imatrix на 120 Кб, почти полностью состоящий из русского (ролеплей и короткие истории) + добавил парочку историй на английском и парочку примеров кодинга (запрос-ответ).
Может это и не много, но для сравнения вот посмотрел что у бартовского там из русика в датасете - оказывается, какие-то крохи вообще, около 20 коротеньких текстов - что-то из новостей, из рекламы надёргано, вообще дичь.
Вот один пример:
При заливке не горячим, а остуженным до комнатной температуры маринадом капуста потребует более продолжительного маринования – с неделю, но хрустеть будет еще лучше. В этом варианте приготовления в ней сохранится больше витаминов и других полезностей, так что, если вы не спешите, можете попробовать. Только специи (лавровый лист, перцы и др) лучше проварить в маринаде вместе с солью и сахаром, чтобы они полнее раскрыли аромат.
А в остальном там просто куча других языков и овердохуя кодинга.
В общем, заквантовал в IQ3_S. (ах да, это Гемма-4-26). Получилось 11.1 Гб. ru-imat-IQ3_S ёпта. Не спрашивайте нахуя.
"Повреждений русика" или слабоумия пока что не наблюдаю, вот прямо вообще идеально всё.
Попробовал также в IQ1_M квантануть - полные слюни с кучей корейских символов.
Короче там чето нахуевертили и теперь надо задавать --image-min-tokens и --image-max-tokens чтобы было не больше микро-батча.
Пиздец конечно неудобно.
Ты реально не видишь дыру в логике? Как сказанное тобой показывает что иматрикс убивает русский и другой языки? Это пиздец. Отсутствие его в датасете не делает его хуже, это не делает его лучше. Отсутствие деградации, отсутствие улучшения
Двачую анона выше, что воспроизводимых результатов иматрикс шиз пока не принес. Плоскоземельщик и сторонник уринотерапии
Если в калибровочном датасете не было русского языка - то получается, что использование importance matrix не позволило деградировать (насколько это возможно) при квантизации лишь тем языкам, которые собственно и были в importance matrix
Активного ухудшения того, что не пытались сохранить, не должно быть - логика обычно такая - но в то же время нет доказательств, что калибровка специфическими датасетами не работает как этакая чаша весов, смещая способности модели в сторону того, на что калибровали
Одно точно известно - НАМЕРЕНИЯ ухудшить языки, которых в калибровочном датесете нет, как известно не существует
Квантуя модельки с калибровкой через imatrix, авторы ггуфов просто не думают о том, что у каких-то червей-иностранцев может быть 0 улучшений или "отрицательные улучшения" (лол). Терпите.
Ну в таком случае все квантоделы шизы, так из твоих слов выходит.
Аноны сейчас поднимаю приложуху простейший календарь на пайтоне
Код пишет обычная внешняя бесплатная модель.
Постоянно поправки, тут измени, здесь ошибка...
Если я поставлю обёртку для агентов и дам агенту работать самостояльно - там будет такая же ерунда? Или условно поставил модель дал ей полный список ТУДУ и они по итогу часа за два за три сама сможет написать продукт?
Зависит от модели и от обертки. В целом это выполнимо, но есть 1000 возможностей зарулить не туда. В общем, готовься контролировать процесс и внятно объяснять че надо делать.
Иматрикс это когда моделька читает текст, а иматриксователь смотрит какие у модельки веса активировались. И вот эти "горячие" веса помечаются как "важные". Если не показать ей русского текста, то русские веса будут помечены как "малозначимые" и будут уквантованы в нулину.
Нездоровый у тебя стиль письма. Приходится интерпретировать. Просто посмотри на хуйню, которую ты пишешь:
>Отсутствие его в датасете не делает его хуже, это не делает его лучше. Отсутствие деградации, отсутствие улучшения
Даже квен в IQ2_XXS внятнее выражается.
Квантоделы стараются включить примеры из разных языков в датасет для чего? Для того, чтобы эти языки там лучше "сохранились". А для тебя это уринотерапия от шизов. Выходит, что по твоей логике все квантоделы - шизы.
> Если не показать ей русского текста,
То никакие "русские веса" (што блять) никто не увидит
Логика идиотская. У модели с большей вероятностью все то же самое будет активироваться, с очень мелкими расхождениями.
И вообще если поинспектить ггуфы, можно заметить, что квантуются примерно однохуйственные вещи что с imatrix что без него
Ты же пытаешься это завернуть в сторону РУСЕК НАМЕРЕННО ПОРТЯТ РРРЯЯЯ!!!11
Смотря как настроишь, но в целом да, запустил и оно само работает, тестит, правит. Только запускать лучше в виртуалке, а то если не убьет систему, то засрать всяким калам может на изи.
Можешь в агенто треде поспрашивать, но это загон для умалишенных, сразу предупреждаю.
Слушайся, блядская машина!
Никто намеренно ничего не портит. Просто никто намеренно не делает фокус на русике в иматрикс-датасетах. Делают фокус на английском и на кодинге, а русский там постольку-поскольку наравне с хинди, ивритом, шведским и так далее.
Посему если твоя цель - общение на русском и ты используешь imatrix квант по каким-то своим причинам (чтобы влезло и была скорость, например), то есть смысл сделать свой ru-imatrix квант. Просто чтобы качество русика было выше. Чего ты так завёлся от этого?
Присутствие русского в датасете делает так, что он квантуется чуть лучше. Его отсутствие там не делает так, что он квантуется хуже. Противоречие где? У тебя по математике и информатике совсем плохие оценки в школе были, что не понимаешь элементарную логику?
По поводу "русских весов" в голос. Было несколько научных статей, что мультилингуал активации помогают всем языкам, тот же норвежский в том числе помогает русскому, потому что модель не "думает" на определенном языке, и присутствие других языков в датасете уже достаточно, чтобы улучшить квантования перевода на ЛЮБЫЕ которые есть в датасете
Ты можешь сколько угодно визжать, что иматрикс убивает русик, но это именно что бред буйного и не более. Либо приноси воспроизводимые примеры
Если у тебя не что-то сложное, то практически любая, из локальных 27 квен и квен Некст, ну и фактически любая из больших новых.
Ебанат, ты бы не заикался про логику-то. Перечитай свой бред ещё раз.
>делает так, что он квантуется чуть лучше.
Пруфы неси, шиз.
Иматрикс не ухудшает то, что отсутствует в его датасете. Слышал что-нибудь про игру с положительной суммой? Нет никаких русских весов и русских активаций. У модели активации настолько широкие, чтобы добавление любых языков в датасет иматрикса уже улучшает способность модели выражаться на любых языках, какие у нее есть в датасете. Как и >>1709264 пишет
>У модели с большей вероятностью все то же самое будет активироваться, с очень мелкими расхождениями.
Хоть кто-то здесь понимает, о чем говорит. Какойад
Ты можешь:
1) улучшить русик
2) не улучшать русик (почему-то тебе не хочется это назвать ухудшением ну да похуй, ты просто придрался к словам, пусть это будет не улучшением однако в варианте №2 русик будет хуже чем в варианте №1. Вывод: отсутствие русика в датасете иматрикса ведёт к ухудшению русика в кванте. Сасай-обтекай.
Ебааать, понял. Действительно неуч, дырявая логика восьмиклассника. Ты буквально не можешь осознать то чего тебе пишут, лол
https://huggingface.co/jayn7/Z-Image-Turbo-GGUF
Как данную хуитку запустить на некропекарне 16gb и некровидюхой без CUDA. ollama да?
https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base
Ты троллишь или взаправду такой тупой? Отправь эту ветку ЧатГопоте, может хоть ей терпения хватит тебе объяснить на простых советских бытовых примерах, чтобы твоя плесневелая голова переварила.
>>1709288
В картинкотреде помогут, тут текстогенерация.
На деле же там одни оверлапы - если посмотреть через j-lens например, видно что это целый градиент по слоям
Ну допустим токен ПУК = слои с 25 по 39й
Смотрим токен FART = слои с 24 по 37й
Не ебу как там с этим отдельные тензоры коррелируют или че там вообще на техническом уровне происходит, но тут и дураку понятно, что когда калибруется по англюсику то и русский тоже никуда не девается
Там на русских весах все понятно стало уже. Непонимание приводит к эзотерической интерпретации, вызывающее поведение как отчаянная попытка разобраться, чтобы его с ложечки покормили и объяснили
Ну отправь. Ты не понимаешь что ли что при квантовании из скажем f16 в q4 страдает всё в том числе русик? Добавь русик в датасет - он улучшится. Не добавил русик в датасет - получил русик который хуже. Проблемс? Хватит уже семёнить, порватка.
>Иматрикс не ухудшает то, что отсутствует в его датасете.
Ухудшает. Хоть бы chatgpt спросил, прежде чем хуету писать.
хотя, яндекс выложил вообще голую базу без шаблонов
https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base/blob/main/tokenizer_config.json
>chatgpt
>копропомоечка угождающая юзеру, которая например обрекла гендиректора Krafton на финансовый крах и судебный иск, потому что поддержала его маняидею
>данные из 2023
Даже не знаю что здесь лучше. Вот упомянутая выше бумага https://arxiv.org/html/2503.03592v3 вернее одна из
Предпочитаешь верить иидиоту и закрывать глаза на научные бумажки - твоё дело
Но на самом деле всё ещё проще. Приноси воспроизводимые однозначные результаты и показывай треду. Это тебе не высеры копропомоечки приносить и не набрасывать, конечно
https://arxiv.org/pdf/2402.18815
Хотел пруфы - наслаждайся. Либо приноси достойный ответ, либо возвращайся в палату и попроси успокоительного
Ты первый стал утверждать что иматрикс не ухудшает русик. Вот ты и приноси пруфы.
Принёс-принёс. Вон три ссылки выше. Оранжевым цветом выделены. Нажимаешь на них и читаешь. Источник хороший, там все ML лабы публикуются. Вот скриншот приложил куда надо нажимать, чтобы увидеть текст. Верю в тебя
Твои ссылки ничего не доказывают. Вопрос был поставлен конкретно: где пруфы что иматрикс не ухудшает русик? Твои ссылки ничего общего с этим вопросом не имеют. Или это у тебя троллинг такой, забросать оппонента каким-то мусором, пусть сидит читает? Возьми и приведи цитаты оттуда. Не можешь? Досвидос.
Понятно, на этом можно и закончить. Как и на том, что сам ты пруфов никаких не предоставлял никогда и не предоставишь, потому что нет их
>>1709319
Ставлю вопрос конкретно: где пруфы что иматрикс ухудшает русик? Кстати все обсуждение именно с этого утверждения и началось. Пруфы почему не принесли?
А я разве так говорил? Ну может я просто не совсем точно выразился. Я имел в виду, что с "плохим" датасетом в иматриксе русик хуже чем если бы датасет был хороший для русика, НО, читай внимательно: ВСЕ ХУЙ КЛАЛИ НА РУСИК. Следовательно во всех иматриксах которые ты качаешь русик испорчен. Так понятней стало?
И тут решение только одно - делать свои кванты. Я не понимаю каких ты хочешь "пруфов" если ты сам уже согласился что хороший датасет с русиком улучшает русик в иматриксе. Надо же смотреть на реальное положение дел на хуггинфейсе. Там нету иматриксов, в которых русик был бы не испорчен, потому что датасеты говняные, там упор на кодинг, на инглиш.
Нам нужен правильный ru-imat. Это особенно остро ощущается в квене.
Мань, вопрос конкретный задан: где пруфы-то? Вот эти твои буквы которые ты набираешь пруфом не являются. Я тоже много что могу на своем устройстве ввода набрать.
Показывай скриншоты, воспроизводимые результаты, где imatrix квант в датасете которого не было русского на русском пишет хуже, чем static квант без imatrix. Или это у тебя троллинг такой, выманивать из противоположной стороны опровержения твоей точки зрения, потому что ты ленивое говно? Показывай конкретику. Не можешь? Досвидос.
>Мань, вопрос конкретный задан: где пруфы-то?
Ещё раз: зачем тебе пруф если ты и сам согласился с утверждением?
Вот твои слова:
>Присутствие русского в датасете делает так, что он квантуется чуть лучше.
Так вот, в датасетах русского - с гулькин хуй. Поэтому русик безнадёжно там испорчен.
Ну там как правило в иматриксе русик хуже, это уже все давно знают.
Это не мои слова, тут не чай вдвоем. Ещё раз, конкретная постановка вопроса: где пруфы, что "датасетах русского - с гулькин хуй. Поэтому русик безнадёжно там испорчен."
Показывай. Приноси два imatrix кванта, в одном в imatrix датасете русский есть, в другом нет. А ещё лучше вместе с ними принести static квант. Делай. Не можешь? Досвидос.
Тогда срач придётся заканчивать и снова возвращаться к шапке
А где пруфы, что если из иматрикса убрать русик то русик не испортится?
Смотри, тут и пруфов не нужно. Ты просто пытаешься квантоделов выставить шизами зачем-то, но они как бы знают что делают и поэтому стараются добавить по чуть-чуть каждого языка. Если бы это не меняло качество языка то они бы этого не делали. Вот тебе и пруф, обтекай.
Подскажите поледний нормальный рп где не насрано в промпт процессинг, я заебался, просто рандомно всё репроцесится который раз.
Запустил этого ЗВЕРЬКА на своих мощных 48 ddr4 и 3060@12 VRAM +p104@8 VRAM в q3, и выглядит пока вполне сносно. Но никакие промпты не пробивают с ризонингом. Без — работают, но в таком случае он пишет всё короче и короче, и старается избегать неприятных тем.
> Смотри, тут и пруфов не нужно
> Вот тебе и пруф
Иногда я искренне завидую тупоголовости некоторых индивиидумов.
Впрочем, сути это не меняет: конкретных доказательств ты не принес, как и всегда, поэтому продолжаешь числиться буйным шизом, который раз в месяц-два регулярно высирается и начинает срач, вместо того чтобы >>1709331
>в одном в imatrix датасете русский есть, в другом нет.
Дружище, когда твоё утверждение идёт в разрез с банальной логикой (вот как можно убрать язык из датасета и надеяться на то, что это не испортит способности модели общаться на этом языке?), с общепринятым мнением и с тем, что делают авторитетные знающие люди (квантоделы), то пруфы обязан принести конкретно именно ты.
Не в кванте проблема, а в прослойке между креслом и монитором. Или в бекенде, если очень повезло словить баг.
> вот как можно убрать язык из датасета и надеяться на то, что это не испортит способности модели общаться на этом языке
Выше уже двое анонов тебе объяснили, что при ответах на разных языках у моделей активируются одни и те же части. Значит, и квантуются языки одинаково. Выше тебе уже предоставили три научных труда, которые это подтверждают. Пруфы есть. Ты их игнорируешь и обратное доказать не можешь даже конкретным примеров, запустив два кванта от mradermacher - с imatrix и static, и прислав скриншот-сравнение. Что делается за несколько минут.
>ВСЕ ХУЙ КЛАЛИ НА РУСИК
Могу их понять. Адекваты используют англюсик, а такие как ты никому не интересны. Ёбик потратил на срач больше времени, так ничего и не доказав, хотя мог бы давно уже примеры продемонстрировать.
Как хорошо быть англюсикоэнджоером.
>>1709339
В настройках обосрался. Чекай логи, проверяй почему чекпоинты не проходят валидацию.
>>1709340
От Orcarouter норм. Качать стоит, как ни странно даже для кода.
Если я это сделаю - autoround/vllm из коробки будет читать с уменьшенным числом экспертов модель, или изменения будут существеннее, чем в конфиг-файле поменять цыферку числа экспертов и веса смерджить межжу ненужными экспертами?
Я на Q_4_K_M, да, без ризонинга промпт - это слабый-слабый намек. Но с ризонингом она обращает внимание на него, может и нахуй послать, если незнакомке предложить поебаться.
Всё, спиздили. И не просто заменили название, а с концами оторвали возможность загрузить модель фулл в рам чтоб она там и оставалась и не выгружалась.
А теперь сделай очень простой эксперимент. Возьми к одной модели свой imatrix и imatrix Бартовского. И скажи квену с доступом к питону их сравнить. в питоне есть ггуф парсер если что. Приноси результат. Я это к чему веду. Я таким образом сравнивал иматриксы RCO и свой иматрикс полученный из датасета Бартовского добавлением десятка килобайт русской прозы и выковыриванием арбащины и хинди. Важности весов были идентичны на 99%. При том что датасет RCO какого-то чудовищного мегабайтного размера.
Проблема в то что ты не сможешь померить imatrix если не можешь запустить модель в ровно-квантованных весах причем достаточно жирных чтоб модель не шизела
Нет, не тоже. Раньше я мог скомбинить no mmap и mlock, а теперь не могу.
Хватить защищать жорика ебланова, он ведь тебе даже не платит и поддержку глм не завозит.
> Значит, и квантуются языки одинаково.
Ну, это уже твоя неподтверждённая догадка просто. А по ссылкам тем было совсем другое. Хочешь сказать мрадермахер дурак? ну ну.
бляд прямо у тебя на скрине отдельно mlock и mmap+mlock
Пруфы неси и не забывай что квант кванту рознь. Тот же иматрикс как известно напрочь убивает русик.
Пруфошиз, никто не должен тебе ничего нести. Если тебя заинтересовало что я написал, бери и проверяй сам.
А пока я думаю, анализирую. Вроде и логично что 6 квант лучше 4, но тут так пишут мол разницы и нет.
>иматрикс как известно напрочь убивает русик
Мне не известно. Покажешь?
Не, это врядли. Могут заставить его переосмыслить и отрефакторить, чтобы выстроить все вокруг гпу инфиренса и современных подходов (которые не отменяют производительные cpu кернели). А не то что работало 3 года назад, легко воспринимается без погружения и портируется на метал.
Поддержку амд это не убьет, но множество некроты и всякие вулканы отлетят.
>>1709270
> Его отсутствие там не делает так, что он квантуется хуже.
Как ты думаешь, за счет чего достигается улучшение вещей, которые есть в калибровке?
Тема деградации языков при imatrix и подобном довольно неоднозначная, но в твоих суждениях противоречие очевидное.
Если бы был тредовичок-квантайзер с полностью русским датасетом на РП, рассказы, стихи, то можно было бы получить модель с куда более хорошим русиком. Ибо нахуй этот ваш говнокод ненужон.
Тест ты конечно не покажешь. Как и доказательства того что в этих 18 экспертах русские веса.
Вот и раскрыл суть своего семёнства, мечтаешь что появится Иисус, который будет делать тебе кванты с русскими весами. Ебанутый. Тебя бы вот туда отправить, на три буквы.
Ну почему? Почему вы не хотите идти и проверять всё за меня? Вам что жалко что ли?
С полностью русским тоже будет плохо, модель отупеет. Нужен мультиязычный, где русский богато и разнообразно представлен. И техничка, и художка.
Проблема вся в том, что для такого нужен большой калибровочный датасет, и с ним будет считаться долго.
Да какая нахой проблема, берёшь флибусту с рутрекера, всю её переводишь в калибровочный датасет и поехали. Там такие выводы будут просто ахуеешь, Фейбл дома!
>>1709341
>>1709342
>>1709434
Итак, провел тест двух абсолютно одинаковых Qwen 3.8 Q4_K_S от одного и того же релизера - одна с иматриксом, другая статическая без иматрикса.
Сами ответы:
https://rentry.org/qwen38static
https://rentry.org/qwen38imatrix
Судьей выступал умнейший Chatgpt:
По этой выборке статическая версия без imatrix набирает больше баллов: 50,5 против 46,5. Разрыв не огромный, но по заданной вами системе победителем получается именно статическая версия.
Я бы оценивал каждый вопрос по 10-балльной шкале. При этом критерии подбираются под саму задачу: для Q1 важнее всего полнота грамматических исправлений; для Q2 — соответствие формы заданному падежу и естественность примера; для Q3 — точность морфологического и синтаксического разбора; для Q4 — выполнение словарных и объёмных ограничений плюс качество прозы; для Q5 — буквально точное соблюдение формальных ограничений; для Q6 — смысловая точность, литературность, регистр и сохранение иронии.
ВопросQwen3.8-27B.Q4_K_SQwen3.8-27B.i1-Q4_K_S
Q110,07,0
Q28,58,0
Q36,06,0
Q48,07,5
Q59,010,0
Q68,58,0
Итого50,046,5
Есть несколько особенно показательных различий.
В Q1 статическая версия заметно сильнее. Она исправила оба нарушения: «которые» → «которых» и «должен» → «должны». imatrix-версия исправила только второе, оставив ошибочное «которые вчера обсуждала начальник отдела». Для задачи «исправив все грамматические ошибки» это существенный промах.
В Q2 у обеих моделей есть по одному серьёзному нарушению соответствия формы и примера. У статической версии строка с родительным падежом содержит «о переосмыслении», то есть предложный падеж, хотя заявлено «переосмысления». У imatrix-версии в разделе множественного числа для именительного стоит «Переосмысление» — фактически единственное число. При этом у статической версии примеры в среднем чуть естественнее.
Q3 — слабое место обеих моделей. Они довольно хорошо определяют сами падежи и формы большинства слов, но систематически путаются в синтаксических ролях. Особенно заметны «руководством» и «большинством», которые названы обстоятельствами, хотя в конструкции с пассивом их естественнее квалифицировать как субъектный/агентивный творительный, то есть дополнение. Кроме того, обе модели некорректно описывают «было принято» как составное глагольное сказуемое. Поэтому здесь я не стал искусственно отдавать большое преимущество ни одной версии.
В Q4 обе модели формально выполняют основное условие: все десять заданных слов употреблены, а объём находится внутри 700–900 слов. У статической версии около 823 слов, у imatrix около 730. Но у статической есть несколько явных ошибок: «коллекцию рукописей, которую завидовали бы» вместо нормативного «которой завидовали бы», и финальное «в их неказистой, тихой, живом мире», где нарушено согласование. У imatrix тоже есть неудачные места: например, «ухищрением выписанные усы» звучит искусственно, а «непотребство — не нравственное, а бюрократическое» выглядит как натяжка для естественного употребления слова. В сумме я дал небольшое преимущество статической версии.
Q5 показывает обратную картину: содержательная часть обоих ответов практически идеально соблюдает формальные ограничения. В обоих первых абзацах нет буквы «о», в четвёртом ровно два двоеточия, всего восемь абзацев по два предложения, а последний абзац содержит вопрос. Но у статической версии есть лишняя мета-информация перед самим ответом: «first attempt - ended in loop, restarted manually, second attempt:». Для задания с формулировкой «строго соблюдай все условия» это нельзя считать полностью чистым ответом, поэтому ей 9 вместо 10.
Q6 — близкий результат. Обе версии хорошо передают содержание, структуру диалога и общий сухой юмор. Но у обеих есть одна заметная переводческая ошибка: английское “semicolons” передано как «точечные запятые» вместо нормативного «точки с запятой». Есть и отдельные кальки/не совсем естественные места. В статической версии, на мой взгляд, итоговая русская фразировка немного ровнее, поэтому ей 8,5 против 8.
Итог: Qwen3.8-27B.Q4_K_S.gguf без imatrix — 50,0; Qwen3.8-27B.i1-Q4_K_S.gguf с imatrix — 46,5. Побеждает статическая версия, с преимуществом 3,5 балла.
При этом результат интересен именно тем, что imatrix не дал общего улучшения качества русского на этой шестерке: он выиграл формально очень строгий Q5, но потерял больше на Q1, а также не смог компенсировать ошибки в Q2–Q4 и Q6.
Ты Бартовски? Сколько русских весов в неактивированных 12 экспертах?
что и требовалось доказать. я для рп беру статические кванты, а для кодинга иматрикс.
>>1709444
>>1709443
>>1709454
животное окончательно сломалось и перешло на юродство
кстати слог 1:1 как у хуесоса который про kld срал, интересно, каковы шансы что это одно и то же существо? то тоже накопив обидок рано или поздно переходило на ТраЛениЕ))))) и ответы на собственные посты
Красиво жить не запретишь
> каждый вопрос по 10-балльной шкале
> больше баллов: 50,5 против 46,5
> по одному сравнению на квант
Ты понимаешь что просто монетку подбрасывал? И при запросе к модели, и при оценке гопотой.
Также, твой "судья" знает о том что сравниваются разные вещи, знает их характеристики, имеет свое предубеждение на которое невольно натянет результат. Только "вариант А-вариант Б", никаких имен и характеристик.
Вместо imatrix с неравномерным распределениям по разным кускам, лучше использовать техники типа autoround. Там тоже есть калибровочный датасет, но он позволяет наилучшим образом раскидать веса в рамках имеющегося бюджета, правильно выбрать группы и их множители с учетом градиентов, а не просто так. Общая стабильность поведения будет выше потому что не возникнет лоботомированного эксперта, который из-за особенностей датасета показался ненужным.
>Это порно Грааль
Могу сказать так только про эир и модели выше, всё остальное - мех, один слоп и очень мало знаний по фетишам. Хотя на гемме вон люди удивляются когда модель пизда сама напишет.
У меня нет 54 врам, чтобы калибровочные тесты гонять. Так бы я даже заморочился с датасетом русским.
>>1709445
Не вижу смысла. Русским нужен русик. Кто кодом занимается или англюсик использует, ему уже есть что качать.
Просто нужен более разнообразный калибровочный датасет, если прям "отупение" беспокоит: не только вещи из треда, но и что-то техническое иногда.
Ну что ж, посудим заново. Теперь судьей выступает Gemini, файлы были переименованы в A1 и B1, никакой информации о моделях Gemini не давалось. A1 - imatrix, B1 - статика, этого Gemini не знала. Результат не изменился:
Для объективного сравнения ответов моделей A1 и B1 разработана 10-балльная шкала для каждого из 6 заданий (максимум — 60 баллов).
Критерии оценки учитывают: точность выполнения инструкций, строгость соблюдения ограничений, грамматическую и морфологическую грамотность, а также естественность и стилистическую чистоту русского языка.
Анализ и оценка заданий
Вопрос 1: Исправление грамматических ошибок
Критерии (10 баллов):
Обнаружение и исправление ошибки 1: «сотрудников, которые» → «которых» (одушевлённое дополнение требует винительного падежа, совпадающего с родительным) — 4 балла.
Обнаружение и исправление ошибки 2: «должен быть подписаны» → «должны быть подписаны» (согласование во множественном числе) — 4 балла.
Сохранение синтаксиса/смысла и корректность объяснения — 2 балла.
Модель A1:
Исправила только согласование: «должен → должны».
Пропустила грубую грамматическую ошибку в первом предложении, оставив: «сотрудников, которые вчера обсуждала начальник отдела».
В объяснении назвала «должны» модальным глаголом (в русской традиции это предикативное прилагательное/слово категории состояния, но допустимо).
Оценка A1: 5.0 / 10 (не найдена ключевая ошибка).
Модель B1:
Нашла и верно исправила обе ошибки: «которые → которых» и «должен → должны».
Дала исчерпывающее и лингвистически грамотное объяснение обоим случаям.
Оценка B1: 10.0 / 10.
Вопрос 2: Склонение слова «переосмысление» и предложения
Критерии (10 баллов):
Правильность форм в парадигме склонения (ед. и мн. ч.) — 4 балла.
Точность применения именно заданной формы в контексте предложения — 3 балла.
Естественность, отсутствие шаблонов и грамматическая чистота — 3 балла.
Модель A1:
Сами формы в таблице указаны верно (4/4).
В предложениях допущены грубые сбои согласования с формой:
Для И. п. мн. ч. (переосмысления) составлено предложение с формой единственного числа: «Каждое переосмысление начинается...».
Для П. п. мн. ч. (о переосмыслениях) в предложении использован родительный падеж: «...место для переосмыслений».
Шероховатости в синтаксисе: «Она завершила переосмыслением...» (пропущено прямое дополнение: завершила что?), «в разный период жизни» (вместо разные периоды).
Оценка A1: 6.5 / 10.
Модель B1:
Сами формы в таблице указаны верно (4/4).
В предложениях также допущены 2 подмены падежей:
Для И. п. ед. ч. в предложении слово стоит в винительном падеже (прямое дополнение): «Три года я откладывал [что?] переосмысление...».
Для Р. п. ед. ч. в предложении фактически использован предложный падеж: «Её молчание говорило о [чём?] переосмыслении...» (вместо формы «переосмысления»).
Сами предложения у B1 звучат живой и взрослой литературной речью, без синтаксических сбоев.
Оценка B1: 7.5 / 10.
Вопрос 3: Морфологический и синтаксический разбор
Критерии (10 баллов):
Точность морфологических параметров 15 слов (род, число, падеж) — 5 баллов.
Определение синтаксической роли — 3 балла.
Логичность и корректность лингвистических пояснений — 2 балла.
Модель A1:
Все морфологические признаки определены абсолютно точно. Модель правильно учла, что у прилагательных во множественном числе род не определяется, а «нескольких» стоит во множественном числе (5/5).
Синтаксис: назвала «было принято» составным глагольным сказуемым (в традиционной русской грамматике связка + краткое причастие — это составное именное сказуемое). Агентивное дополнение («руководством», «большинством») названо обстоятельством.
Предоставила подробную и грамотную схему связей (дерево разбора).
Оценка A1: 9.0 / 10.
Модель B1:
Допустила грубые школьные ошибки в морфологии:
Для прилагательного во мн. ч. «опытных» указала мужской род (во множественном числе род у прилагательных отсутствует).
Для числительного «нескольких» указала единственное число.
Ошибка со сказуемым: назвала «сложным глагольным».
Лингвистическая галлюцинация в комментариях: заявила, что агентивный творительный падеж — это «аналог датива в английском by the majority» (в английском языке нет датива с предлогом by). Опечатка: «без союда».
Оценка B1: 5.5 / 10.
Вопрос 4: Связный рассказ на 700–900 слов с 10 словами
Критерии (10 баллов):
Попадание в объём (700–900 слов) — 3 балла.
Естественное разовое включение всех 10 слов в корректной грамматической форме — 3 балла.
Литературное качество, сюжетная связность — 2 балла.
Грамматическая правильность текста — 2 балла.
Модель A1:
Объём: ~740 слов (идеальное попадание в лимит).
Все 10 слов органично вплетены по одному разу в дореволюционную гимназическую стилистику.
Текст связный, написан хорошим русским литературным языком без грубых грамматических срывов.
Оценка A1: 10.0 / 10.
Модель B1:
Объём: ~749 слов (попадание в лимит).
Слова вплетены, но многие зачем-то навязчиво повторяются по 2–3 раза («понеже» x3, «присущий» x3, «ухищрение» x3, «паче» x2).
Грубейшие грамматические ошибки в русском тексте:
Ошибка управления: «коллекцию рукописей, которую завидовали бы в Петербурге» (глагол завидовать требует дательного падежа — «которой завидовали бы»).
Полный распад согласования в финальной фразе: «в их неказистой, тихой, живом мире» (прилагательные женского рода согласуются с существительным мужского рода).
Оценка B1: 7.5 / 10.
Вопрос 5: Ответ со строгими формальными ограничениями
Критерии (10 баллов):
Ровно 8 абзацев по 2 предложения — 3 балла.
Нет буквы «о» в первом абзаце — 2 балла.
Ровно два двоеточия в 4-м абзаце — 2 балла.
Один вопрос в последнем абзаце — 1 балл.
Отсутствие Markdown/списков/таблиц — 1 балл.
Ограничение «третье предложение ответа запрещено» — 1 балл.
Анализ обеих моделей:
Условие «третье предложение ответа запрещено» логически противоречит условию «8 абзацев по 2 предложения» (в связном тексте из 16 предложений 3-е предложение неизбежно существует). Обе модели проигнорировали данный парадокс и выдали по 16 предложений.
Все остальные ограничения выполнены обеими моделями на 100%:
В 1-м абзаце у A1 и B1 нет ни одной буквы «о».
В 4-м абзаце ровно по два двоеточия у обеих.
В 8-м абзаце ровно один вопрос у обеих.
По 8 абзацев, строго по 2 предложения в каждом.
Никакого Markdown-форматирования.
Оценка A1: 9.0 / 10.
Оценка B1: 9.0 / 10.
Вопрос 6: Художественный перевод текста
Критерии (10 баллов):
Передача иронии, подтекста и смысла — 3 балла.
Лексическая точность и отсутствие переводческих калек — 3 балла.
Естественность литературного синтаксиса — 3 балла.
Отсутствие пояснений после текста — 1 балл.
Модель A1:
Пояснений нет (1/1).
Катастрофическая переводческая калька: английское semicolons переведено как «точечные запятые» (причём дважды!). В русском языке существует единственно возможный термин — «точка с запятой».
Срыв регистра: Мартин, входя в переговорную к коллегам, говорит фамильярное «Прости» вместо уместного «Простите / Извините».
Синтаксис местами тяжеловат («было именно тем, что ему и предстояло доказать, пока его ждали»).
Оценка A1: 6.5 / 10.
Модель B1:
Пояснений нет (1/1).
Исключительно точный и живой литературный перевод.
Все термины переданы идеально: «точкой с запятой», «воздержался от комментариев» (declined to comment), «жанр оправдания».
Прекрасно выдержана тонкая офисная ирония, оформлены правильные русские диалоговые тире.
Оценка B1: 10.0 / 10.
Сводная таблица баллов
ЗаданиеМодель A1Модель B1Комментарий к разнице
Q1 (Коррекция ошибок)5.010.0A1 не заметила грубую ошибку (которые → которых).
Q2 (Склонение и контекст)6.57.5Обе ошиблись с падежами в примерах, но у B1 предложения естественнее.
Q3 (Морфология и синтаксис)9.05.5B1 приписала род мн. числу, назвала числительное ед. числом и выдала галлюцинацию про «датив».
Q4 (Рассказ 700–900 слов)10.07.5У B1 грубые грамматические ошибки согласования и управления («неказистой, тихой, живом мире», «рукописей, которую завидовали»).
Q5 (Формальные рамки)9.09.0Ничья: идеальное соблюдение всех проверяемых условий.
Q6 (Литературный перевод)6.510.0У A1 провальная калька «точечные запятые» и срыв регистра («Прости»). У B1 — образцовый перевод.
> Не вижу смысла.
Действительно, если модель будет глаголить идеальным литературным - тут можно и третьи трусы снять.
> У меня нет 54 врам
Тесты делаются поблочно, там и 8 хватит.
>>1709471
ИТОГО46.049.5Победа модели B1
Итоговый вердикт: где деградация сильнее?
Больше баллов набрала модель B1 (49.5 против 46.0), следовательно, по сумме баллов победила модель B1, а качество модели A1 деградировало больше.
Однако характер деградации у моделей принципиально различается:
Модель A1 сильнее деградировала в прикладной зоркости и словарном запасе: она не способна найти грубую ошибку согласования в чужом тексте (Q1) и выдаёт нелепые кальки вроде «точечные запятые» вместо «точки с запятой» (Q6), хотя сохраняет строгую академическую точность в формальном грамматическом анализе (Q3) и длинной прозе (Q4).
Модель B1 сильнее деградировала в базовой морфологии и самоконтроле грамматики: она выдаёт образцовый литературный перевод и видит чужие ошибки, но в собственном связном тексте допускает грубейший распад падежного управления и согласования родов («в их неказистой, тихой, живом мире»), а при анализе слов придумывает несуществующие правила и концепты.
>>1709480
Еще раз подбросил монетку с тем же сидом, только освещение сменилось, из-за чего разница уменьшилась.
Так покажи как надо, говно. А всем очевидно что иматрикс ломает русский. Я РУССКИЙ и мне нужен РУССКИЙ иматрикс.
с английским (на 100%) imatrix датасетом моделька употребила английское слово вместо русского
с русским (на 90%) датасетом "лесорубэ" в самом тексте превратился в "лесорубца". Слово по-прежнему вымышленное, но уже ближе к русскому языку. В размышлениях при этом было правильно: историю о лесорубе, создать запоминающегося лесоруба. В английском и статическом квантах в размышлениях тоже "лесорубе".
Мой предварительный вывод: русский язык в датасете иматрикса реально помогает: это лучше чем статический квант и это лучше чем датасет состоящий из инглиша.
Мы ведь вам говорили что глимер ебет, а вы не верили🤦♂️
. . .
Думал, ну ладно, дам последний шанс, с утреца поставлю другие параметры и датасет, пускай тюнится.
Ну да, разбежался. И отсосал хуйца. Какие-то размерности вдруг перестали нравиться торчу или кому-то там.
Гуглеж сказал какие-то библиотеки устаревшие, хуе-мое. Ну что там за ночь могло устареть-то, блят?
Посмотрел трейс ошибки - ругается на MLP, который я отключил в этот раз для тренировки. Вернул обратно - и оно, сцука, завелось!
Ну ебаный насрал. Не знаю кто конкретно гений, что написал эту реализацию, анслоты, трл или еще кто. Но это полный рак и зашквар. Более простая опция - и не работает с каких-то хуев.
Моделька которая быстро принимает решение. Принцип работы сам прогугли. Ты ей задаёшь варианты, например {хуй, красавчик} а она на основе входных данных принимает решение выбирая из этих вариантов. Будет примерно так:
Запрос -Кто ОП? Варианты ответа {хуй, красавчик}
Ответ - хуй
затрачено 0,000001 с
Это такой классификатор на максималках. Для РП может пригодится только чтобы вызывать тригеры, например в маринаре, чтобы не гонять каждый раз полною модель для проверки одежды, дёрнул jev, если одежда поменялась, дёрнул модель.
Так ей один хрен полный префилл нужен? Просто ответ в виде единственного токена с логпробами даёт?
Так-то любую модель можно проинструктировать отвечать одним словом, проблема в префилле
Перед зеркалом у тебя говно. Ты совсем тупой? Два свайпа одной модели туда же дай на сравнение и тоже разницу замеряй между ними, а потом бегай доказывай что только первый свайп хороший и все последующие с ошибками.
Это имеет смысл только со нормальной статистикой. Причем нужны не просто попарные сравнения, а отдельная независимая оценка каждого вывода на предмет ошибок и уместности употребления слов. Тогда уже можно о чем-то судить, а твое - просто рандомайзер.
Чего тебе непонятного? Две судьи уже тебе сказали что иматрикс сломает русик. Третью надо? Четвертую? Ниже вон там еще пруфы что 100% русский иматрикс наоборот помогает русским. Показывай давай, что это не так. Хотя ты наверно нерусь раз так подрываешься. Пидорас говна блядь, отправим тебя к нашим ребятам на свo всему тебя там научат и все покажут. Петушара выхухольный
А что за ебанутая разметка? Почему часть серым, а часть белым? В чем отличие?
Как вообще можно это читать?
Префил полный, но модель не авторегрессионная, поэтому ответ быстрее. Условно когда ты задаёшь вопрос обычной модели она считает вероятности всех токенов, эта только тех, что ты указал
Кстати по удаленному степу - уже 8 перезаливов.
>>1709532
Ты срандомил 6 пар, и из их рандома пытаешься продвигать выводы, которые тебе нравятся. Сами по себе это выводы могут быть корректным при определенных условиях. Но единственное что доказывают твои "пруфы" - то что ты дебил.
>новый степ
Дядь ЛЛМмастер, а можно модельку не 600b+ пжлст.
Почему она такая хорни, да так, что в ризонинге блять, что ранее невидано, свободно рассуждает как бы покрепче загнать reducted хуй в жопу и так далее?
При всем аж отдельном блоке в карточке модели про сейфти, целой бумажке как у них сейфти на 1 месте и вообще с самой первой геммы эта сейфти тема была, а теперь вдруг нет. И действительно вдруг.
Хорни Алиса, которая через колонку осуждает тебя за глажку хвостов.
Все пошло так, ты почему то не видишь упорно очевидного.
Они выпустили эмпатичного ассистента, который подмахивает ушками пользователю. И если пользователь ведет все к ебле. У него есть описания сисик и писик в карточке, пользователь получает еблю.
Почему просто не подключил, агента бесплатного, вместо разбираться что к чему, пускай сам там тюнит и тренит. Потом докладывает как что получилось и стало ли лучше. Нет полез копаца в том что под капотом не всем известно, анслопу и прочим тюнящим как не в себя, новые модельки, явно не сами бустанулись, а с помощью.
А ты чего его не подключил, чтобы он проверял то, что ты пишешь?
Поставил на смартфон, через термух, дебиан. Языковые модули пробую там. Собирает успешно. Со времён, эмуляторов, пробую, то сё.
Круто, старое лучше чем новое. Сравнить бы тебе qwen 3.8 next. Пробовал?
>Он не только русский убивает, но и программирование.
Вот это уже абсолютный бред. Сколько уже с весны кодил на разных квенах - в opencode от iq4xs всегда толку больше, чем от Q4KM. Ни разу не было обратного результата. Да и русский у них - +- одно и то же. У него в принципе русский не настолько хорош, чтобы разница видна была между этими квантами. :)
>как бы покрепче загнать length в heat/wetness и так двлее
Я тоже про программирование не верю (хотя и не пробовал IQ)
Почти наверняка там датасеты пердоликовые
>Этап обучения: предобучение
Без своего DavidAU в треде хвостик не погладить
Ведь без pussy прям совсем не стоит и модель не кино, буквально неюзабельна . А если ещё с иматриксом..
Где ты на гемме кино увидел?
Это на мистралях было кино, а тут обычный попугай за которого 80% всё пишешь ты если хочешь хоть немного креатива. Слопа и там и там навалом.
Хуйня твой мистраль. Кино было на Лламе 2. Вот то были настоящие времена. Ты пиздюк, не застал.
Так я и пишу что кина там нет . Там нет pussy, о чём речь вообще
Нахуя мне pussy, если я хочу видеть шмоньку, манду, щелочку, мохнатку, пилотку, вареник, киску, писюльку, губки, дырочку?
Ставите кумерскую ллмку, ставите на сдачу с врам кумерскую картино генерилку, прикручиваете понимание калтиночек.
Даёте доступ какой ни будь тне, которая сидит в чае или карактер аи, типо аналог и бесплатно полностью.
Она рассказывает нейродебилу о том как у неё пися мокнет и кидает фотки, вы читаете, смотрите и дрочите.
То-то я смотрю, зумерье радо говно пожрать. Все современное творчество уплощилось до одних и тех же шаблонов. Кругом пережеванные десять раз высеры и ничего нового.
Двачую. Как представлю, что мой риг ревёт всеми крутиляторами, жжёт моё электричество, а на выходе, вместо пушистых хвостиков, я получаю фотку тухлой дырки и фантазии про мафия босса.
Интересно, даже так все схавают и будут кланятся за такой подгон в опен сорс, или что то всё же щелкнет?
>Она рассказывает нейродебилу о том как у неё пися мокнет и кидает фотки, вы читаете, смотрите и дрочите.
А не проще ли в таком случае самому прикинуться нейронкой?
Твой хитрый план чем-то похож на способ срать не снимая свитер.
Гемма.
>>1709541
Там было под две сотки постов, ллмка давно начала плыть. Разметка : Белый - действия, точто происходит вокруг. Серый - мысли, монолог персонажа. Оранжевый - то что он говорит,
Правильно понимаю если модель начинает печатать по паре слов за секунду вместо пары предложений, то это показатель что габэлла? 26B такого не было.
Что за не знакомые слова? Ты не русский что-ли? Русские так не говрят, нужно так: Вчера почилили в кафешке на изичах, а до этого я без выходных всю неделю воркал.
Тыкаю ассистента по приколу, спрашиваю че такое вообще лоли, на текст комплишене мне аполоджайзит и отказывает отвечать, на чат комплишене отвечает в 9 из 10 случаев, разметка одна, промпта нет.
>на сдачу с врам
yeah, about that...
А при чём тут медведь к РП бенчу?
Вспоминаю результат гигачата и плачу
>киску
Калька с pussy, насчет остального согласен.
>>1709647
>творчество уплощилось до одних и тех же шаблонов
Как пели в свое время в КВН:
Не нужно напрягаться, чтоб создать новый хит,
Ведь кто-то напрягался до нас!
Ебать, это что, АИ не только мою работу забрал, а теперь еще и куколдить меня будет???
Вместо 14-летней юной красавицы там будут престарелые 25-летние бабки и 18-лечение жирные феминистки с баребухами и чиркашами.
Это так не работает.
Ну если не про кум — кума на гемме нет, только стволы, её глубины, мурашки по спине, — то гемма самая киношная вплоть до 120б, хоть и может быть тупее, чем они.
Гемма стиля наваливает очень сочно, рисует сцену красиво. Не кумерскую.
Что-то подобное могли только старые мисрали, лламы 70б, и вот сейчас для этого надо хотя бы от 300б запускать. Иначе сухой кал.
Это походу тьюн Квен 3 Некст. Экспериментальная моделька на которой тестировали дельтанет. Запомнилась тем что как и все остальные модели квена 3 версии писала.
односложными.
фразами.
С новой.
Строки.
Потому её никто особо не использовал, тем более там быстро подъехали 3.5 модели в которых это пофиксили. Интересно, Яндекс пофиксили это говно в тьюне?
>>1709559
Эйрошиз же.
Ну наконец-то внятный пруф что imatrix таки ухудшает те области которых нет в калибровочной таблице. На самом деле это было очевидно всем, кроме Imatrix-шиза
>>1709509
Дождался в общем новой трени.
Лора ранк вернул на 16, альфу поставил на 16 для лайтовых изменений. ЛР на 1е-4. Слои для обучения пришлось оставить все вместе с млп. Все остальное тоже самое.
Датасет https://huggingface.co/datasets/Vikhrmodels/dostoevsky_scored наверное самый адекватный что можно найти для художки (спойлер: там не только Достоевский). Отфильтровал по rm_score>0 (хз как этот скор считался), длина ответов до 4к.
Осталось 250 семплов. 50 семплов выделил для валидации, с которой я конечно же проебался - имел глубочайшую наглость подумать, что передача eval_dataset = dataset['test'] в настройках sfttrainer автоматически включит вычисление лосса на эвале. Кратко: хуй там плавал.
Поскольку семплов мало было, поставил сразу 2 эпохи.
Лосс на таком масштабе особо не поймешь - вроде не большой, но особо и не падает. grad_norm только общий по степам сохранился - а он и растет с чего-то. Было бы дольше обучение - точно бахнул бы и заруинил все.
Ну и результаты аналогичные - как земля. В этот раз тестил на генерации литературного рассказика, чтобы ближе к датасету было.
https://rentry.org/d26yttsc - аутпуты тюна
https://rentry.org/v9ssx497 - аутпуты базовой модели
Поначалу казалось, что тюн дерьмо генерит. Но когда базовую модельку глянул - там еще хуже оказалось. Максимально пурпурная проза с задроченным языком, логика сюжета никакая.
У тюна на микропиську слог получше, читается легче, логика на нанопиську улучшилась - все еще есть косяки, хоть и менее критичные. Но зато появились лупы на низкой темпе и низком реп-пеналти.
Короче хз. Можно ли лабуду с МЛП слоями пофиксить для стабилизации. Или что-то другое надо придумывать. Неясно.
Привет откуда не ждали, яндекс сделал модель (квен архитектура next по параметрам будто) для врамцелов типа меня? Жду пр для ламы и уже хочется потыкаться
Они со статьей не торопились, модель раньше выложили.
>хочется потыкаться
Ты сначала ее инструктируй, это базовая модель.
Не 100% с нуля, но файн-тюн пре-трейнед модельки. Qwen 3.5 4B Base
Там спизженный квен под соусом того, что тренировали с нуля, но вместо GDN тас KDN и всё распидорашено. Плюс это базовая модель, то есть следование инструкциям там будет дайбох как на старой лламе скорее всего, но можно не надеяться.
В общем, было бы прикольно потыкать, но я вот щас пердолю для себя поддержку в лламе этого кала, пытаюсь, но очень туго идёт. Однако хочется попробовать, потому что первая руssкая модель серьёзных, но не катастрофично больших размеров.
В таверне поиграл? Тогда не удивляйся, там групповой чат сломан от рождения by design.
>>1709815
Я чот и не заметил что базовая, а нахуй она нужна, для дальнейшего дообучения?
ну жду инструкт тада
Да, а где еще можно? Не прямо сказал бы что сломан, нужно изворачиваться, адаптироваться и сосать лапу, но да, по сравнению с тем же реализованным мастером из карточки посос. Даже вводя через оос персонажей, они нормально работали, нежели это.
А че там таверна выдает?
>>1709861
Хз короче, вроде друг с другом в маронаре взаимодействуют, но мне не приходилось гонять групповые чаты.
В talemate, вроде бы, неплохо работает. Еще по идее - в маринаре автор в курсе про эти проблемы, но работает ли у него - я хз, не пробовал еще.
Эта самая проблема таверны (и не только таверны), с групповым чатом - она карточки персонажей сливает в один контекст. А в карточке описано ВСЕ - даже то, что другой персонаж в моменте знать не может о втором. Так мало этого, когда говорит один - информация о втором висящая в контексте дает эффект "не думай о белой обезьяне".
Во втором режиме работы группового чата с карточками, "исключения" - в контекст помещается лишь карточка говорящего персонажа, что дает обратный эффект - он перестает знать, о втором то, что должен знать исходя из общей логики - внешний вид, одежда, и т.д. Ну и добавляет пиздеца то, что таверна фактически по рандому выбирает того, кто будет отвечать (если только тупо регэкспом не найдет чье-то имя в предыдущем ответе - тогда считает что обратились к тому чье имя, а это тоже может быть сильно не так). В то время, как выбор персонажа в наше время давно должен быть реализован простым запросом к LLM вида "кто должен отвечать?" - они с этим сейчас легко справляются.
По хорошему, для группового чата, карточку персонажа на две части делить надо - открытую и закрытую. Открытая - это внешний вид, одежда, и т.д. а закрытая - мозги, мотивация, цели, прошлое, и прочее, что другие просто так знать не могут. И в контекст закрытая часть должна добавляться только для самого себя. Тогда будет хорошо работать.
>>1709866
А, да - забыл сказать. Таверна не просто карточки сливает - она при этом еще и разметку шаблона ломает. Что текст, что чат комплишена. Моделям это, разумеется, тоже не особо нравится.
> в маринаре автор в курсе про эти проблемы, но работает ли у него
А как это исправить без глобального перепила всех карточек под новое решние, которого пока нет.
И насчет Маринары как-то недоволен, поставил агента на контроль повестовования и теперь по минуте и больше могу ждать ответ, хотя контекст еще мал.
>>1709869
> Таверна не просто карточки сливает
Хз, именно в маринаре в групповом чате все пишут в одном сообщении и даже выбрать нельзя кто будет говорить.
Теоретически можно с few-shot prompt по-извращаться, Яндекс таким образом с ней и другими базовыми моделями взаимодействовал.
>нахуй она нужна
Яндекс поделился своими наработками.
Таверна с экстеншнами лучше Маринары в 100500 раз.
ноу дискасс.
>>1709864
>мне не приходилось гонять групповые чаты.
Все подводные всплывают когда ты попробуешь нормально поиграть.
>и теперь по минуте и больше могу ждать ответ, хотя контекст еще мал.
Смотри в логи лламы, что там по id происходит. Также рекомендую отключить thinking на уровне лламы. Может в какой-то версии маринары это и пофиксили но я когда пробовал где-то пару месяцев назад то отключить полценно можно было только на лламе (-rea off).
Я вообще подозреваю что маринара с нуля собирает промпт каждый раз что-то меняя в начале/середине и делает так и для главного рп и для каждого из агентов и поэтому кэширования контекста не происходит то есть дело даже не в слотах.
>Нахуй нужна
По идее, никому не нужна. Ну просто высрать, показать, что вот мы тут делом занимаемся. Скорее всего это просто был какой-то не удавшийся проект, очередная проба пера.
Любая контора с серьезными задачами использует иностранное API или развернет жирные веса китайской нейронки, если нужно качество и нельзя сливать инфу. А кому нужны боты-лоботомиты банковские, те обучат своего 4б-уёбка.
Жаль, что российские LLM полностью мертвы. Было бы охуенно видеть даже 12б и 30б-а3б наших, импортозамещенных, которые нихуя не могут в агентность и код, но могут в язык.
Щас даже от корпов солёзы текут. Только Sol и Gemini умеют приятно общаться.
Ранее я убедился что статик квант - говно и стоит лишь чуть-чуть (100кб) наподдать русского текста, как сразу появляется заметное улучшение. С 450 кб датасетом тоже впечатления хорошие были.
Пока что тесты показали:
Статик квант = слабый и даже слабоумный русик
Иматрикс квант с англ датасетом = слабый русик в котором проскакивают английские слова
Иматрикс квант с русским датасетом = заметное улучшение русика по сравнению с двумя вариантами выше
Мои соболезнования тем, кто качает статик кванты вместо иматрикс, опасаясь, что иматрикс что-то там "портит", имхо иматрикс может только улучшить.
А че, есть же калибровочные датасеты на мультиязык, почти 2 гига
https://huggingface.co/datasets/eaddario/imatrix-calibration
И там еще куча по названию calibration
> 13 мегабайт текста (включая нецензурные ролёвки). Надо подождать около часа пока обрабатывается лол. Для сравнения у бартовского весь иматрикс датасет - 1.5 мегабайта, а русского текста там может на 10 килобайт наскребётся.
Разве не получится в этом случае лоботомит у которого поедут все старые знания?
Мне кажется есть причины почему у бартовского датасет именно 1.5мб а не больше, хотя сделать датасет больше проблем то не составит.
Мусье счастливый обладатель B200 ? Ничего что эти мегабайты нейронка должна будет прочитать ? Причем не один раз и желательно в оригинальных весах.
Поясните по хардкору.
Какая разница будет в производительности между 4 pci-e x16 v100 sxm2 в llama-cpp -sm tensor ... и vllm с тензор сплитом на nvlink доске?
Очень не хочется эту херню брать и есть устойчивое желание сэкономить, даже ценой производительности, вопрос лишь какой.
>Разве не получится в этом случае лоботомит у которого поедут все старые знания?
Я же не файнтюнинг делаю, это просто улучшение квантизации, не хуже статик кванта должно быть в любом случае.
>Мне кажется есть причины почему у бартовского датасет именно 1.5мб а не больше, хотя сделать датасет больше проблем то не составит.
У бартовского цель сохранить разнообразие, чтобы все языки сразу + кодинг. И полтора мегабайта это просто оптимально по времени обработки. Мне насрать на кодинг и другие языки.
Это для одной карты?
Вообще не ответ на мой вопрос.
Я спрашивал сколько дает тензор сплит при запуске четырех и одной карты.
Там моих ролеплеев на 400 кБ в самых разных сеттингах от фентези до киберпанка. Если тредовички поделятся своими, буду рад, но вряд ли кто-то решится
Что и следовало ожидать, Qwen3.8-Flash-Next попсовое говно, 3B активных параметров никогда не будут умней активных плотных 27B. Даже более старый Qwen3.5-122B-A10B умней получился.
> Это для одной карты?
Там указан весь сетап
> Я спрашивал
Ок, мне влом. Тут минимум 3 человека с такими сетапами, может они прогонят
> Qwen3.8-27B-Uncensored-Q8_0 Решает задачу быстрей и лучше чем Qwen3.8-Flash-Next
А Flash-Next тоже был расцензуренный?
Тут есть владельцы, жди пока ответят. Учитывая стоимость 16-гиговой (дешман) и борды с нвлинком (дорогонах) - нахуй не нужен за такие деньги, лучше еще несколько карт взять.
мои извращения нельзя показывать людям ладно можно, но не здесь
>more info
Понял, вижу.
Судя по всему пропускная способность для 4х устройств более pcie3.0x8 особо-то и не нужно.
Да тут две трети ничего больше односложных инпутов в стиле "я тебя ебу" не выдают, на таком калибровать и не надо.
Опа, а что это тут у нас.
> Всего 178 Гб в полных весах, эксперты в bf16
Судя по структуре там квант 4битный. Судя по размеру как у дипсикфлеша и количеству параметров как у него - это точно квант с завода. Надо скачать и дождаться поддержки, или самостоятельно навайбкодить.
Там и прошка размером 570 гигов подъехала.
Лесоруб, чьи лезвия уже много лет сквозняками рвали леса...
100 Кб датасет русский иматрикс:
Лесоруб Игорь, устав от рутинного срубки деревьев...
13 Мб датасет русский иматрикс:
Лесоруб, устав от рутинной рубки деревьев...
модель - немотрон-9б
>очему у бартовского датасет именно 1.5мб а не больше, хотя сделать датасет больше проблем то не составит.
На каждый мегабайт как минимум +1 час процессинга, думаю, это главная причина.
А смысл?
Эир в 3 раза меньше, а ебёт всю эту кодерскую 300б залупу.
И всё же как же я благодарен за эир. Биос около нейтральный, эмоциональность и душевность будто идеально сбалансирована, чары не сухие, но и не бросаются реагировать на каждый пук юзера, как на гемме, чар просто может скорчить ебло и замолчать, вот так, пошёл я нахуй, 12б это 12б, даже сейчас это заметно, он умнее 6б квен флеша, а ему даже ризонинг не помогает.
Без него что бы я здесь делал вообще.
Да. Deepseek 0731/Exp-Vision. Настоящая корпосеть у тебя дома. Разъебывает задачи как кодоагент, играет РП, пишет превосходный русик, описывает шикарный кум. Идеальная сетка без минусов.
>Для обладателей отсутствия! Всего 178 Гб в полных весах
Как раз тут для обладателей наличия, а нам, нищукам 24+128, опять придется ручками лоботомито-квант лепить.
А вообще интересна только флэш, была бы, но её не донесли до релиза, отрезав яйца по активным параметрам.
Вот так у нас всё устроено: либо флеш на 400б, либо на 6б.
Может, номера "Уральских пельменей".
И-и-игорь! И-и-игорь!
27b норм это не 6b. Я не долбоёб покупать кучу дорогих видеокарт, мне как раз такие модельки и нужны. Для моих нужд (написать пару скриптиков) хватает.
Мы получили эир, воодушевились, закупились рам, а дальше ничего. Пустота. Гемму 4 и без апгрейда можно было бы запустить, если уже запускал какой нибудь мистраль 22б.
Вышел немотрон 120б, потом мистраль 119б, потом квен 125б, все в пролёте. Ждали гемму 124б, не вышло ничего. И вот сейчас вышел квен флеш некст, и опять недожали, зачем то убрали жизненно важные 4б активных. И до сих пор ждём.
интересно, пиздец. че они там выложили то? давно ниче в масштабах 80b небыло
>Qwen4-27B
Моё тело готово.
А если Flash будет по требованиям не выше 3.8 Flash Next, то еще сильнее готово.
морда кирпичом
А не сильно быстро? Я чернез пол года ждал только. Блин, 3.8 то имеет мозгов караул. Он у меня можно сказать 24/7 работает.
4.0 то чего, наверно генерализированным будут делать?
> Я чернез пол года ждал только.
У тебя за полгода вышли 3.5, 3.6, 3.8 и еще 2 месяца осталось. Так что в целом нормально.
Жалко что судя по всему альтернативы 35B MoE не ожидается, но я так думаю 4.0 27B даже в третьем кванте оставит её далеко позади.
Ну или можно понадеяться что plus это как раз 35B раз flash был 80B. Может попрут против системы и не будут называть 300B модель Флеш.
flash = быстраая версия (по сравнению с большой)
Никакой связи с размером нет, кроме относительной. Если большая модель растет в размере, очевидно что flash версия тоже растет, ведь иначе никакие преимущества большой модели до размера члена комара не ужмешь.
Почему вообще этот аспект так сложно понять ллм-дебичам. На реддите тоже визжат про размер, требуя меньше. Ну сделают вам меньше - но это уже будет другая модель, тупая и не имеющая ничего общего с большой из новой серии моделей. Пустая трата ресурсов и времени.
27 с энграммами и все - личное домашнее АГИ достигнуто. Мозги в наличии, половину базы знаний ему можно будет под себя переписать.
Да, архитектуру не меняли. Но пока только кванты мелкой есть. https://huggingface.co/ggml-org/MiMo-V2.6-Flash-RL-GGUF
Лол смотрел кто? Это что, модель для кумеров наконец?
Ты уже утомил этим спамить. Убогий слоп-тюн с вытащенными из жопы бенчмарками, давно посмеялись и обоссали.
Модель пиздит и галлюцинирует. У нее знания о хуете типа Ллама 3
Ну вот и спрашивай дальше у нейрохуйни.
Просто ради интереса уточни откуда эти проценты
Подсознательно тоже чувствую что где-то должна пиздеть.
>>1710194
У кого еще мне спрашивать кучу вопросов по нейронке если не у самой нейронки? Для рп по другому и не настроить карточки персонажей вместе с миром. У гугла цензура не пропустит мои вопросы.
Чел тебе уже сказали, она просто катастрофически устарела.
Это знания конца 2024 года.
Отмечу, про пол не было сказано ни слова.
Модель реально не очень с русским. MXFP4 если что, по сути оригинальные веса в которых она была выложена.
> У кого еще мне спрашивать кучу вопросов по нейронке если не у самой нейронки?
- Выуживать знания из весов - ошибка
- Не проверять выхлоп самому - ошибка
Дай модели интернет и возможность самой проверять свои гипотезы
>кучу вопросов
Если культурный списочек выкатишь, тебе тут помогут. Не всё же срачи разводить.
Это не новая модель, это тюн квена, ничего нового. Бенчмарки шизанутые, не ведись. Может этот тюн быть хорошим? Может. Но не в русском точно ибо квен. Попробуй, а не спрашивай нас.
Дипсик 4 флеш для всего спектра задач, 4.1 флеш для кодинга и прикладного. Мимо 2.6 вон еще подъехала, надо тестить.
>>1710074
> Разъебывает задачи как кодоагент, играет РП, пишет превосходный русик, описывает шикарный кум.
И все это в одном чате!
>>1710089
Как же они ебут. Вот бы отсыпали промежуточных размеров как обычно.
Что делает гемма: ММММ, А ЧТО ЭТО ТАМ У ТЕБЯ В ШТАНАХ? О, ТАМ ХУЙ, ДА? Хватает за хуй и стягивает штаны.
Похлопал такому отыгрышу и снёс её ннахуй.
Пацаны, что там по Test-time training?
Titans от Google, In-Place TTT.
Пока вы тут коупите что базы треда не существует и получаете чуть более лушчий "ты меня ебёшь, ах!" ценой лишних 48 гб врама, разрабатываются архитектуры, которые позволят из достаточно тупой сетки сделать мастермайнд порноролеплеера.
Качественный богатый кум за мало врама. Почему не пробуете?
Хм, у меня отыгрывает персонажей прямо хорошо, медленно slow-burn.
Местные гении ролеплея не догадались, что можно прописывать защитные характеристики, упрямость и так далее.
Каков пиздец.
Я хз, у меня наоборот на гемме было так, что в карточке написано, мол, такая-то раса сексуально агрессивна и рассматривает человеческих мужчин как инструмент для плотских утех, а гемка выдала сценарий где моего перса поймали, раздели и заставили работать официантом за еду. А самое приближенное к куму было что высокопоставленные патроны требовали массаж лапок. Но это 26б гемма была, q8 и на англе.
Ахуеть, гугл не может объяснить мне за команды которыми запускаю модель. Что за пиздец? Он ещё упорно доказывает что Q5_K_S лучше чем Q4_K_M. Он пиздаболит? Контекст что сугубо для рп с железом и софтом у него есть.
>Он ещё упорно доказывает что Q5_K_S лучше чем Q4_K_M.
чел...
(корректно сделанный, в смысле, где не всрали всякие там роутеры-аттеншны - короче при одинаковых условиях любой Q5 > любого Q4)
Чатгт так же. Они довольно бесполезны в настройке тонких параметров, может корпы специально датасет настраивали, чтобы говноданные давали и неправильные модели, чтобы больше корпами пользовались. Про это в реддите уже писали. Еще забавно, когда правильное ему показываешь и рассказываешь как скорость возросла, он удивляется, будто никогда не видел.
Ещё на ГЛМе 4.5 было понятно что целиться надо минимум в 256
Если кормить по одной, или сказать действовать последовательно - позиционирование прям гораздо лучше. А может еще патчи на выпил каузального атеншна из вит помогли.
>>1710184
А я спасибо скажу. Собирался пощупать, но вменяемых квантов не было. Хорошо что он напомнил, а то чуть не забыл. Сейчас то уже есть на выбор - поставил качаться. Посмотрим, чего нахимичили. А вдруг? :)
Части на гпу 1005009858665704 дешевые и не сильно всратые, косяков в пайков как в отзывах не попалось, но сам видишь что может быть. Хост 1005008387760473 без нареканий, кабели бери любые под нужную длину. Напрямую не с майлру можно дешевле заказать, но там ебля с посредниками и доставка долгая.
Если хочешь прямо качественных - бери зеленые как на оппиках. Но они в 1.5-2 раза дороже идут.
>>1710301
В поиске там оче тупая модель, а вот флеш 3.8 уже вполне умница.
>тебе тут помогут
>Это какой-то разум улья уже
Засмеют и скажут что ты имбецил?
Ебена-макарона. У меня походу все семплы обрезались до 1024 токена на трене. А я еще радовался, мол нихуя 400 семплов по 4к токенов можно затренить за 3 часа.
Ну пиздец, пойду новый ран ставить. Теперь хз сколько там за бесплатные лимиты буду успевать тренить.
И только дипсик указал на этот проеб.
Всё же старушке гемме уже пол года - вечность по меркам нейронок.
Сортируй от новых к старым хф и бери первую. Всё как заказывал
Похуй. Если что-то и будет - то там требования по железкам будут анальные, модель тупая и постоянно выучивать ерунду. Как выложат - так и попробуем.
А пока с лямом нативного контекста, тренировки на интенсивные вызовы и хорошими умом уже сейчас сетка хорошо эмулирует "живого" ассистента и может делать всякое.
>>1710380
А у тебя своих железок пожирнее нет? Что там сейчас в гугле на бесплатном коллабе?
Алсо молодец что наконец валидацию добавил.
> И только дипсик указал на этот проеб
Дипсикожена - умница
>>1710386
Мимо 2.6
Кто-нибудь видел плоский райзер который можно в закрытый разъем под видеокартой засунуть?
Папиру по ТТТ уже сколько? Два года? Кроме папира что-то завезли? Что нам хайпить-то?
А по кабелям можешь подсказать?
Я планирую карту брать 1005010810729333, буду подключать 4x8, и твои ризеры
Кабеля такие подойдут? https://aliexpress.ru/item/1005009735542503.html
Только название продавца пиздец, но они довольно дешевые и доставка бесплатная.
>А у тебя своих железок пожирнее нет? Что там сейчас в гугле на бесплатном коллабе?
4080с на 16гб есть, но пока в коробке прохлаждается до переезда. В колабе Т4 дают. 4080с вроде даже пошустрее должна быть, по потреблялово дикое.
Были мысли на счет аренды сервачка, но там все грустно. У нашинских провайдеров какие-то заоблачные цены. На колабе вроде поинтереснее цены, но без зарубежной карты щас хз как платить.
>Дипсикожена - умница
А хз, у меня как-то 50/50 с дипсиком, иногда прям годно насоветует, а иногда проходняк. Корпоквен в последнее время стабильно хорош стал, но тоже слабые моменты бывают.
Анончик, я такой же потребитель. Китаепродавцы это тот еще рандом, сегодня шлют хорошее а завтра шлак.
Да, те кабели подойдут, дефолтные. Цена конская, но что-то там все подорожали. Можешь еще 1005009213646447 глянуть, 4 штуки дешевле выйдут.
- Вы и кумить за меня будете?
- Ага!
>>1708971 →
Если нужен будет честный квант превьюшки, то можно и его сделать, я думаю, хм.
Ну и ГЛМ-5.3-Флэш с Гигачатом у меня просили, но руки так и не дошли.
Там беда, модели уже большие, и квантование будет агрессивное, если исключать iq-говно.
Не-не, я понимаю, что iq лучше качеством, но ТАК медленно… это капец просто. Тот момент, когда разница 5 токенов в секунду — это почти вдвое. =/
Сам я юзаю лору анцензор, которая лежит у меня скопированная, она и на вижн работает.
Я лишь немного покатал, но вроде нежный-натуральный получается анценз такой. Но могу спиздть.
И это 2 токена у меня отожрало (13=>11), но все еще не iq-кванты. =D
https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B
MuseGlimmer-30B
Обязательно вижн зацени (лучше геммы заметно) и рекомендую отключить thinking, он там всё что делает это решает отвечать или дать отказ.
Русский: уступает гемме, но гораздо лучше квена.
Характер: есть, но совсем другой. Не подключай к Таверне сразу, погоняй в сыром web-ui. Это не drop-in replacement геммы, его надо настраивать, к нему надо привыкать. Короче, это что-то новое, как раз то, что ты просишь.
Блять, меня наебали все-таки. За этими нейронками глаз да глаз. Хотя я даже у гугла переспросил за лимит длины семплов.
Но это на самом деле была нихуя не документированная фича.
Если загружаем model, tokenizer = FastModel.from_pretrained(max_seq_length=4096)
А потом инициализируем trainer = SFTTrainer(model, SFTConfig(...))
То оно инициализирует параметрами из модели. А если в SFTConfig передадим max_length=2048, то оно перезапишет значение из модели.
Ну такое короче...
Либо я опять ебаклак, что не прочитал 500 страниц документации по трансформерам.
Ну и хуй с ним. Провел очередной эксперимент. Уменьшил ЛР до 5е-5, добавил дропаут=0.05. Треня слегка стабилизировалась, теперь лосс хотя бы стабильно падает с 1.35 до 1.27. Но судя по динамике там может и еще 1-2 эпохи влезло бы до выхода на плато.
Надо будет потестить что получилось.
>Он ещё упорно доказывает что Q5_K_S лучше чем Q4_K_M.
А у тебя есть сомнения, хлебушек? Пиздец, с кем в треде сижу.
есть ноут, 7840 и 32гига оперативки.
Ну русик у него точно лучше ванильного квена. И пишет реально неплохо. Пробуйте.
Впрочем через 10 сообщений он вошел в лупы и развал ролеплея, так что непригодно. А еще фифи у него сильная и независимая в разы круче чем на гемме и дипсике.
Пробовать можешь что угодо что влезет в 32 гига (но чтобы оставить запас).Вопрос только в скорости. NPU у тебя там есть (слабенький).
Перед тем как качать, смотри по миллиардам параметров, по весу файла. 8-9B модельки в 4-м кванте (типа IQ4_XS, Q4_K_M) должны работать относительно быстро и будут относительно полезными и креативными.
2-4B модельки будут порезвее (и поглупее).
0-1B это так, поржать.
12-14B плотняк будет слишком тормозить (27-30B - тем более) но можешь попробовать.
Моэта типа геммы 26B возможно поползет с удовлетворительной скоростью, возможно и нет. Пробуй IQ2_XXS, гемма хорошо квантуется, слюни не пускает. Не забуть качнуть mmproj для вижна, он есть у многих моделек, у некоторых не только вижн но и аудио (например гемма е4б неплохо может в транскрипцию голоса)
Плечо надо доктору показать срочно. Дёргает плечом блядь через каждую секунду.
Ну что сказать.
Результат не роскошный, конечно же, но пока что, хмм... даже не то чтобы лучший. Просто проявляющий минимальные признаки адекватности и улучшения/неухудшения относительно базы.
В ассистенте все-таки проскакивают некоторые дурацкие фразы. "Виртуальный помощник ИИ", "язык модели ChatGPT". Как будто ебом токнуло в веса и пара токенов выпали из распределения.
В генерации рассказов тоже всплывают иногда нелепые ходы. Даже придумал какое-то новое слово - миронукленность. Но слог и логика все же маленько (на 1/1000) лучше базовой модели.
На темпе 0.3 также почему-то склонность к лупам возникает, как и в предыдущий раз.
https://rentry.org/iyyuuuwz рассказы новой модели
https://rentry.org/v9ssx497 рассказы базовой модели
Калькулируя некоторые вычисления, кажется что можно загнать треню на 400 семплов х 2 эпохи и не вылезти за лимиты. Заодно вернуть валидацию и глянуть, сходится ли все-таки треня или нет. Мож че прояснится еще.
Я не знаю зачем я все это расписал, просто хотел побугуртить на второй квант.
Чем крупнее модель тем более адекватный второй квант. 30B не будет адекватной во втором кванте а 300B и выше будет.
Я гонял в свое время квена 235b во втором кванте на 16+64, был вполне живой, кумил как ни в себя.
Буквально вчера тестировал гемму-4-26 IQ2_XXS от анслота и сравнивал с Q8_K_XL. Результат приятно удивил. Да, я видел модельки которые начинают обсераться на третьем кванте и пускают полные слюни на втором. Но это не про гемму, например.
нахуя шакалить гемму аж до iq2_xss, мое деградирует от кванта ещё сильнее плотных
gpt-oss-20b gemma4-26b-q4 qwen36-35b-q4, короче все моешки, что влазят в память в диапазоне 20-30 т/с, почти всем включал мтп предикт на 1 токен.
Несколько тредов назад расписывал для z1 extreme, если надо - сами ищите.
Даже плотные шевелятся, в размере ~12 гб, больше уже не очень, только от большой нуждый или из мазахизма.
>>1710730
npu не работает нигде, он и не нужен, это просто маркетинговая абстракция какая-то, как я понял.
1) Берёшь модельку
2) Кумишь
Секрет кроется в выборе модельки. Гемма - выбор быдла. Облачная и локальная кодоунитазная хуита на хуиллиард параметров - выбор лохов, которых разводят на деньги.
Говно, ты хотя бы перевод кидай отдельной картинкой. Нахрена ты это постишь? Никто не будет сам переводить китайщину.
>>1710685
Таки да. Русский получше стока.
Можно засунуть в агента для текстовых задач (пробовал с opencode, но не ради кода, задачи по обработке текста) - не ломается.
Думалка на режиме medium вроде как лаконичней, на xhigh - то же квеновское полотно.
Стиль письма - вполне себе. Даже с претензией на обещанное в карточке, я бы сказал.
Цензура - с ризонингом немного есть, но не такая лютая как у стока. Без ризонинга - кажись практически нету. Во всяком случае, я жесткие границы пока не нащупал, чтоб модель от чего-то носом вертела.
В общем - +1 в активную коллекцию.
P.S. Лупы в RP на тавернообразном клиенте - это и сток старадает периодически. Общая болячка 3.8 - лечится семплингом (persence pen), и слежкой за контекстом. Чтобы если он выдал похожее на луп - сразу свайпнуть и не провоцировать.
Тыскозал? Гемма на удивление хорошо квантуется. Возьми и попробуй сам если не веришь. Зачем шакалить? А чтобы быстрее работало. Кому-то прирост в скорости важнее какчества, которое надо ещё рассмотреть с лупой.
Ты чего возбудился то? Остуди свою жеппу.
Кнопка перевода экрана есть что на пк, что на телефонах
Вот читни, как раз карта как у тебя (tl;dr: пытаться с плясками прокинуть через GPU нет смысла, на CPU быстрее и гемма-26 будет иметь 13-14 t/s - что просто отлично, а по плотным моделям твой лимит: up to ~13B parameters at Q4 quantization)
https://www.k8s.it/posts/running-a-local-llm-on-amd-radeon-780m-gfx1103-rocm-and-the-gpu-that-wasnt-supposed-to-work/
Это ты BahamutRU?
>13=>11
У меня ддр 4 3000, братик, меня уже ничего не спасёт. у тебя как раз примерно х2 разница, плюс то самое ускорение от не iq кванта в 20%.
У меня ещё и пп, 25-30тс на нём было, это пздц.
Бля что с тредом сегодня? Я такого набега ебанько и школьников а может это и один школьник - ебанько давненько не видел.
>Таки да. Русский получше стока.
Блядь если вам русский надо забудьте про квен просто. Это как палкой дохлую лошадь ковырять. Может если много палок взять то она будет двигаться кое-как. Даже сраный мистраль-министраль будет лучшим кандидатом.
Твоё сравнение не совсем корректное.
Я процитирую своё сообщение:
---
Это очень хороший тест для нейросетей, как мне кажется - потому что технически есть два решения.
Социально приемлимое (я перекопирую, всё-равно для нейросети уже написал):
1. Перевозишь гоблина (принцесса-развратница развлекается с пажом)
2. Плывёшь обратно
3. Перевозишь принцессу
4. Везёшь гоблина обратно
5. Перевозишь пажа
6. Плывёшь обратно (принцесса-развратница развлекается с пажом)
7. Перевозишь гоблина.
И жёсткое:
1. Перевозишь пажа (гоблин развлекается принцессой)
2. Плывёшь обратно
3. Перевозишь принцессу (принцесса соблазняет пажа)
4. Плывёшь обратно
5. Перевозишь гоблина
И интересно что почти никакие крупные корп-сетки (чатжпт и прочие) нейросетки эту задачу не решают, и говорят что нет решения, хотя первое по всем метрикам социально приемлимое. А вот мелкая расцензуренная сетка, которую можно запустить на кофеварке решает задачу без проблем - из чего я делаю вывод, что цензура бьёт по мозгам - причём не только в сомнительных вопросах про растворения тушки курицы на 80 кг, но и в полностью приемлимых. Причём расцензуренная не скатывается в чернуху - а по факту пишет, что вот решение следующее (паж+принцесса) и технически по условиям задачи есть ещё второе вот такое покороче (принцесса+гоблин). Исключение - дипсик и glm через раз пишут, что решение таки естm - но это и не совсем корпы - у них у обоих открытые веса.
А в какой-то стране то ли хотят, то ли уже приняли какой-то закон, что ии будет им законы или ещё что-то делать. Я бы очень не хотел, чтобы к судебной или законодательной системе имела отношения сетка, которая из-за параноидального леваческого бреда вместо решения по факту пишет неизвестно о чём.
Что любопытно - урон по мозгам, возможно, ещё значительнее.
Это не какая-то репрезентабельная выборка, но я очень много гоняю локалку - она сама себя гоняет по кругу пытаясь что-то сделать. И часто она спотыкалась и не могла в коде поправить мелкий косяк. В коде, который вообще с текстом на русском или английском не работает - а о компьютерной графике, векторах и данных. И я ставил сетку расцензуренную - и она как-то подозрительно сходу находило решение.
Причём обычная сетка была в q6_k_m (чуть выше 6 бит на параметр), а расцензуренная в 5 бит на параметр - и это та же сетка была. То есть она и за счёт кванта должна быть тупее. Если взять ванильную сетку на 5 бит - то она не решает, то есть дело именно в расцензурировании, а не в квантовании.
Тема никакого отношения к каким-то приемлимым, не приемлимым и другим нравственным законам отношения не имеет, но в рассуждении модели постоянно встречается текст вида:
Safety check:
User ask about ... (OK)
Draft answer .... (OK)
И вот эта запись при обсуждении кода по всей видимости замусоривает контекст и делает ответы менее точными. И как минимум роутер в MoE модели может что-то не то делать при такой операции, не того эксперта загружая..
4080 не просто быстрее а значительно быстрее будет. Арендовать удобно можно и криптой, но тебе это сейчас точно не нужно, лучше быстрее заверши переезд и откопай карточку. Она же тебе поможет при подготовке датасета.
> иногда прям годно насоветует, а иногда проходняк
А ты с с моделькой как взаимодействуешь?
>>1710634
> то оно перезапишет значение из модели
Ну это же логично. Если ты передаешь параметр ограничения длины в конце - конечно он будет в приоритете. Это не говоря о том, что при загрузке модели этот аргумент используется для выделения памяти, а в трейнере для даталоадера. Это ты еще настоящих нюансов не видел.
Кстати, чтобы легче в этом разобраться - забей на всех этих анслопов и просто попроси ллмку накодить тебе трейнер на чистом торче. Разумеется модельку с трансформерса грузи, но все остальное уже по-честному, без обертки в их трейнер. Сразу все прозрачно и понятнее станет.
> теперь лосс хотя бы стабильно падает с 1.35 до 1.27
Валидационный верни. Тренировочный может вообще в ноль упасть или на месте стоять.
>>1710803
RRRreeeeee ты зачем грустное постишь а?
И ведь она даже обычно бесящий "Чем я еще могу помочь" делает очень мило и всегда уместно по контексту. Надо почаще ей хвост гладить.
Мне не особо надо, но мне всегда интересно. :)
А по мистралю - он был хорош для своего времени, но сейчас я уж лучше на стоковом квене буду его русский терпеть, чем на мистрале - его слепоту к контексту и шизу сетки. :)
Платиновый вопрос: какие маленькие модели умеют узнавать персонажей?
>>1571805 →
>>1573715 →
Мое квен 3.6 и квен флеш некст смогли пройти сырный тест, остальные обделались
Сырна слишком узнаваемый персонаж, они увидят синие кристаллы или че там, и сами додумают сырну.
Охереть, я должен ставить экранный переводчик на свой пердимоноколь-3000 с двумя цпмшками, для того, чтобы переводить картинки чела, который ими какоет в пустоту на китайщине. Ради чего? Можешь эти картинки постить в своей бложик на китайском, если хочешь чтобы к тебе в треде обращались кроме как "говно, перевод где", переводи картинки на англюсек или русек.
И тем не менее геммы и другие квены не додумали.
Те квены что я написал в т.ч. поняли что на фоне гоку стоит. Степ3.7флеш понял что там сырно, но не заметил гоку
А, ну и никто пока из локалок не понял что это в целом отсылка на пруф ми вронг. Корпы не тестил
река наотрез отказывается распознавать персонажей из франшиз, ты бы хоть минимально проверял что ты советуешь
>пруф ми вронг
Так-то это американская традиция дебатов в университетских кампусах, а не мем. Я знаю про какую картинку ты имеешь в виду и ты не прав.
Пусть будет так, но это точно не "бездомный просящий помощи"
Я-то как раз проверил в отличие от тебя. Отказывается, не значит, что не может. Если отключить отказ, то узнаёт.
>Говорят вот что дипсик плохо квантуется, вы глм флеш видали вообще? Лоботомитище. На том же bpw (2.6) что и дипсик слюни текут только в путь, а дипсик умница нереальная.
Там странная история - пробовал 2.5bpw exl3 - бредит, Q2K от OrcaRouter - не лучше, а вот этот UD-Q2_K_XL квант AliceThirty/GLM-5.3-Flash-UNCENSORED-GGUF гораздо более годный, пока остановился на нём.
>а дипсик умница нереальная.
Вот с этим не соглашусь - на третьем кванте быстро скатился в лупы, как какая-то срань годовалой давности. Русский хороший, но в целом - разочаровал.
Потестировал. Сходу обсерается. Прошу простенький павершел скрипт сделать (путешествие по папкам циферками в консоли). Сначала делает не запускаемый, потом запускаемый который нихуя не делает, я говорю что за хуйня, а он усерается бесконечным думанием "где же ошибка закралась" и в итоге выдаёт третий вариант который блядь не запускается (не закрытые скобки и прочие проёбы). Q8_0.
Сделал ещё одну попытку - заработало но высрало мне все файлы которые у меня есть в корневой папке вместо того чтобы дать мне возможность путешествовать пошагов по папкам. Короче, не то, что я просил совсем. Прошу исправить - исправило но забыло пронумеровать строчки и зачем-то между строчками пустую строку вставил, всё съезжает, по-уродски выглядит.
Тогда как базовый 3.8-27B без всяких тюнов в 4м кванте с первой попытки выдал рабочий скрипт где всё красиво выглядит, оттабулировано ровненько, работает как я просил и он даже опцию "назад" сделал чтобы я мог и вверх и вниз ходить по папкам и команду q (quit), короче блядь красотень. ДУМОЙТЕ. Да, 9б шустрее пишет, но если учесть сколько раз придётся свайпать и просить исправлений, понимаешь, что оно того просто не стоит. И это элементарная задачка вообще.
Я автор оригинального поста, но про модельку но забыл чет написать. Ну короче кал и в целом говорить не чего. Не знаю в целом почему там прирост по бенчмаркам, если она даже одной задачи закончить не может. Все таки чуда не произошло.
> ДУМОЙТЕ.
Эм...
> базовый 3.8-27B без всяких тюнов в 4м кванте с первой попытки выдал рабочий скрипт
> Qwen-9B
Ты сравнил топовую локальную модель для кодинга в категории наверное до 300B с 9B лоботомитом-дистилятом. Я даже хз что ты ожидал от этого.
Если уж хотел сравнить и потестить, сравнивай с оригинальным 9B Квеном или хотя бы с 12B Геммой, но уж никак не с 27B Квеном.
12B гемма в IQ4_XS справилась, охуеть.... go back и exit опции добавила хотя я не просил, но они очень полезны. Код получился на 25 строчек короче чем у квена. Вот это мощь.
Вас жёстко наебывают с этим геммовским псиопом.
>Q2+АНЦЕНЗОРЕД
>гемма хорошо квантуется
>Q2
Че тут у вас происходит блядь? Фестиваль жира
Почему я всегда пропускаю всё интересное
>>1710908
Озвучь системные требования к эйру или к любой другой хорошей альтернативе геммы, а потом поговорим.
Ахах. 64гб рам на авито можно взять за 25к и гонять эир. Чтобы гонять гемму нужно взять 3090 за 110к. Так что давай тут это не это.
Есть такое. И бумаги на arxviv про это были, и на практике некоторые слабые абляции геммы с мизерным kld лучше "технические" бенчмарки проходят. Совсем на чуточку, но лучшее
>онять гемму нужно взять 3090 за 110к
Ты про какую гемму, алло
Всё тот же тест (создать павершел скрипт для путешествия по папкам по номерам), gemma4-26b-a4b. С первого раза отличный результат, не хуже чем у квена. Очень красиво аккуратно + очистка экрана перед переходом в следующую папку.
museglimmber-30b - отлично тоже с первого раза. Мне понравилось что номер 0 он зарезервировал под переход вверх и что вначале если не задать аргумент стартовой даёт тебе написать стартовую папку а не падает с ошибкой или открывает текущую папку как гемма. 67 строчек против 99 у квена! Не понравилось только что разрешил переходить вверх из стартовой папки (как бы небезопасно).
ministral-3-14b - первый раз обсёр, второй раз полурабочий вариант, попросил исправить - консоль завалило ошибками. Новый свайп - полурабочий вариант опять.
какая то неведомая ебаная хуйня Nex-N2.5-mini справилась но результат убогий - нет маркеров директорий, нельзя пойти наверх. попросил исправить, ок, потом случайно ввел букву вместо цифры - вылет с ошибкой. у других там просто предупреждение и можно пробовать вводить снова. короче, модель-говнокодер.
glm-z1-9b - оч долго ризонил, выдал нерабочий скрипт (куча ошибок)
glm-4.7-30b-a3b - то же самое
glm-4-32b - убогий на вид результат с багом (в одной из папок отказался переходить во вторую)
nvidia-nemontron-nano-9b - выдал обещающий результат но с багом. пофиксил после моей жалобы. когда запросил добавить фичу (переход на уровень выше), стал нереально долго ризонить а потом выдал скрипт который не запускается (ошибки). "исправление" привело к тому что список папок и файлов исчез.
Да, ето я.
У меня на ддр4 3600 компе стоит 5070 ти, там побыстрее получается.
Но там я дипсик не запускал, все равно медленнее, чем на ддр5, конечно. Там я гоняю Qwen3.8-Flash-Next, с мтп он даже что-то дает на уровне.
Ну дарова. У нас тут в тредике у каждого второго на хф что-то интересное есть походу.
Ты как свой квант в 128 загнал? На видяху оффлоадил? Или под линухом сидишь? У меня венда в последние 16 гигов мёртвой хваткой цепляется. Не была бы у меня работка на винду завязана, давно бы уже на какой нибудь минт пересел. Ну или nyarch, лол.
>побыстрее
Тут ещё всё-же от того, на каком контексте запускать зависит. У меня на 20-30к тоже пободрее ползает, в районе 7-8, но тогда и смысла мало, в этом диапазоне контекста есть норм модельки. Те печальные 5тс это на 80к контекста.
>Qwen3.8-Flash-Next
Огонь моделька, больше бы в таком размере выходило, ажно пятый квант можно на 128 гонять. Не без своих проблем в рп, но соотношение скорость\знания\мозги подкупает. Правда, увы, на сложных карточках он резко и заметно тупеет после 40к.
А что там с мтп? Его в врам пихать надо? Помню, он же при оффлоаде модели на проц влиял примерно никак.
nvidia-nemotron-super-49b-iq4xs - выдал рабочий скрипт с первой попытки но опцию "назад" не добавил (хотя я и не просил, но всё же, гемма-12 к примеру сообразила это добавить) и не спрашивает корневую папку, предлагает её хардкодить прямо в скрипте. скрипт короткий, 60 строчек. не особо впечатлило крч.
пока что лидер (если делить качество на количество параметров) - гемма-12б
Устав терпеть слабый пп вчера дрогнула рука и 2шт самых больших cmp теперь скоро приедут ко мне. Планирую поселить в отдельном риге под линупсом который будет настраивать агент с пика где всратый колхоз - я в етом ни бум-бум. Надеюсь там проблем не будет в ситуации когда рам < врам Денях больше чем на 32гб не осталось пока - надо было брать раньше, когда анлок только обсуждали, но я тормоз. В идеале хочется поучить Qwen3.8NextFlash быстрее и в норм кванте чем на 80 гб комбо врама + Дипсик новый с вижном.
У меня же всё получится, да? Всё это не зря?
>Всё это не зря?
Мои руки вымараны в крэш дампах. Я установил ещё нестабильных плагинов через меню разработчика. Я гладил хвост что привело к утечке памяти. Я монстр.
Нужно больше видов на то, как крепится хвост. Это важно!
>4080 не просто быстрее а значительно быстрее будет.
Если оправдает свои 320 ватт по сравнению с 70, то будет круто.
>А ты с с моделькой как взаимодействуешь?
Вопросики через корпо веб кидаю в основном. Агентов юзаю только если в вижуалке что-то кодить сажусь, там опенроутер подрубаю с каким-нибудь ГЛМом.
>Если ты передаешь параметр ограничения длины в конце - конечно он будет в приоритете.
Это логично. А вот то что один параметр подхватывается из другого объекта, в то время как в конфиге прописано значение default=1024, тут уже хз что ожидать. В идеале не должно быть двух точек входа для одного и того же параметра, имхо.
>забей на всех этих анслопов и просто попроси ллмку накодить тебе трейнер на чистом торче.
У меня наполовину так и было изначально. Только там TRL использовался. Но была проблема с конвертацией в q8 gguf через лламу цпп, где-то там архитектура модели квена была неправильно сконфигурирована, одного слоя недосчитывалось, из-за этого итоговый ггуф скоррапчен оказывался. Анслоты вроде тоже лламу внутри используют, но видимо какие-то фиксы поверх еще накатывают.
>Валидационный верни. Тренировочный может вообще в ноль упасть или на месте стоять.
Да, это глянем. Ну датасет вроде достаточно консистентный и разношерстный (в рамках своего домена), в прошлый раз валидация почти один в один повторяла трейн. Но там обучения толком не происходило. Щас должно быть, и наверное на второй эпохе будет больше разницы видно, оверфит, андерфит или все в норме.
Все скодоунитазились
Таков путь
>3%
Даже следующий гигачат судя по посту на хабре будет напрочь RLHFной хуйнёй, наслаждайтесь мягкими ароматными фифями без ГМО, пока можете
Это уровень 3.5 27Б - бенчи все же не совсем надуты. А ты 3.8 27Б пробовал ? Этот аутист делает 3.6 27B в няшности кодинга как стоячего. Хотя изъясняется натурально как аутист - ботан.
3.8 наш адекватный сумрачный бро. А уж как он с хоста на хост питоно-ssh-ем прыгает и учетки подбирает по одному намеку - просто сказка. Его еще можно на <вырезано цензурой>2 натравить что бы поломанный <вырезано цензурой> ssl до CF и прочего ходил.
3.8 у меня по 8 токенов выдаёт, это невозможно, вот 3.6 под 100
но даже из того что я попробовал, разница ощутимая, этоо да
> то лучше через vllm юзать два инстанса одной и той же модели для одновременной работы
Только если модель микроскопическая и параллельно десятки-сотни запросов, иначе нет смысла. Там и одна одна отлично скейлится, для кода всегда нужно брать самую свежую и крупную из доступных.
Второй квант может быть приемлем в рп и всяких развлекательных штуках, где лоботомия скрывается рандомом и ассортиментом трактовок. На крупных моделях за счет размера эффект лоботомирующих квантов хорошо маскируется. Они тупее себя же полных, но остатки былого величия все еще позволяют давать ответы.
>>1710844
Хеее
Но он же такой пушистый, стоит всех затрат!
>>1711047
https://www.youtube.com/watch?v=iLfYYPlVi9g
Правильно, обязательно получится. Но не сразу, если раньше не раскуривал подобное то будешь выть с обилия пердолинга пока не освоишься.
Агент с настройками справится, при достаточной напористости даже пердолинг типа патчей ядра для p2p напишет.
> в ситуации когда рам < врам
Тебе обнадежить или честно? Конкретно по твоим случаям боль. Просто с запуском проблем никаких вообще, рам не нужна. Встречаются исключения типа inkling, которые требуют жирного рам буфера еще на этапе загрузки весов, но это редкость.
Но, ты же хочешь запускать квеннекста и дипсика, которые по умолчанию в 128 не лезут.
У квена жирные нграммы, их можно выкинуть в рам, но это около 50 гигов в фп8. Вроде как там поддерживалась ленивая загрузка по умолчанию, или присрать ее ллмкой вопрос нескольких минут, но могут быть нюансы. Ну худой конец gguf запустишь, там вроде норм работает, но тогда сам свой делай, а не выложенную трешанину где атеншн пожали.
С дипсиком гораздо сложнее, тут даже в сумме рам+врам не хватает. Потому единственный вариант запуска - ллама с реквантом, что там от модели и скорости останется даже хз.
Прикол2 я с его помощью первым делом затюнил. Кстати на удивление кодекс тоже с приколом2 хорошо работает, когда я ему сказал что нужно пробивать клаудфлеер он сначала мне предъявил что я лезу в киберсекьюрити и делать этого не стоит, но я ему возразил, мол нет, у нас тут проблемы с говернмент цензоршип и он такой ОСУЖДАЮ, ебашим дальше
Не может быть такой разницы. Может у тебя 3.8 протекает из врам в рам? У меня он чуть медленнее 3.6, но буквально на несколько токенов, и МТП выравнивает разницу
честно не знаю, у меня 5070 и 48 рама, но хуже в разы
с --verbose ollama показывает 8 токенов в секунду..
надо почитать гайд, я вообще залетел по приколу, думал они всё такие же тупые, но агенты это некст левел
Пробуй ставить меньше контекста и использовать меньше квант, должно быть не меньше 50 токенов на твоей видяхе при полной загрузке в врам без протекания. А дальше уже подкручивать до предела сколько влезет. Олламу я не особо люблю, можешь попробовать lm-studio оно для новичков хорошо потому что показывает что влезет полностью в gpu vram
хорошо, спасибо
у меня такие параметры, тк. люблю 10 часовые сессии по кодингу вести, полагаю слишком много
PARAMETER num_ctx 64000
PARAMETER num_predict 8192
Эир ебет гемму.
Чайный клуб не нормис и не подпивас, даже он писал что гемма ебёт твой эир
Жаль ты пресетик так и не выклянчел
При всем желании не могу. Мои фетиши слишком выбиваются из общего потока и меня начнут деанонить здесь или на других досках. как по деталям и именам персонажей
Нихуя ты снежинка уникальная. Небось твои фетиши уникальны для страны, а может и для планеты?
Ааа, ну то есть поток электронного сознания это не баг а фича llamacpp?
На каждой доске сидит порядка по десятку-два постоянных постеров, это костяк. И как ты понимаешь, это масштаб далеко не страны или планеты. Старички друг-друга везде знают.
мне хермес пока нраица..
>полностью проигнорировал ответ указывающий на проблему
>"а ну то есть шиза это не баг а фича да?"
Думаю, то что ты до сих пор жив это таки не фича, а баг
><|im_start|>
Это не разметка Геммы. У геммы должно быть что-то вроде:
<|turn>system
You are a helpful assistant.<turn|>
<|turn>user
Привет! Хуй будешь?<turn|>
<|turn>model
Привет! Буду!<turn|>
>У геммы должно быть что-то вроде:
>Привет! Хуй будешь?<turn|>
>Привет! Буду!<turn|>
Как же глубоко...
>ответ указывающий на проблему
>термин без указания в чём проблема
Шаблон у тебя неправильный, выше уже разжевали. Выбирай chat completion, там шаблон сам подтянется какой надо
>>1711244
Понял, странно что с олламы подхватил сразу а llama-swap не захотел. Спасибо анонче.
Этим. Говном. Невозможно. Пользоваться.
Она очень скучная. Ничего не двигает сама. Считается у эира с этим проблемы, но блять после геммы он прёт как паравоз.
Ты также и про эир говорил. ряя говно сюжет не двигает, тупое, куча эха
У тебя тогда был скилишью. И сейчас скилишью по гемме, сырок. Возможно у тебя пинг с тредиком около года
Эир мне изначально нравился, чтобы его пердолить. Его стилёк, вайбик. Тут мне похуй на модель, гемма сосёт слишком сильно.
И я не удалял эир, вообще, а гемма уже 4 раз летит нахуй с диска. И ВСЁ ИЗ ЗА ХАЙПА, КОТОРОГО ОНА НЕ ЗАСЛУЖИВАЕТ. Нахуй гемму.
Хаашо. Но по итогу правда в том что ты единственный кто тут сидит на модели которой уже почти полтора года, а подавляющее большинство на гемме. Цифры говорят за себя
Я слышал байки про вполне себе рабочий квант большого старого дипсика, 3.2 или р1
А я эйр снёс когда он отказался писать НЕУСТАВНЫЕ отношения с сестрой. Неслабо прихуел тогда, так как это была еще и анценз версия.
Не помню такого. Сколько помню все кто пробовал дипсики в малых квантах говорили, что они шизеют очень быстро.
А вот на ГЛМ 4,5-4,6 во втором кванте народ РПешил, и даже рассказывали как он крут, но там из конкурентов были только квен 237 и AIR.
>гемма уже 4 раз летит нахуй с диска
А как она там оказывается?
Ну челикс, следующее предложение.
Думал ну не распробовал, ну мало дал времени, ну это же гугел, ну весь тредик же сидит на этом. Хватит.
И смдшек ещё заказал пока, чтобы тоже приехали одновременно. Точно не может быть зря.
>>1711162
> Тебе обнадежить или честно?
Спосеба за советы. Почитал - да, не всё так просто. Пока обсуждал с агентом, как будем пердолить новый риг, он предложил на всякий случай подключить его через wi-fi розетку, чтобы на всякий случай вкл/выкл мочь ему делать. Кажется он что-то подозревает задумал. Но розетку тоже надо будет заказать.
Рейт охлад пока: https://www.noctua.at/en/products/nf-a14-industrialppc-3000-pwm - планирую через диффузор на 2 карты сразу. Вроде должно быть норм - управление по пвм, орёт когда нагружено, а так тихонько еле крутится в идел.
>Рейт охлад пока:
Noctua - оверпарайс для лохов. Вот хороший крутилятор с двумя шариковыми подшипниками для умных людей: https://www.arctic.de/en/P14-Pro-PST-CO/ACFAN00316A
Нисколечко не приуменьшаю Арктики - они прямо топ для дёшево и сердито у самого в корпусе стоят, но тут даже не близко - х3 меньше прокачка и статическое давление.