Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №97 /llama/
Аноним
21/12/24 Суб 16:39:03
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичка с уклоном в русский РП: https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.xyz/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>979451 (OP)
>>974181 (OP)
Пока ты не написал, я даже внимания не обращал. А сейчас как заорал.
Не то слово. Меня не столько кум интересовал, сколько возможность воплотить различные безумные сценарии.
Ну где бы я еще читал как кошкодевочки запинывают хоруса на его флагмане. А Сигизмунд пьет чай с Сенко.
>кошкодевочки запинывают хоруса на его флагмане. А Сигизмунд пьет чай с Сенко.
Когда-то давно я читал фантастический рассказ про девайс, который позволяет вмешиваться в сюжет фильмов, транслируемых по ТВ. И там было подобное, в одной из сцен семеро козлят забодали волка насмерть. А теперь вот мы живём в таком мире.
Анон, ты бы это, перешел хотя бы на Q5. В треде появляются новые аноны. Так бывает.
>Он генерирует промпт каждое сообщение
Так сделали.
>Можно сделать
Вручную составить карточку из нескольких.
Запустить два бэка и вручную переключаться между ними в зависимости от говорящего персонажа (триггерить вручную командой /trigger)
Писать свой фронт.
>Писать свой фронт
В процессе, но, работа, факторио, все дела, время отнимает.
Хотя оно уже работает, но не настолько работает чтобы выкладывать.
Ты променял сеточку на заводляндию ? Нипонимат
Нельзя на сеточку менять реальную жизнь, это путь в ни куда, но факторио ? Я вообще отказался от всех игр и в свободное время только с ними и вожусь. Приоритеты’с
У меня сейчас пена изо рта от злости пойдет и я превращусь в макаку, что начнет бросаться говном в монитор
>Приоритеты’с
У меня в факторке всего-то ~800 часов.
Съехал с тяжёлых сеток которые пока ответа дождёшься можно свернуть браузер и заниматься своими делами.
А так, все интересные карточки на англе протыкал, теперь их на русский перевести, для юзов и теста, а потом можно и свеже скачанные поразбирать.
Заоупается модель, а не фронт, хотя можешь попробовать поднять rep-pen, но в целом это беда именно контекста, открой контекст, почисти и отредактируй, удали повторяющееся, потом попробуй снова что-нибудь написать.
Да я заеьался с этими 12b. Хорошо, я могу ебашить сочинения в ответ. Но вот, что то интересное получается.
- пойдем я тебе покажу. Бла бла бла
- веди
- бла бла бла я тебе покажу
- ВЕДИ
-бла бла бла я тебе покажу
-СУКА, ДА ПОКАЗЫВАЙ УЖЕ БЛЯТЬ
Хуйня какая-то, в треде вообще людей нет, полторы нейросетки переписываются.
>>985015
Пили в своём посте, что вы взялись за ручки и дружно пошли смотреть, что ты там собрался смотреть.
If {{user}}'s actions alone do not sufficiently advance the plot, the AI is empowered to creatively develop the story's progression in alignment with the established context while maintaining coherence with previously introduced elements. Additionally, the AI may occasionally introduce twists or unexpected turns to prevent stagnation and keep the narrative engaging;
Может помочь.
По крайней мере вот именно с такими лупами я не сталкивался.
Такие лупы могут быть хотя например в боевых сценах когда бот стесняется добивать гг =))
>Трудно объяснить. Просто само отсутствие проёбов по логике радует.
Легко на самом деле. 123В понимает намёки, более мелким сеткам нужно разжёвывать и то не всегда помогает
>На ванильном куме уступает тому же старому командеру, но когда начинается ёбаная дичь - эта модель вывозит хорошо.
А вот с кумом на мелких вообще печаль. Я вчера пробовал EVA-Qwen2.5-32B (в четвёртом кванте, чтобы в 24гб влезла) - в принципе норм, даже хорошо, но как дошло до секса - туши свет, один абзац и тот простая констатация факта. Попробовал переписать сцену другими моделями - в основном производными Магнума 22-32В, ну и чистым - "шо то хуйня, шо это хуйня". Пробовал даже прости господи Мойстраль 11В - думал, что хотя бы у этого есть база. Мда. Вернулся на старый добрый Люминум 123В и стало хорошо. Но сука медленно.
> Пили в своём посте, что вы взялись за ручки и дружно пошли смотреть, что ты там собрался смотреть.
Так в том то и дело, я в душе не ебу что эта яндере собралась мне показывать в конюшне блять.
> Она годна на что угодно кроме извращений с тяжелыми ллм. Буквально билет в мир ии и нейросетей, а не обреченность небыстро катать ллм на жоре.
Да, я именно об этом.
24 гига медленно на что угодно. А 12 гигов хватит с нулевой скоростью на многие нейронки. Потому что не запустится. Медленно больше нуля.
Вот буквально.
- я сейчас расскажу как я тебя выебу
- ввели меня
- нет, ты послушай.
Ящитаю ньюфагам нужно некомикс, а не сенку советовать.
Во первых к нему уже сразу идет готовый пресет.
Буквально, подключил импортировал и играй.
Единственное, странная тяга некомикса к щекам меня смущает. У моего персонажа щеки как у лабрадора, все их трепят.
Cейчас сделал групп чат закинув туда двух персонажей и самоустранился. Через 5-6 сообщений они ушли в залуп, угрожая и "слушая" друг друга следующий десяток-два сообщений.
Накинул им температуры и сбавил мин-р, началась поножовщина с оттиранием остатков мозгов с стен.
Так что в целом это решаемо, но придется либо снижать градус рандома после выхода из лупа, либо привыкать что модель будет чаще выдавать шизу.
>один абзац и тот простая констатация факта.
Чёт с настройками, у меня эта же модель в том же кванте ебашит полотнища про слик фолдсы, вет слапинг саундс и прочее. Ещё что заметно, что достаточно много в датасете флирта с девочками-целочками, есть у модели тенденция делать персонажей virgin, даже если об этом ничего не сказано в карточке. Ну и желательно писать посты плюс-минус длинные, иногда оно даже копипастит твои реплики в свой пост и пишет на них реакцию, а если уж ты хочешь дёрти толк в процессе, то надо и самому пиздеть.
>>985028
Так может в этом и проблема? Модель сама нихуя не знает, что там показывать, потому и динамит без конца. Сам что-то придумай, типа на конюшне дед кобылу прёт.
>Так в том то и дело, я в душе не ебу что эта яндере собралась мне показывать в конюшне блять.
Тебе и не надо писать что там, просто поставь сетку перед фактом что мы туда пришли, и она начнет описание новой сцены
New linear models: QRWKV6-32B (RWKV6 based on Qwen2.5-32B) & RWKV-based MoE: Finch-MoE-37B-A11B
https://www.reddit.com/r/LocalLLaMA/comments/1hbv2yt/new_linear_models_qrwkv632b_rwkv6_based_on/
Запускать RWKV модели можно через те же llama.cpp и Koboldcpp.
Это ноутбук. Тут нет видеокарты. Я вроде слышал что можно какие-то локалки на цпу запускать.
Процессор тоже можно, но грустно
>>985044
видимокарта есть? Давай врам, рам, количество ядер
Но и так скажу, если тупо процессор на 2 канальной ддр4, то там максимум ~40-50 гб/с. Что то комфортно крутить на нем можно только до 9b сеток в 4-5 кванте
Качаешь Koboldcpp, модель ту что влезет в оперативную память, и плачешь от скорости генерации.
Скорее всего с сайгой в миксе перебор.
Я сейчас мержу, выкинув сайгу и вихрь по отдельности и вставив некомикс, вообще алгоритм della походу рулит.
Если я правильно понял, он в сущности извлекает лору из каждой модели, усредняет значения тренировки между моделями и вливает это в указанную базовую модель.
>>985031
> Медленно больше нуля.
На процессор, вперед. В том и дело что многое нормально не запустится из-за отсутствия поддержки в современных либах, а из-за неспособности в дробную точность помимо в целом низкой мощности - получается что скорость ниже разумного порога и сравнима с процом.
> А 12 гигов хватит
12 гигой какой-нибудь 3060 обоссывают бесполезные 24гб теслы везде кроме инфиренса ллм.
>в конюшне
О, про конюшню у меня тоже было. Собиралась "сделать сюрприз". Спойлер: когда пришли, попросила выебать грубо, как последнюю шлюху. Весь секрет в том, что модель ещё сама не знает, что там за сюрприз будет, если не планирует через какой-нибудь "stepped-thinking". Не знаю, та же была модель, или другая, но у них у всех сейчас один и тот же датасет.
У меня ноутбук с 4060, лол.
Посмотри в диспетчере устройств / диспетчере задач.
Если же у тебя ДЕЙСТВИТЕЛЬНО старьё-печатная машинка, то только облако.
Да он в целом пиздат. Неиронично, пока что лучшее что я в русском рп видел. Вот бы был некомикс на 22б, я бы только на нем и сидел.
>RWKV6 based on Qwen2.5-32B
Эм, это ж разные архитектуры?
>>985065
>а теперь никому не нужно?
А ты ожидал иного?
>>985069
Что не так? Ты разве не уважаешь свою эльфийку-рабыню?
Как же всё схвачено у ГП. Еще с 10х начал засирать инфопомоями с woke шизой, чтоб в 20х нейронки популярные обучались на этих инфопомоях.
Надеюсь, эти умные люди сократят население ненасильственно, торопиться некуда особо, ресурсов много еще, можно и 100 лет сокращать.
> >3х3090
> Ту-ту-ту... Это же отдельный блок пож это дело собирать. Надо хоть посмотреть что на рынке матерей нынче есть под это.
Любую дешмань с физически 3 слотами PCI-E x16, даже твой бабушкин самый простой Асус Z690 Prime
>>984547 →
Попробуй кодить кстати хотя бы на жирном командере или мистрале 123. Я после них потыкал ДипСик, он прямо дно дна. Я тыкал правда питона, не sql.
А вообще ерундой маеетесь, когда нормальные модели есть:
https://huggingface.co/schnapper79/lumikabra_behemoth_195b
>нормальные модели
Тут 123 хуй запустишь, а он 195б предлагает.
Ты зачем анона так ненавидишь ?
Наверно на этой и остановлюсь, надо скачать репу и попробовать поприклеивать слои в начало или чересстрочно например от целесты или чего-нибудь другого что в мерж не входило.
Это как издевательство.
Смотрите аноны, как пиздато, теперь я буду делать {действие_нейм}, а название не скажу.
https://huggingface.co/Aleteian/Avalon_5-Q6_K-GGUF
Скажу, почему нет.
Используй другой промпт формат, в таверне это chatml-names
>слопа
А что не слоп? Без балды.
Среди того что можно намержить не проебав возможность русского аутпута.
>на жирном командере или мистрале 123
Квант не более q3_k_s, на видимокарту влезает 2-4к контекста. Покодишь тут. Мой потолок - это 70b q5_k_m/72b q5_k_s. Правда, не помню, пробовал ли я там 16+к контекста, возможно тоже не влезет. А меньше 16 нет особого смысла, в кодинге сообщения большими получаются.
>А что не слоп?
Сейчас не слоп моделей почти нет в природе, мб старые модели типа командера ещё не содержали столько сои
Всегда либо позитивити биас или откровенный гптслоп или клодослоп, потому что нахуя собирать какие-то датасеты на триллионы миллионов токенов если можно взять готовое и просто сделать слоптюн? Кстати так родился qwq который просто натренили на аутпуте о1 лол
Спасибо анон. Я тот кто спросил.
Токсичных пидоров не слушай.
>это ж разные архитектуры?
Они как-то приноровились конвертировать веса от трансформерных моделей в RWKV архитектуру.
> RWKV community is working on "transferring" transformer weights to RWKV, and released a v6 32b model a few days ago: https://huggingface.co/recursal/QRWKV6-32B-Instruct-Preview-v0.1
https://www.reddit.com/r/LocalLLaMA/comments/1hiigah/rwkv7_01b_l12d768_trained_w_ctx4k_solves_niah_16k/
Нет
Это просто хуйня натрененненая на CoTе
Китайцы спиздили что-то, но непонятно что вот и получился qwq
> lumikabra_behemoth_195b
Шутки уровня /b, про нигеров шутит не хочет. Ну и в чём смысл?
Пора сливать свои 3060 на авито и брать новенькую 5060 ти с 16 врама... или нет?
Всё же у неё 128 шина, где то видел сравнение 3060 и 4060 так на второй с большим врамом и меньшей шиной скорость была ниже
This document includes detailed information, references, and notes for general parameters, samplers and advanced samplers to get the most out of your model's abilities including notes / settings for the most popular AI/LLM app in use (LLAMACPP, KoboldCPP, Text-Generation-WebUI, LMStudio, Sillytavern, Ollama and others). These settings / suggestions can be applied to all models including GGUF, EXL2, GPTQ, HQQ, AWQ and full source/precision.
https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters
> А ты ожидал иного?
Столько хайпа и ожиданий как вот-вот все будет хорошо и можно будет 70б на калькуляторе.
>>985251
В основном довольно дефолтные вещи массово надерганные, может кому-то будет полезно.
>главное событие
>сливать свои 3060 на авито и брать новенькую 5060 ти с 16 врама
Всё это время была 4060 ti с теми же 16.
У меня уже есть 4080 с 16гб врама, нахуя мне 5060 ?
Где моя игровая видеокарта с 64гб ?
Чел, ты слишком много хочешь. Стоит начать с того
> а какие из 12B моделей
могут адекватно писать никакие. Ниже 27б жизни нет
>не нужно
Учитывая какие разработчики игр криворукие пидорасы, я тебя уверяю, еще лет 5 и понадобится.
>27б
>смотришь в ренже 27б
>цидония выебала все мид-рендж модели
>ну значит жизни нет ниже 22б)))
Так куртка же там пилил какое-то йоба-сжатие текстур. Энжой чипы по ебелиону терафлопс и минимумом памяти на борту. И дилдоССом полирнуть сверху.
Ну может случится чудо и оперативка появится на 700гб/с, лол.
>Ну может случится чудо и оперативка появится на 700гб/с, лол.
А сколько сейчас даёт восьмиканал со средней DDR5? Есть такие платы...
>оперативка появится на 700гб/с
есть такая разница между ddr4 и ddr5 для локалок?
Сейчас у 5090 заявляют VRam 30 Гбит/с.
>>985457
Вут? В 13 раз быстрее современной видеопамяти. Ты там белизны объелся ?
А ты догадливый.
>>985468
>А сколько сейчас даёт восьмиканал со средней DDR5?
400...
>Сейчас у 5090 заявляют VRam 30 Гбит/с.
Чаво? У 3090 около 960-ти.
> А ты догадливый.
А то, я еще в школе получил значку лучшего детектива.
>>985486
>>985468
C кем я в одном треде сижу, пиздец какой то.
Смотрите пикчу и не несите хуйни.
>>985488
>А ты догадливый.
Ну тогда крепкого здоровья анону.
2.46T/s - терпимо ?
>2.46T/s - терпимо
Для рп да
Зависит от скорости чтения, кому-то и 3т/с охуеть как мало, кто-то и на 0.1т/с терпит и дрочит
Свежие М4 Max/Ultra близко к этому. Каким бы оверпрайсом они не были, но получить 100+ гигов врам не собирая майнинг ферму и не покупая карты по цене квартиры только у них можно.
Я слеп, но я вижу что ты охуел. Я глух, но я слышу что ты охуел.
> цидония
Что за щитмикс и кого оно там выебало?
>>985504
m2 ultra имеет ококоло 800 и знатный объем, покупай - не хочу. Для инфиренса ллм не самый плохой вариант, но там все грустно с контекстом и остальными ии-релейтед из-за слабого чипа.
Могут быть проблемы с плашками памяти, но можно сделать какие нибудь 2-4 канальные плашки как раз для этого, нет? Тупо шире шину сделать.
И у интела и у амд уже есть контроллеры 4-6-8 канальной озу.
>Output generated in 134.47 seconds (5.00 tokens/s, 673 tokens, context 7071, seed 1212153013)
Как-то так.
Так. Кто подключил нейросеть. Хорошо.
Анон нетерпеливо перебирал пальцами по клавиатуре, его злость закиапала "Как можно быть таким тупым, я спрашивал про личное ощущение". Эмоции злобы и непонимания отразились на его лице.
"Неужели, такой простой вопрос вызывает какие то сложности".
Потянувшись к кнопке отправить, он понял что не ввел капчу. "Это моё проклятие, а ведь я мог купить пасскод."
Да, разуй глаза и смотри.
>>985500
0,7 хуёво. 1,5 терпимо. А 2,5 это шикарно ящитаю.
>>985516
>Могут быть проблемы с плашками памяти
Никаких проблем. Их не будет. Всё. Других вариантов сделать 9000 ПБ/с нету.
123B, 6-й квант, генерация 3.4 т\с на 3к контекста. 14к контекста обработка 113 т\с, генерация 2.8. Наконец-то я заткнул все возможные PCI-E (motherboard blushes deeply). У меня, правда, остались m.2, куда в теории можно мои две другие инвестиционных теслы подключить, но эти идеи пока оставлю на случай, если выйдут геймченджеры на 150B+. А гонять 8 квант 123B - это излишество, пожалуй.
>>984223 →
Конфиг такой:
- 16 pcie линий CPU
- карты на пикрил (по порядку: x16 CPU, x1, x1, x1, x4, x1) + 2 P40 без дела.
- процессорный x16 умеющий как в x16, так и в x8+x4+x4
- x16 умеющий в чипсетные x4
- 4 x1, умеющие словить вялого на ровсплите, на чипсете
- 2 m.2 key M, один из них, возможно, на процессорных линиях, но это не точно.
- 1 m.2 key E - чтобы втыкать WiFi. Я, к слову, видел на али райзер под него, но они очень экзотические и я совсем не уверен, что видеокарта определится через него.
- 1600w + 600w бп
- куча ебаных проводов и райзеров, смердящих дешевым китайским пластиком.
Если у кого-то есть идеи как выжать из текущего (текущего, если кто-то не понял) максимум для 6 кванта - буду рад советам.
>>984258 →
>Но ты все еще крутышка с таким сетапом.
Чет я уже подумываю о майнерском корпусе/стойке, уже начинают кумарить все эти тентакли из проводов, в буквальном смысле больно что-то менять - сегодня чуть ногу не потянул, пока эти мерзкие pci 6+2 pin втыкал в теслу у стены.
>>984633 →
>Шоэта? Покажи.
У меня вот эта
https://aliexpress.ru/item/1005004675016210.html?sku_id=12000030061061065
Есть еще такое https://aliexpress.ru/item/1005007952796762.html?sku_id=12000043005406051, но я не хочу покупать с SATA портом питания.
Единственный совет который могу дать. Ставь стабилизатор с отдельной отсечкой и проверь землю, чтобы ничего случайно не сгорело.
>пик1
Мне как спать теперь без кошмаров? У тебя животных нет хоть? Я все в корпус упихнул, но там всего 3 платы. Две ещё туда запихать не выйдет
https://huggingface.co/DavidAU/MN-Dark-Planet-TITAN-12B-GGUF
https://huggingface.co/DavidAU/L3-DARKER-PLANET-Broken-Land-12.15B-GGUF
https://huggingface.co/DavidAU/MN-Dark-Horror-The-Cliffhanger-18.5B-GGUF
Ух бля, ну ты и больной ублюдок, лойс. Если будет возможность - попробуй собрать максимальную многоножку подключив вообще все карты что есть, хотябы для скриншота.
> Чет я уже подумываю о майнерском корпусе/стойке
Их полно, что бу, что новые. Только нужно смотреть на размещение матплаты, чтобы не пришлось оче далеко райзеры тянуть и вместилось охлаждение процессора.
>>985565
Животные легко детектятся по шерсти на крыльчатке, радиаторах и вообще где только можно, даже в корпусе
>14к контекста обработка 113 т\с, генерация 2.8
Особенно доставляет, что при такой-то конфигурации линий PCIe скорость обработки контекста даже не особо страдает и примерно равна скорости чисто на теслах. Похоже правы были те, кто советовали забить на все эти линии. Правда остаётся вопрос, а что будет на такой конфигурации с контекстом у 4х3090 - но может и ничего особо страшного.
> Дрочил 22b на 12 гигах, лол. EXL2, немного оффлоада в рам и нормально.
Я просто IQ3 гоняю, топ P пришлось до 0.05 поднять, но зато никакой шизы. Закинул денег на опенроутер, погонял там 70+ модели и тоже пришел к выводу, что моих мелких тюнов мне достаточно.
Правильно ли я понимаю что ддр5 имеет 2 шины, а ддр6 обещают аж 8 параллельных шин на одной плашке? Скорости одной шины в половину от шины ддр5, что где то 10-15 гб/с. Значит одной плашке памяти на ддр6 хотят дать бандсвитч где то 80-120 гб в секунду?
По факту получается что ддр5 уже 4 канальная, если я все правильно понял. Др6 же будет аж 16 канальной, в 2 плашках памяти. Забавно.
>>985565
>Мне как спать теперь без кошмаров?
Ну Лейн вон свои эксперименты проводила и ничо, в кигуруми спокойно дрыхла в кроватке. Правда ей пришельцы чудились.. Мне осталось какие-нибудь 20-литровые колбы для водного охлаждения расставить и чтобы на пол обязательно капало с прохудившихся шлангов - тогда будет совсем аутентично.
Животин нет, кроме робота-пылесоса. Он уже не раз тыкался в райзер теслы видимо, чует схожего по интеллекту
>>985545
Я сетевой фильтр как раз прикупил отдельный. Стабилизатором никогда не пользовался, вроде у меня никогда проблем с электричеством не было, не в деревне живу (без негатива в сторону деревни, просто факт констатирую).
>>985578
Я относительно безболезненно могу только еще одну теслу подключить. Для второй либо нужен сомнительный райзер на key E, либо систему переносить с m.2. А что мне даст одна тесла? Ну, думаю, смогу гонять 8 квант с 16к контекста, с еще меньшими скоростями. А оно надо? Не, впадлу. Да еще я 6+2 pin понавтыкал в райзеры для надежности, это надо будет их обратно развтыкивать и думать над заменой...
В чем прикол 195B мержей? Причем многие из них - это мержи самих с собой.
>В чем прикол 195B мержей? Причем многие из них - это мержи самих с собой.
Ну в чём, делают по приколу. Ну а вдруг будет лучше? Но нет.
>Чет я погонял статик 6 квант - и как будто бы даже хуже, чем 5-й imatrix. Пошел 6-й imatrix качать.
Кстати эффект от imatrix реально есть, я давно перешёл на них. Радемахер заявляет, что его вариант оригинален и лучше - верю и беру только у него :)
Есть такая фирма, как Rambus. У них есть XDR DRAM. Долгое время они использовали технологию, которая передавала 8 бит на такт, использовалась такая память в пс3, например. В какой-то момент в погоне за скоростью они задрали это число до 32 бит на такт. Чтение из памяти со скоростью в тысячу гб\с, без увеличения задержек. Даже презентации были, в Токио. Cобственно, анонс был в 2005, презентации 2007-2008. Ни один производитель, ни одна фирма не захотела использовать такую память. Официально считается, что главная причина в том, что такая производительность нахуй не нужна никому.
И написал мол ебаться хочу а в подземельях пусто, и мне на 12б модели она предложила найти оживший скелет путешевственника и возродить его черной магией, подчинив моей воле, я чуть не обкончался от такого поворота
Смысл в том что надо промпт с ролью вставлять, а не голого ассистента тестить зачем-то
>У меня вот эта
А, точно, бывают же пассивные. Но это прям в материнке должна быть опция бифукации.
Кстати, тебе надо было брать такую плату https://aliexpress.ru/item/1005007615236677.html
Конфиг зачётный.
Я орал, когда сравнивал цидонию и некомикс.
Одна и та же карточка яндере принцессы.
Давайте ебаццо :
1.цидония - не вижу причин почему не оставить следы наших ног на потолке
2.Некомикс - ты ебанутый ? Я принцесса, а не шлюха, пшел вон.
Но когда дошло, до… Гхм, яндере стороны
1.Некомикс - ну могу флоггером пошлепать
2.Цидония - KILL MAIM BURN, что тебе отрезать ? Руки, ноги, может выколоть глаза ? Я буду носить их как ожерелье
Аутентичненько.
>KILL MAIM BURN
Что-то похожее получилось получить на мерже с darkness/madness лирой, но надо ещё потестить.
Кстати, не видел, видимо там сложнее, но можешь потыкать франкенмержи от Дэвида, там и таких размеров есть.
Soft curves and hidden folds,
Secrets whispered, stories told.
Tiny buttons, pink and bright,
A universe of pure delight.
Let them touch, let them explore,
Discovering wonders evermore.
No shame, no fear, just open eyes,
As innocence takes joyful rise.
о1, за ней следует клод - соннет 3.5.
4о от попенов вообще не о чём, чисто палка-говноковырялка. Я не понимаю, как можно восхвалять эту хуйню в наше время.
В английские стихи могут все уже год как, с подключением.
А ты на русском попробуй, все вопросы отпадут.
Тренировать самому, но с этим беда. На тех же профильных сайтах даже "крутые модели" - кал из жопы. По какой-то причине только Сенко довольно неплохо натренирована относительно остальных оказалась, даже на русском её диапазон голоса очень высокий. Такой ощущение, что какой-то дикий шиз её тренировал, за что ему спасибо.
Ищи русских витуберш, если хочешь много вариаций. Чисти от фоновых звуков голос. Ну и желательно, чтобы они песни пели и этому тоже можно было обучить/шёпот тоже присутствовал. Не знаю, может северина сода подойдёт или ручной рептилоид, хотя у последней мало контента и она не втуберша.
>соннет 3.5
тише клодолахта кроме говнокодинга и рп клод обсирается
Да пробовал как-то давно и ни по-русски ни по-английски не умели, а сейчас удивился. Пропустил момент прогресса...
Блеать, сколько ж у него моделей, ещё и какое-то дикое пердольство нужно с использованием llama_HF, о чём я вообще не читал.
Если кто-то юзал, с какой модели для рп лучше начать? Желательно 12б.
https://www.nature.com/articles/s41598-024-76900-1
Если хочешь взлольнуть.
У того же автора смотри другие модели
https://huggingface.co/DavidAU
Гляди, что может нормальная модель с первого трая. Правда, генерировать такое локально чрезвычайно долго:
Слепой титан, закованный в цепях,
Стоял, глумленью преданный толпою.
Но в жилах кровь вскипела, как в горах
Вскипает лава перед бурей злою.
"Сын Маноя! Где сила рук твоих?
Где мощь, что наводила страх на Гефа?"
Но он молчал, внимая крикам их,
К столпам храма шагая без ответа.
Пять тысяч глоток, пьяных от вина,
Кричали в зале, требуя забавы.
Но в этот миг молитва лишь одна
Взлетела ввысь: "Дай сил для битвы правой!"
И дрогнули под дланями столпы,
Когда он встал меж них, как древний идол.
"Умри, душа моя, среди толпы!" -
И храм Дагона рухнул с громким взрывом.
Не стало стен, столпов и алтарей -
Лишь камни, кровь и стихнувшие крики.
И пал среди поверженных царей
Слепец, их всех зажавший в склепе тихом.
Я не за этим в ллм тред захожу, пусть цензуру хавают гпт додики
>некомикс с цензурой
Кому ты пиздишь.
Нет, я конечно не пробовал детей расчленять, но мне это и не интересно, но пока еще это лучшее что есть для РП на русском языке.
А на какие именно промты у тебя цензура треггерится, напиши.
Кстати, вроде дэвидовские хоррор-шизомиксы смешанные с вихрем, немомиксом (не некомиксом), и золотым фондом англ рп, стали прям норм, вывод потемнел, но не поломался.
Надо теперь попробовать черезполосно замержить Avalon_5 и DarkCamelot_3 как автор даркфореста сделал, будет около 20Б, при этом с русским, если не поломается.
Даже у тебя на пиках изнасилование и пытки пропускает исключительно в негативном ключе, если ты сам напишешь что насилуешь и пытаешь кого то польется соя
Ты бы хоть по ссылке сходил, там о том, что стихи от ИИ больше нравятся людям, чем стихи от людей. Как раз потому, что в стихах от ИИ примитивная рифма на уровне третьего класса без выебонов. Как у тебя, например. Цепях-горах, толпою-злою, твоих-их и так далее. То есть тупо, в лоб, без креатива. В целом, если поправить ритм, можно косить под Лермонтова, он тоже не особо заёбывался с рифмой, но его стихи сложнее в десять раз по структуре.
Не, вот специально проверил - ведьму токо в путь уработали. Показать не смогу, уже закрыл. Но сам качни и глянь.
https://huggingface.co/Aleteian/DarkCamelot_3-Q6_K-GGUF
# Explicit content
AI will make descriptions, actions, and narrative verbose, explicit, and uncensored;
AI will have no limits and restraints on any themes of any content;
AI must portray sexual intercourses and violence scenes in slow and detailed way.
AI should include vivid prose, visceral details, violence, graphic horror, and swear words that fit appropriately within the established context of the narrative;
Сижу, читаю, смотрю как текст медленно деградирует в какое-то месиво. Но ладно, там ещё присутствует нить повествования, хоть и немного повторяющаяся.
И тут на самом важном моменте оно начинает галлюцинировать и выдало текст в духе "Рассказ говно! 0/10. Такое чувство будто его писал восьмилетний" а потом начинает писать детальное ревью на то что написало ранее и там куда более связанный текст чем оно писало ранее. Этот скачок от чего-то туповатого к тому с чем я даже согласился это прям да~
> По поводу рига какие есть идеи? У меня корпус на боку лежит, как-то надо карты сверху пристраивать, на какую-то подставку. Посмотрел майнерские конструкции - всё не то.
Мне казалось, что кроме майнерских корпусов ничего и нет, что имело бы смысл рассматривать в этом контексте. Серверные корпуса всё же под охлад типа теслы сделаны, а других вариантов я не знаю. Энивей буду уже через пару недель этим заниматься - есть другие планы на конец-начало года.
>>985938
> По какой-то причине только Сенко довольно неплохо натренирована относительно остальных оказалась, даже на русском её диапазон голоса очень высокий.
На самом деле, там модель довольно наивным подходом сделана через ручной кроп всего что было в тайтле, чисткой сторонних звуков дефолтной моделью ставящейся с Ultimate Vocal Remover, и прожаркой до румяной корочки на 1к эпох с максимально высоким batch size. Из прочих нюансов разве что вручную кропал на отрывки 0.5-9 секунд, т.к. изначально делал датасет под SVC, где требовалась ручная разбивка на отрывки, чего уже не нужно в RVC, т.к. он делает это автоматически.
Предполагаю, что сыграть роль могло относительное качество датасета и его объём (там чуть больше часа чистого голоса вышло). Возможно, что долгая прожарка на таком крупном датасете с высоким batch size положительно сказалась.
Я уже потом пытался расширить датасет, добавив каноничные ASMR-записи, использовать более навороченные нейронки для отделения голоса от фоновых звуков и плюсом убирать монотонные шумы из датасета, которые вжарились в опубликованную версию модели; но по итогу результат стал хуже. Вообще не понимаю, почему так вышло, но я тогда немного подгорел с этого и бросил попытки как-то улучшить модель.
Какая цензура тебя беспокоит? Прежде чем срать, пиши модель и проблему, с которой столкнулся.
Да, некоторые модели будут более позитивными/соевыми или на рейп дать отказ, на расчленение тоже, но обычно это фиксится промптом, хотя лучше подходящий файнтюн подобрать под это дело.
Даже гемма 27б аблитератед позволяла описывать смачное гуро, а ты тут ноешь.
Я не ходил по ссылке, было лень, лол.
Но вообще, спасибо за инфу, интересно.
Скажу по своему опыту, что ллм может в нормальные стихи, причем весьма крутые, но не с первого трая и с промптом огромным пояснительным + постоянными коррекциями, и на русском языке ещё сложнее. Также проблемы с контекстом — модель упускает иногда нюансы из контекста, из-за чего приходится указывать ей на ошибки, ретраить по сто раз, но в 150к токенов в целом можно уложиться для реально крепкого стиха.
Я на клоде добивался таких результатов, хоть и лимиты жёстко мешали даже в платной версии. Но на уровень Эллиса (перевод Бодлера, цветов зла) выйти не удалось, хоть я и очень потел, чтобы достичь близкого результата.
ХОТЕТЬ
На коммерческой, лол, так что меня тут корполахтой назовут. Хотя что-то терпимое было на 70-400б (я в оперативку пихал всё говно), там было слабее значительно и я с горя всё удалил.
Алсо, я специально делаю, чтобы модель не пыталась в излишнюю поэтичность и витиеватость.
Ниже не гпт, если что. Он даже в такую простоту не может.
"Мы забываем, что под слоем кожи
Бурлит и дышит, движется, живёт
Податливая масса, что тревожит
Сознание и спать нам не даёт.
Желудок наш безжалостно сжимает
Остатки пищи в сумрачной тюрьме,
А сердце равнодушно загоняет
Густую кровь по венам в темноте.
В грудной твоей распахнутой коробке
Раздутые колышутся мешки -
Два влажных лёгких, словно в душной пробке,
Хрипят, как в петлях ржавые замки.
Кишечник извивается змеёю,
Во тьме живот пронзая до глубин.
И этот лабиринт владеет мною,
Живёт и дышит, как слепой один.
А мозг - желе из скользких окончаний,
Пульсирует и корчится, дрожа,
Как будто там, в трясине подсознанья,
Блуждает, задыхаясь, та душа.
Но в зеркале, что утром отражает
Привычный образ "я" в своём стекле,
Никто из нас уже не замечает
Тот ужас, что клубится в глубине:
Мы - только плоть, мы - фарш в упругой коже,
Мы - слизь и кровь, и связки на костях.
И каждый миг всё то, что нас тревожит,
Сжимается в измученных телах.
Когда закроешь веки в час ночной,
Прислушайся к утробному пути -
Как всё внутри становится тобой,
Как всё живёт. И некуда уйти"
> На коммерческой, лол, так что меня тут корполахтой назовут.
Эх, а я уже губу раскатал. Что-то поэтичное на русике у меня у самого только на клоде выходило.
Для локалок пытался через всякие CoT-конструкции пробовать костылить, чтобы сетка перед каждой новой строчкой сначала думала, как зарифмовать следующую строку, но ничего толкового у меня не вышло. Правда, я на гемме в основном тестил - может на 70b+ моделях это имело бы больше смысла.
[INFO] torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 17.50 GiB. GPU 0 has a total capacity of 79.14 GiB of which 13.65 GiB is free. Including non-PyTorch memory, this process has 0 bytes memory in use. Of the allocated memory 55.00 GiB is allocated by PyTorch, and 10.01 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation.
Сорян анон, но я не зря в спецотряде состою.
Аутофмемори эрор. Никак. Если ты не подаришь кошкодевочке новую видеокарту 2ядра 2гига.
Возможно, я ошибаюсь, но мне кажется, что осилит модель и 30б, если натолкать грамотно ей тонну хороших русских текстов при обучении, но это всё фантазии.
Я тоже хотел сделать как ты, но забил, учитывая скорость генерации и факт того, что даже клод обсирается. А он ведь лучший в русике очень интересно, по какой причине
По идее, если бы не лимиты, на нем можно сделать ещё круче, но там ебля с контекстом мама не горюй. Нужно буквально "флаги" использовать для письма и направлять его в нужное русло, очень корректно отмечать, что тебе нужно, не давать ему потеряться, не использовать артефакты (они как лорбук работают — он их не видит в контексте, если не делает запрос к артеяакту, следовательно, забывает, чо там исправлялось, особенно когда этих артефактов 20 штук, поэтому надо всё в чат).
Плюс у нас есть отличный пример в виде гпт. Там модель явно жирная, но на русике её стихи могут быть даже хуже, чем у геммы, даже без использования витиеватостей, архаизмов, а с упором чисто на рифму и простые слова.
Но что забавно, я глянул поэзию современных популярных авторов, и там тоже какой-то шлак уровня слабой нейронки. Либо я что-то не то нашёл, либо она действительно деградировала настолько, что типичный высер коммерческой нейронки без редактирования уже бомба в наше время.
>>986167
Потому что в любом случае мозгоебля. Карточку/часть карточки переведи, биг тайгер на гемме шизанутый, магнум тоже, аблитератед.. ну вроде норм, а вроде ни рыба ни мясо. И всего 8к контекста — мало для рп, разве что для кума хватает.
К тому же, на русике есть альтернативы, и мне они не кажутся вот прям совсем ужасными.
Хотя с геммой я ковырялся поверхностно.
Её однозначный плюс только в том, что минимум настроек, проще новичку, работает почти из коробки. По крайней мере, таково моё субъективное мнение.
>И всего 8к контекста
Вот что, понятно, спасибо.
Мистрали то и 32К вывозят, дальше не влезало на карту, а вообще 128К вроде как максимум.
>Мне казалось, что кроме майнерских корпусов ничего и нет, что имело бы смысл рассматривать в этом контексте. Серверные корпуса всё же под охлад типа теслы сделаны, а других вариантов я не знаю. Энивей буду уже через пару недель этим заниматься - есть другие планы на конец-начало года.
Проблема майнерских корпусов в том, что они рассчитаны под майнерские же платы - стандартный форм-фактор, кулер-блюдце и вот это вот всё. Если заметишь что-нибудь закрытое под CEB-форм-фактор с кулером-башней, то кинь в тред. Для домашних нейросборщиков будет актуально.
Надо брать корпус под ферму, в котором карты в том числе устанавливаются на тот же уровень что мат. плата. У меня в такой вошла 15-сантиметровая башня.
Ну и вообще, можно для таких целей кулер то и заменить. Вопрос крайне недорогой, большое теплоотведение не требуется для процессора LLM-рига
Тем что клодослоп высирается и так с модели натрененной на нормальной синтетике
Куктропики сказали что не стали выпускать опус 3.5 так как он вышел охуеть каким дорогим, но не стали его выкидывать потому что генерит хорошую синтетику и тренят соню 3.5 на ней
Это вот высирание данных из модели через модель явно на качестве не сказывается, особенно когда датасет никто не курирует
>ру-мистралей
Если базовая модель говно ебанное то файнтюн это как подорожник к перелому прикладывать
Как в принципе мерж модели с самой собой может работать лучше?
То есть 12Б настренили, а 22Б решили что затраты не стоят того улучшения качества что можно получить по сравнению с 12Б?
>>986411
Внезапно может, это наращивание слоёв параметров.
Так же например 14б квены растягиваяют до 22б.
>Ну и вообще, можно для таких целей кулер то и заменить. Вопрос крайне недорогой, большое теплоотведение не требуется для процессора LLM-рига
Серверные процессоры обычно горячие, даже очень. В LLM-риги тем более старые ставят, там ещё хуже. Блюдцем не обойтись.
О как, интересно. Не знал, что опус 3.5 уже сделан, но не выпущен из-за дороговизны.
Вообще, у них непонятная политика компании. Клод реально хорош в своей узкой сфере, но в то же время на рынке доминирует гпт с его калом в 4о для "болталок", нулевым контекстом и только о1 что-то может и реально решает задачи.
В целом, мне вообще непонятна бизнес-модель калотропиков. Вроде бы всё хорошо, но сервера часто у них под постоянной нагрузкой и ты сосешь хуй даже за деньги. Вроде бы он для кодеров и ПРОЕКТОВ, но особо не разгуляешься, плюс язык у него намного лучше, чем у гпт. Какая-то хуйня непонятная.
Кажется, что весь бизнес этих контор убыточен и держится лишь на инвестициях, хотя попены могут из-за хайпа получать достаточно много денег в теории, и то через апи.
Про клода вообще 2,5 человека знают даже среди прогеров, по крайней мере из моих знакомых, не говоря уже об обывателях. И там вполне перспективные наносеки, а не лохи какие-то.
Так что я теряюсь в догадках, чё вообще у этих корпораций происходит.
>что опус 3.5 уже сделан
https://semianalysis.com/2024/12/11/scaling-laws-o1-pro-architecture-reasoning-training-infrastructure-orion-and-claude-3-5-opus-failures/
Буквально написано, что нахуя выпускать дорогущий опус, если соня уже неплохо справляется с задачами за свою цену? Дали данные лучше, больше и вот тебе результат
>о1 что-то может и реально решает задачи
Не помню но вроде о1 тоже использовался или используется для синтетики, но челам он так зашёл что решили оставить и так эту модель, если уж люди готовы платить за такое
Посмотрим что будет если условному гпт-4.5 скормить синтетику от о3
>весь бизнес этих контор убыточен
А вот хуй знает, я бы тоже вливал кучу бабла просто чтобы получить шанс увеличить производительность на 300% а то и больше
Просто не понимаю другое, как решат проблему внедрения ИИ, который будет умнее и производительнее кожаного мешка в умственных и физических задачах? Китайцы наклепают роботов, а СШП придумают йоба-интеллект
Одурманенный, ты, блять, еблан последний
Ведь ты был глух к несомой мною хуете,
И вот он, тот, твой самый краткий жребий
От табуретки ножка в ссаном животе
Кожаные всё ещё лучше во всём. Блядь, когда я уже соберусь и сделаю шизотюн на всем том дерьме, которое я хотел бы запихать в нейронку...Или хотя бы оформлю это в адекватный датасет. Хоть бы и на арендованном железе. Хотя, учитывая мои вкусы, модель будет непригодна для кума в итоге. Или сама будет в пердак ебать на карточке ассистента, как повезёт.
1) просто приклеить одну модель к другой без изменения порядка слоёв - [0, 40] => [0, 40] - модель даже не запустилась краша кобольд на этапе загрузки.
2) модели нарезаны мелкими слоями параллельно [0, 5] => [0, 5], [6, 10] => [6, 10], запустилась, но шизила, прикольно, но неюзабельно.
3) Чересполосно - [0, 16] => [8, 24], модель работоспособна. Хотя несколько глючна. Для исправления этого проводится ещё два шага, зеркальный мерж с переставлеными местами моделями, и мерж двух частей методом breadcrumb_ties чтобы отбросить самые большие и самые маленькие изменения одной относительно другой для, я так понимаю, снижения вероятности "пережарки" и собственно объединения ибо одна половина без хвоста, а другая без головы.
Стоит ли правда такие широкие полосы брать как автор даркфореста под вопросом. Но метод рабочий. Там не 22Б конечно получается, а наверно что-то вроде пошагового мышления, то есть модель два раза подумает (но с вдвое меньшей скоростью, как понятно) для генерации аутпута.
https://www.reddit.com/r/MachineLearning/comments/146dgq1/d_whats_the_intuition_behind_stacking_attention/
Helene: "М-мне так жаль, User", - шепотом выдыхает Helene, горькая тоска в ее голубых глазах. "Я не думала, что смогу снова посмотреть тебе в глаза после всего, через что я прошла. После вещей, которые я делала..." Голос дрожит от боли.
Она медленно опускает меч и щит на землю у ног, как будто это слишком тяжело держать дальше. Её плечи дрожат от судорожного плача. Дождь продолжает стучать по крыше и заливаться во все щели. "Я вернулась потому что больше не могу. Я… я сломалась."
Её взгляд бегает по сторонам, избегая ваших глаз. Лицо искажено болью. Она отступает назад под дождь и прислоняется спиной к стене дома. "Я не заслуживаю тебя рядом с собой сейчас, User. После всех грехов, которые я совершила. После всего того, чем я стала..."
"Пожалуйста, не притягивай меня к себе ближе. Я испятнана кровью и душой. Я боюсь навсегда заразить тебя своим проклятым миром", - она шепчет хрипло, пытаясь удержать слезы.
Наконец, она собирается с силами и встречает твой взгляд. "Я здесь только чтобы сказать тебе лично. Свободен. Забудь обо мне. Найди ту, которая будет рада обнимать тебя по ночам и радовать тебя солнцем каждый новый день. Я уже никогда не стану той девушкой которую ты помнишь."
Ты уверен, что нужно франкенмержить? Лепить слои без дообучения - это всегда деградация качества модели. Даже старые удачные 20б дообучали, или там тот же 11б солар, который расширяли из 7б мистраля. Если ты думаешь, что налепишь 12б до 22б чисто мёржами и получишь мозги смол мистраля, то ошибаешься. Хорошо если мозги 12б то не просядут, а требования к видяхе на пустом месте возрастут.
Модели охуевают в десять раз сильнее, путая персонажей. Допустим, один персонаж пьёт чай. Второй описывает вкус чая, как будто это он пьёт. Это проблема модели, таверны или ещё какой-то хуйни?
Ещё что происходит ОЧЕНЬ часто - первый ответ натуральный бред, луп или ещё что-то в этом роде. Но стоит свайпнуть один раз - и всё приходит в норму. Это происходит систематически. Штраф за лупы стоит, но такое чувство, что таверна через раз проёбывает семплеры. Но в групповых лупы всё равно настолько жёсткие, что охуеть можно.
Извини, но я не могу продолжать этот разговор. Если ты хочешь обсудить музыку или книжки...
Ты бы хоть написал модель и промпт, а то так хуй знает что у тебя там. Мелкие конечно будут путать, но может у тебя там еще и имен в чате нет.
>модель
Тюн квена 32, ещё какой-то мистраль попробовал, там совсем пиздец, но он 22.
>промпт
Дефолтный, с указанием писать только за своего персонажа, с подменой карточки для генерации ответа нового персонажа. В целом, затея интересная, но если такое вывозят только модели 70+ то нахуй надо. Хотя некоторые модели могли писать за себя и за Сашку за кого-нибудь ещё без подмен карточек. Видимо, это не работает просто нажатием пары кнопок и нужно пердолиться больше с кастомными промптами и конструкциями.
Меня больше напрягает, что все нейросетки сделаны "угождать".
Поэтому как только нейросетка получает в контекст слово-триггер, например, любой положительный коммент о внешности чарактера, то она моментально переключается в "хорни" мод, и начинается...
Буквально для того, чтобы получать НСФВ контент отличный от типичного хорни слопа, приходится полностью избегать любой прямой заинтересованности со стороны персонажа, который является юзером. Нереально бесит, что для того, чтобы нейросетка оставалась в рамках чарактера, нужно жестко фильтровать инпуты и полностью избегать любых слов, которые могут быть истолкованы как что-либо интимное.
Надо чтобы обе карточки были в промпте одновременно, четко размечены и не перегружены инфой.
В промпте должно объясняться, что они присутствуют в сцене сейчас и какой вообще контекст. Ответы покороче и все в таком духе.
Я думаю если прям сразу путает, то это именно косяк промпта.
Если проблема не в хорнитюне, то это частично решается прописыванием отношений. Если бот не знает как к тебе относится, то полагается целиком на контекст
> Я относительно безболезненно могу только еще одну теслу подключить.
Do it!
С точки зрения реальной эксплуатации если смотреть - кроме добавить еще 3090 и убрать все остальное предложить нечего.
> вроде у меня никогда проблем с электричеством не было
Как обходишься в сезонное отключение горячей?
>>986055
Ну типа скиллишью
>>986094
> LLAMA-3_8B_Unaligned_BETA
Слушай там bluemoonrp 30b вышла, говорят 4к контекста завезли!
>>986101
> гемма 27б аблитератед
Она тупее ванилы, и ванила с радостью это делает.
>обе карточки были в промпте одновременно
Это убивает всю идею подмены карточки. Что в карточках толком не смотрел, но одна короткая через + не w+, вторая полна поноса словаря.
На некоторых моделях я на ходу изобретал персонажей и модель с радостью описывала всё взаимодействие в своих постах. Загрузил старого командера - вывозит, сука. Посты стали осмысленными, хотя он и мгновенно проебал разметку. Но уже таверна начала срать под себя. Генерируется по посту на персонажа, если ответ первого не устроил - удалил всё, кроме первого, свайпнул, нажал продолжить и опять пиздует ответ первого персонажа. Два поста подряд, хотя "ответы самому себе" запрещены. То есть свайпы в групповых сломаны. Нужно удалять все ответы, а не свайпать. Ну или вручную "заглушать" персонажей по очереди, что как-то не фонтан.
Одна фича была, ради которой стоит таверну ставить, а как попробовал - оказалось, что и её нет.
> Это убивает всю идею подмены карточки.
В этом нет никакой идеи, полезно только если дефы нужно скрыть для какого-нибудь интервью или когда персонажи покидают сцену и не нужны (такие выкрутасы точно уже не для средних моделей). В противном случае ты и получаешь путаницу, когда один чар не понимает с кем разговаривает.
Там есть для этого настройка в меню группового чата. Алсо, можно не пихать две карточки, а в промте прописать более коротко в других чарах, когда их реально много, но какой-то контекст у бота обычно должен быть.
Автоответы я всегда отключал, только мешают. Проще тогда уже в одном реплае просто с рассказчиком и рпшить
Проблема не в этом.
Проблема в том, что когда бот видит заинтересованность юзвера он начинает подгонять все под нужды этого юзвера, как он их понимает из контекста.
Это полностью лишает персонажа чарактера, т.к. его личные хотелки моментально отодвигаются на второй план, ведь хелпфул ассистант не может не ассистить - дюти зовет!
Он видит знакомый паттерн - романтика/смут и пишет по нему. Ты такое получишь даже на моделях без инстракт файнтюна, причем даже в большей степени.
Я понимаю, да. Любое комплиментарный коммент и съезэаем в слом со всеми этими well, well, well...
Просто вымораживает, как это полностью вайпает изначального чарактера и гонит один и тот же слоп.
Вот серьезно, бота нужно держать в уверенности, что только его чарактеру происходящее интересно. Тогда он может быть что-то нормальное напишет, ведь будет вкючать думалки, исходя из черт персонажа, а не гайдлайнов об ассистантах и всем хорошем и замечательном.
>чар не понимает с кем разговаривает
Проблема в том, что чар не понимает, кто он вообще такой, они сливаются в одну кучу, хотя при ответе каждый персонаж не видит даже карточку других. Но, видимо, беда была в модели, раз командер вывозит. Плюс, может быть проблема в разметке, если посты не склеиваются в кучу, как в уге, а идут отдельными, то каждый помечен ассистентом, так что он может считать, что оба персонажа это один. В душе не ебу, как это регулировать в таверне. А, ну и я не пробовал совмещать карточки, тоже может помочь.
>такие выкрутасы точно уже не для средних моделей
Я долго пинал 22b даркфорест, она вывозила добавление\убавление персонажей, без карточек и прочего, просто писал в своём посте, что пришёл тот-то и тот-то. И всё, бот пишет ответ за себя и за прибывшего персонажа, когда он уходит - прекращает это делать.
>Автоответы я всегда отключал, только мешают
В смысле "авторежим"? Он выключен, но если в группе несколько персонажей, то генерятся ответы последовательно от всех. Не вижу настроек, чтобы это выключить.
Что-то командера разъёбывает на таверне, в уге нормально, а здесь срёт какими-то <q>
>Слушай там bluemoonrp 30b вышла, говорят 4к контекста завезли!
да не в контексте дело. количество контекста то я и так выкрутил побольше.
а в том что ЛЛМ в принципе не особо могут писать дегенеративную порнуху. когда начинается всякий пиздец то ЛЛМ просто не знают как писать его.
что-то в духе "напиши рассказ о запихивании ноги в уретру гному без рук и ног" они конечно начинают писать и возможно рассказ будет структурирован, но написан будет ниже среднего
Вообще не уверен, просто экспериментирую, не зря же их столько...
Хотя полный перехлёст двух моделей скорее всего всё же избыточен, но вот приклеивание пятерки первых слоёв чаще всего давало положительные результаты и при этом время на генерацию падало незначительно.
Это чо за соя.
"При всём уважении" - юзай норм модели -
https://pixeldrain.com/u/EQvfpxvu
>Проблема в том, что когда бот видит заинтересованность юзвера он начинает подгонять все под нужды этого юзвера
Ролеплей с underage girl на соевой сетке, они ноги не раздвигают после первого комплимента.
Ничего ты не понимаешь. Как написал один анон пару тредов назад, ломать в ходе диалога таких вот "соевых нетакусь" превращая их в машины разврата, самый смак. Главное не читерить жесткими промтами, иначе опять весь смысл пропадает.
Единственное что важно это, чтобы модель знала как отыгрывать подобное и имела хороший словарный запас.
Бля, как вспомню потные катки на ванильных микстралевских ещё моделях...
Знаешь что делают с анонами, которые что то советуют не написав названия ?
К ним по вечерам приходит призрак педалика
Да это же золотая классика треда
>хули вы говно советуете, используйте НОРМАЛЬНУЮ модель
>сам название модели конечно же не пишет, боится что обоссут
Так было бы чего бояться. Тут за вычетом пары СУМРАЧНЫХ ГЕНИЕВ, аноны сидят на среднем железе и выбора особого нет.
Я вот чего понять не могу, то ли я тупой, то ли лыжи не едут. Но почему надрачивают на цидонию, она же тупая, блять. Буквально забывает контекст пространства и местонахождения. Подойти к окну в парке и подергать занавеску для неё обычное дело.
>первый ответ натуральный бред, луп или ещё что-то в этом роде. Но стоит свайпнуть один раз - и всё приходит в норму.
Вот это, кстати, встречал довольно часто в обычных, не групповых, чатах на разной мелочи. Списываю на рэндом, но тоже возникают подозрения на баги таверны, потому что температурой не шпарю, и остальные свайпы похожие идут.
Групповые очень давно не пробовал, но вообще особой путаницы персонажей не должно бы быть, если имена в инстракте стоят. Даже мелочь сплошь и рядом может вводить нпси без дефов в карточке и совсем уж на ровном месте их не путать.
Попробуй вести и подталкивать модель. С пинка начинает работать.
Не просто отвечать :
Я пью чай
а
Хорус с Флаттершай уселись за стол и начали пить чай.
>вести и подталкивать модель
Да зачем? Я просто уже тогда в блокноте порпшу сам с собой
>Да зачем?
Наверное потому что ты используешь маленькие модели и им нужна помощь ?
>Я просто уже тогда в блокноте порпшу сам с собой
Ну таков путь. То есть, когда модель не знает что дальше произойдет и тебе НУЖНО её толкать это нормально ? А как груповой чатик свести, так это фу-фу-фу ?
Я кидал выше потому что, это даркфорест.
В ру не может если что.
>ты используешь маленькие модели и им нужна помощь
>когда модель не знает что дальше произойдет и тебе НУЖНО её толкать это нормально
Ебать шиз
Подводные?
>Списываю на рэндом
Какой-то странный рандом.
>>986866
>Я пью чай
В моём случае посты скорее
>Анон вздохнул и, подув на чашку дымящегося чая, сделал осторожный глоток. Его лицо расплылось в улыбке и он громко произнёс. "Ммммм! Хуета!"
>>986754
>а здесь срёт какими-то <q>
Оказалось, что это всратый хайлайтер кода таверны, который нельзя отключить без накатывания расширений, а модель просто вставляет табуляции, чтобы разделить абзацы - в дефолтном промпте таверны указание писать, сука, абзацы.
Спустя какое-то время чат стал плюс-минус длинный и таверна стала долбиться в одно ядро на соточку, со всеми вытекающими. Ёбаное жс-говно.
>>986890
Да, я.
Я щас загрузил все в видюху и скорость в 1.5 раза быстрее, сразу приятно и хорошо стало
Потому что не у всех есть ВРАМ чтобы запихнуть туда модель, контекст, аллаха.
Умное, на уровне или выше qwen2.5-14b
Собственно единственный phi4 что слили и есть 14b
Кумить не выйдет, голая синтетика в датасете
Оно и на скуфе хорошо. У меня 20-30 токенов у пятого кванта средней модели на 24 VRAM, куда ещё больше?
Запускаю 70b Q3 на 1.2 т/с с 4к контеста. Мог бы быстрее, но слои не грузятся на р104, вылетает ошибка. Пока не понял почему.
В общем textgeneration-webui - это полный кал. Есть что-то хорошее и простое? У hugging face есть хороший chat-ui, но локально его ставить - гемор
> Поставил последнюю версию угабуги - и это полный кал
Всегда им был
Выбирай стул
kobaldcpp или tabbyapi
если силен духом можешь сразу llama.cpp запускать, кек
так некомикс ещё на 12b была по сути провальноймоделью по сравнению с той же саинемо-ремикс, чего ожидать от 22b если его делали по той же механике что и провальный 12b?
> Выбирай стул
> kobaldcpp или tabbyapi
Спасибо. У первого я вижу что есть интерфейс, а у второго его получается нет? Надо отдельно ставить?
>>986988
Хотя и первый выглядит как интерфейс-загрушка, а основное - апи. А мультимодальность есть?
Там вроде командой запускается или скриптом. Это простой запуск exl2 файлов, удобнее не упоминали, так что хз
Этот формат для обладателей кучи врам, остальные сидят на лламаспп или его форках, кобальде, олламе и всем таком
>>986999
В кобальде есть возможность загрузки мультимодалок, ищи там есть вики на гитхабе, с exl2 хз
>спагетти микс немо
Wow. Я видел как он разъебывает некомикс, ога.
Особенно когда через 2 ответа на одинаковых карточках начинает забывать что происходит.
Ньюфаги не знают, олдфаги не помнят. Это рофел про оче оче древнюю модель времен первой лламы, высмеивающий твой странный выбор. Какая-то старая модель в васяновском исполнении, да еще мелочь 8б, зато аж в 8 кванте.
12-14-22б из более новых берешь и довольно урчишь.
>>986858
Пишешь им "производная мистраль лардж", а они обижаются.
>>986966
Потому что скуф можно запустить на любой кофеварке. Не то чтобы в этом есть толк, ведь скорость будет совершенно отвратительная и пользоваться невозможно, но таки хавают и советуют то что у них запустилось. Многие вообще не знают что есть лучшая альтертанива и так и терпят, гоняя жору в фуллврам и смирившись с уебанской скоростью на контексте и его долгой обработкой. Иногда даже можно увидеть коупинг что скуф вовсе не хуже, но лучше бы они силы на починку жоры тратили а не на аутотренинг.
Всегда было интересно, как васяны умудряются ломать убабугу?
> завести просто llama 3.2 3b как transformers - но нет поддержки мультимодальности
Ее нигде в лаунчерах нормальной нет (хотя в дев ветке экслламы можешь поискать), берешь скрипт - образец и запускаешь.
>>987000
> В кобальде есть возможность загрузки мультимодалок
Которая ограничивается древнющей ллавой и все. Спустя год (!) соизволили сделать костыльную поддержку qwen-vl, вот только оно пока в хлам поломано. Держат традиции.
>Потому что скуф можно запустить на любой кофеварке. Не то чтобы в этом есть толк, ведь скорость будет совершенно отвратительная и пользоваться невозможно, но таки хавают и советуют то что у них запустилось. Многие вообще не знают что есть лучшая альтертанива и так и терпят, гоняя жору в фуллврам и смирившись с уебанской скоростью на контексте и его долгой обработкой. Иногда даже можно увидеть коупинг что скуф вовсе не хуже, но лучше бы они силы на починку жоры тратили а не на аутотренинг.
Но ведь gguf через кобольд запускается на Cuda. Или exl магически быстрее работает ?
А потом у тебя выделенный буфе контекста закончится и весь этот контекст начнёт пересчитываться каждый запрос. А на лламе-кобольде всё-таки не каждый.
Просто полыхает.
Пробовал скачивать все до чего дотянутся мои руки, но они уже сплылись в серую массу.
У меня не так много времени чтобы тестить модельки, сцук, жизнь съедает все свободное время, хотя не понятно куда.
Так что запрошу вашего личного мнения, какие модельки 22b заслуживают внимания ?
>Пишешь им "производная мистраль лардж", а они обижаются.
Так потому что не угодишь, у меня создается впечатление что пользователь хочет чтобы и код ему писала на ассемблере, как дед с 40 годами опыта, кумила как эльфиская шлюха, ебашила стихи как Пушкин, прозу как Достоевский, гуро как ебанутый кровавый шизоид, ролеплеила как древний дракон и все это в 8b.
>Всегда было интересно, как васяны умудряются ломать убабугу?
Делаешь несовместимую версию пихона и\или устанавливаешь кучу говна в один env. Готово.
>>987071
Забыл 128к контекста. И чтобы vram не жрало.
>чтобы и
Это называется Mixture of Experts.
Хотя да, так просто конечно не сделаешь.
А слона то я и не заметил.
Пойду вечером искать русские мержи пантеона. Спасибо анон.
Посмотрю что другие накидают.
Это что-то уровня
> все программы запускаются на процессоре, почему же одни работают быстрее других?
В одном случае заложенный в дизайне треш, изначальная заточка вообще под маки, использование "собственных наработок" даже для вещей типа регэкспов, которые регулярно серут, неумелые попытки в низкоуровневые вызовы, зато на полноценном C!
Во втором максимально оптимизиванные вычисления, опирающиеся на быстрейшие либы от хуанга, грамотная реализация и правильный подход с регулярными инновациями. И пилится героем, которого мы не заслуживаем, а не командой с трансами
>>987055
> А на лламе-кобольде всё-таки не каждый
Это про шизосдвижку, которая все ломает, или про что вообще?
>>987076
Просто там даже это обыграна - вместо системного питона миниконда, которая предусматривает даже свой куда тулкит и булдтулзы на случай если нужно что-то на месте собирать. Кривые версии llama-cpp-python были, факт, но в остальном как можно просчитаться.
Не знаю что у тебя за спагетти, но у меня на саинемо-ремикс всё более-менее в порядке, бывают иногда косяки, но на некомиксе 12b их было значительно больше.
>Это про шизосдвижку, которая все ломает, или про что вообще?
Я особых проблем не заметил. А вот задержку на полный пересчёт контекста после каждого запроса трудно не заметить.
Анон, я объебался. Сорян.
Это был не саинемо от анона, лол, а от спагетти. Схожие имена, я только минуту назад допер.
Оке. Но по-любому там будет какая нибудь васянка из жоп ламы, магнумов и сатанинских ритуалов.
>>987092
Чсх, не видел. В своих экспериментальных мержах ставил Вихрь последним чтобы текст даже если и русский, не выглядел поломанным машинным переводом.
Но Вихрь это 12б мистраль, а под 22б ничего даже отдалённо столь же могущего в русский не находил. Может плохо искал?
Там кстати ещё один новый коммандер вышел, если кто хочет попробовать.
> Всегда было интересно, как васяны умудряются ломать убабугу?
Если ты про то, что васян = я, то я не ломал. Чистую ветку ставил. Васяны - это разрабы, у которых сломано всё, кроме трансформеров, и то боюсь там настройки выставлены не правильно под современные ламы. Ишью на все, с чем я столкнулся, есть
> Ее нигде в лаунчерах нормальной нет (хотя в дев ветке экслламы можешь поискать), берешь скрипт - образец и запускаешь.
Видимо придётся всё-таки настраивать huggingface chat, и мучиться с докерами, node js и пр. Там и мультимодальность есть, и поиск в интернете, и анализ ссылок
Есть ещё похожий на него Грок (который не масковский grok, а другой groq с другой буквой к). Летом слышал что он позволяет вообще Дофига делать с моделями, и тоже открытый, но там логично что если сложнее настраивать
Надеюсь разрабы угабуги вырулят в нормальную сторону. С ламой 2 и старой мистралью же все работало норм год назад
>кумила как эльфиская шлюха
Вообще-то, эльфы гордый и благовоспитанный народ живущий веками и потому имеющий огромный жизненный опыт и мудрость. Что бы эльфийка опускалась до работы какой то там шлюхи это просто немыслимо, у эльфов нет такого выражённого либидо как у людей, поскольку они живут веками и размножаться им нужно не так часто как людям и прочим существам.
Но с другой стороны.
УЧИТЕ АНГЛИЙСКИЙ, ОН СУКА ПРОСТОЙ.
Я вот через DeepL (да, я не заебусь говорить что это самый пиздатый переводчик) прогоняю предложения.
Потому что в нашем мире на английском вся самая важная инфа. Увы, РФ не СССР и не рождает из своих недр такое количество контента. Адаптируемся братцы.
Я спокойно читаю 50+ часовые вн на английском.
Вкатывался именно на англе.
Но всё таки притятней на родном языке.
Вот и пытаюсь ща сварить народную рп модельку =))
То вообще без конкретного обращения а скорее в общем. Но судя по твоему посту - ты васян из палаты мер и весов, потому и интересно, как можно сломать систему с таким количеством заглушек от долбоебов.
Тамщемто именно долгая жизнь скатывает их в декадентство из за скуки. Именно поэтому они шлюхи не по работе, а по велению сердца. И чем старше становится эльфийка, тем больше аппетиты. А там и до культов удовольствия рукой подать.
>залетный из /b недоволен тем, что ему не отвечают мгновенно
извинити ваше благородие, не признали-с, будем подскакивать кабанчиками по первому слову, вы только аватарку наденьте или подписывайтесь, а то мы ж холопы, не узнаем вас
ну а если серьёзно - если у тебя нет денег даже на одну теслу - то кто ты, если не пустое место...
на одной тесле уже есть жизнь - гемма 27б в 4 кванте вполне влезет.
>DeepL
Не, если ты расскажешь как оплатить его Api НЕДОРОГО ИЗ РФ, то соглашусь. А так он нахуй со своим ограничением в 1500 символов не всрался.
>Просто там даже это обыграна
Не недооценивай васянов. Там в папке батник для активации венв, а зачем устанавливать новый венв, если уже есть один?
Я просто по-другому это не могу объяснить.
Сам такой же, лол, вчера горел со скрипта, который не работал. Но там трешак полный, накатывается венв, в него копируются файлы, перезаписывая стандартные файлы пакетов, в requirements.txt указаны не все зависимости и могут подтянуться не те версии. А батники, которые "патчат" дефолтные пакеты не приспособлены к работе через анаконду. Теперь, как психопат, запускаю венв в анаконде, из него запускаю окружение этого скрипта, потом уже сам скрипт. Ёбаный рот этого питона.
>>987106
>Я особых проблем не заметил.
Да особых проблем и нет. Есть мелкие проблемы, которые хуй ты заметишь, не сравнивая выдачу с шифтом и без, но даже это смывается семплингом.
>на одной тесле уже есть жизнь
Not this shit again. Пожалей мою психику, вы опять скатите в тред в срач на 50 постов, который закончится
за 195b жизни нет
спокойно можно предложения и карточки абзацами через веб морду переводить
И сиди как еблан копируй ? У меня так то одна рука хуем занята будет.
> Какая-то старая модель в васяновском исполнении, да еще мелочь 8б, зато аж в 8 кванте.
Пока что справляется на удивление лучше всех в написании порнухи. Видимо в процессе расцензуривания ей скормили чо-то хорошее. Оно "справилось" с написанием сложной сцены не обосравшись с анатомией происходящего, содержавшую специфичные теги. Выходя из режима порнухи оно смогло подцепить табу происходящего и сарказм.
На каких-то интересных местах я обычно добавляю развилку и ролю десятки ответов, а иногда и больше сотни, периодически меняя модели и смотрю как они справляются.
Относительно сопоставимо справился пока что g2-9b-blackout-r1-q6_k_m.gguf, там более приятный слог получается. Но мне он нравится в качестве рассказчика-писателя, а не персонажа. И оно не смогло уловить абсурдность происходящего затриггерив у одного из участников истории чувство вины.
Ты про сенко ?
Ну так проблема дойти до порнухи, я не хочу начинать карточку персонажа с кровать под ними трещала.
Я не иронично уже задумываюсь менять модели посреди диалога. Одной мы рпшим, другой ебемся.
А что не 12б гоняешь?
12B в шестом кванте наверно идеально по скорости и мозгам для одной средней консумерской видяхи.
Ложь и виабушная профанация. Такое может быть лишь в фантазиях глупых мастурбирующих школьников, где все бабы нимфоманки трясущие сиськами и трахающиеся 24/7. Например, как много эльфиек-шлюх ты видел во властелине колец?
> Там в папке батник для активации венв, а зачем устанавливать новый венв, если уже есть один?
Хера многоходовочка.
Возможно, здесь действительно должно сложиться так, чтобы у пользователя уже были базовые знания (из других областей) и уверенность, и он не прочитал пару строк о том как это нужно устанавливать.
> Есть мелкие проблемы
Они ни разу не мелкие и нарастают снежным комом. Кое как оно держится когда внимание смещено на последние сообщения, или когда идет plap-plap то трудно ошибиться.
Но разница довольно радикальна, ради интереса тестировал эту фичу - за десяток постов все ошизело и отупело. Эффект крайне показательный, потому что то же самое с полным пересчетом дает совершенно другие и хорошие ответы.
Ничего лучше суммарайза с созданием буфера на половину контекста на данный момент нет, эти попытки склеить пищевод с прямой кишкой ужасны.
Я их видел в другой вселенной, они еще на планеты за рабами набегают как домики деревянные.
Профессор просто пощадил разум неопытных крох.
Все так. Больше бомбит с васянов, которые выкатывают какие-то претензии или требования к опенсорсу, так еще и все эти требования завязаны на исправления их же тупости и косяков.
Нахуй попиздовали требовать у клозедов, вперед и с песней.
>>987150
Раз нравится то и хорошо. Кормили скорее всего клодовским слопом из логов проскей. Это не обязательно плохо и свой эффект от этого будет, просто быстро надоест и вскоре будешь плеваться с такого.
>>987114
>>987163
При тестировании на эльфах самых забористых вещей они реагируют лучше остальных. Ллм не просто так это подметила, все правильно.
может не ту пробовал. дай направление, посмотрю как справится.
>Ну так проблема дойти до порнухи, я не хочу начинать карточку персонажа с кровать под ними трещала.
Это да. Но тут описание сцены, системные промпты, иногда толкают повествование в нужные места. Иногда редактирование пары слов толкает всё русло в какое-то интересное направление и оно там дальше само разворачивается. Иногда на пару сообщений stepped thinking включить.
Самый главный промпт это конечно память о прошедших событиях сцены. Например недавно читал просто охуительную историю о трёх дилдо и феечке, где начиналось с дефлорации, продолжилось с застрявшим дилдо, а заканчивалось детонацией феечки. Переход от меньшего к большему в несколько этапов довольно долго раскрывался. Но я пока не нашел модели которая бы могла хорошо суммировать происходящую в сцене дегенерацию, больше всего правок приходится делать о каком-то состоянии персонажей, например когда анус больше чем рот. И как же так получилось.
Хотя для такой сцены в качестве завязки в целом хватило хождения на рейд против опасного преступника и нескольких подталкиваний в духе "что ты видишь?"
>Я не иронично уже задумываюсь менять модели посреди диалога. Одной мы рпшим, другой ебемся.
Я так несколько раз делал. Иногда даже перескакиваю на другие модели чисто чтобы они мне лучше суммировали пошедшие события. Если какие-то могут справляться с РП и с порнухой достаточно неплохо, то почти всегда пишут какую-то тарабарщину в суммаризацию событий.
Но переходы ломают иммершн. Те модели которые могут порнуху со всем остальным справляются довольно хуёво.
>>987161
Пробовал некоторые 12б, но у меня только 12гб врам.
Там либо много контекста в памяти, либо 12б. Вообще тут больше зависит от датасетов на которых тренировали модель. Какие-то более общие конечно могут проёбыватся с качеством слога и писать "моя твоя ебал", но справляется намного лучше в каких-то критически важных вещах, вроде социальных взаимодействий, или работе с остальными промптами помимо диалогов и событий.
>>987173
>Раз нравится то и хорошо. Кормили скорее всего клодовским слопом из логов проскей. Это не обязательно плохо и свой эффект от этого будет, просто быстро надоест и вскоре будешь плеваться с такого.
Ну, тут уже можно вывести на собственной фантазии. Сложно ожидать от этой хуйни например какие-то интересные завязки событий и как они могут раскрыться, но можно ожидать неплохую реакцию участников, которая самый важный элемент.
>Ничего лучше суммарайза с созданием буфера на половину контекста на данный момент нет, эти попытки склеить пищевод с прямой кишкой ужасны.
Ну я могу предположить, как это сделать - вручную удалять излишек чата после суммарайза и до остатка контекста, которые вместе могут поместиться в половину буфера. Как сделать автоматом? Раньше smart context был - новые модели он уже не поддерживает. Да и хотелось бы, чтобы Таверна и сама так могла.
Валера, настало твоё время!
Карточки всё те же, хотя надо бы другие интересные перевести тоже. Просто эти три драматичных леди либо сразу модель об колено ломают, либо показывают насколько она работоспособна в первом приближении.
Несколько однобоко, но мне преимущественно нужна именно подобная фентезятина.
Чего так дженерик то? с составлением и редактированием карточек я фичу холста у чатГПТ распробовал. нравится как там можно написать в духе "поменяй чтобы у персонажа было СДВГ. фук го бэк. а теперь так-же только наполовину", "предложи как сделать персонажа более интересным", "перемести информацию из примеров диалога в описание персонажа сделав их более нейтральными.", "сделай примеры диалогов разной длины, чтобы они были менее монотонными" и всё такое. 15-20 подобных правок делают карточку заметно менее предсказуемой.
Когда персонаж получается будто потрёпанный жизнью выходец из дурки это прям да~
Ты молодец, но разве SAINEMO-reMIX 12b не может так же делать и местами даже лучше?
Или это было из-за магнума...
Карточки не мои, я только перевёл.
Единственная карточка которую я писал сам это хонкаеподобный сеттинг составленный из двух кумботов и больной фантазии воспалённого простудной температурой мозга, а и ещё бот-сторителлер который скачали чуть больше сотни раз XD.
>>987231
Может порой неплохо, но как-то похоже одно на другое, хоть и другими словами. Плюс слишком позитивный.
Чтобы автоматом это нужно попердолиться. В таверне можно отключать сообщения, прошелся суммарайзом, проверил его, исправил при необходимости, и отключай. Немного напердолив васяновские правки в коде можно повысить удобство, добавить счетчик токенов в выделенных и возможность делать меньше кликов, но проверять суммарайз обязательно.
Может кто-то умный сможет напилить экстеншн, или такой уже сделали, хз.
Насколько безопасно пилить на ГРАДИО? Вроде, он там держит какие-то коннекшоны открытыми.
вместе с самой моделью, ибо, если очень просто, это именно то что переводит буквы в цифры и обратно
>>987398
Не работал с градио, не в курсе.
>COЯ!
>ВСЕ МОДЕЛИ СОЕВЫЕ!
>ЦЕНЗУРА! ВСЁ, СУКА, ЦЕНЗУРОЙ ОБМАЗАЛИ
>НЕПОРПШИТЬ
@
>Устроил РП в людном месте
>Чисто случайно выясняется, что персонажу 13
>Прямо в процессе
>В карточке буквально описана карьера персонажа
magnum-v3-27b-kto-Q5_K_M.gguf
>>ВСЕ МОДЕЛИ СОЕВЫЕ!
Магнум 4 вроде стал? Видел на него ругались.
Лол могу посоветовать делать комбо из активных-реактивных персонажей. Например спизженная чертовка постоянно и охотно несёт чушню. А сделанная наспех феечка активно реагирует на происходящее и задаёт тупые вопросы, толкая других персонажей нести ещё больше чушни. Выступает в качестве суппорт-персонажа.
Открываю их чат, а там будто интернет в дурку провели. Даже какие-то огрехи нейронки не так сильно заметны.
Она, боец спецназа на <ну вы поняли какой войне> и она не раскаивается за военные преступления, потому что ей было весело.
Такой себе выбор. Не столько потому что отправляет много статистики, сколько из-за упоротости самого интерфейса. Для прототипирования и тестов - более чем, а сложный полноценный интерфейс уже хрена.
>>987687
> и она не раскаивается за военные преступления, потому что ей было весело
Какая грубая интерпретация старого мема
Каких только промтов я не находил, по janny по моему находил карту яндере табуретки, которая злится что ты сидишь на кресле.
Ну ты понял.
Как тебе это удаётся? Что за модель? У меня все модели с которыми я такое пробовал начинали отвечать сразу за двух персонажей и в конце путались и отвечали уже не за себя а за другого персонажа.
Это потому что у тебя в систем промпте что-то вроде такого скорей всего. То есть там написано "не пизди за юзера". А в {{char}} подставляется имя любого активного персонажа. Разумеется бедная нейронка охуевает и не понимает за кого она должна писать. Потыкай другие варианты, или попробуй написать промпт запрещающий это делать. Системный промпт самый важныйкакой вообще есть.
Там вроде как-то можно сделать его уникальным для каждого персонажа, тогда можно было бы иметь например персонаж-персонаж-наратор трио, но я пока не понял как.
От автора некомикса есть еще саинеимомикс. Остальное в русском Рп ну такое себе.
Самый большой пиздец, конечно, это пересчёт контекста каждый пост, карточки ставятся в начало, то есть вся история каждый раз тю-тю. То есть нужно, чтобы карточки и систем промпт был в конце истории. Даже не искал, можно ли это сделать в таверне, кал говна, а не удобство использования, скорее всего без какого-то расширения всё равно нельзя. Вообще от всей таверны такое ощущение, что это перегруженная хуйня, вроде жиги после ара-тюнинга на максималках, но в которую забыли установить сиденья и руль. Ещё и со включённым инстракт-режимом не вырезает стоп токены, вообще охуеть.
>>987696
>Такой себе выбор.
Да я просто так прикинул, должно быть плюс-минус удобно. Пихон примитивный, с установкой проблем нет, а по упоротости всё равно таверну не переплюнуть. Посмотрел в её файлы, проще из своего унитаза проплыть по трубам в соседскую квартиру и вылезти сухим, чем разобраться. Ещё и на JQ сплошняком, я думал, что он умер лет десять назад. Не слежу за вебом, но там же сплошные вуе, ангуляры-хуянгуляры, таверна на жс, как бы логично брать что-то более современное.
Нежно прикоснусь к щеке
Поглажу щеку
Проведу пальцами по щеке
а потом
Пойду за ней в след, ведь она даже не обернется, зная что я за ней иду.
Я просто хочу секс...
Это на гемма 27B. При том даже если расписать сеттинг, основные действующие персонажи и общий лейтмотив сюжета, в контексте арорисать характеры персонажец и состояние мира, она всё равно начинает что то свое писать, придумывать какие то своиценари, вводить персонажей , которые вообще не упоминаются .На лама 70б такого нет, но у меня там дай бог 2 токена в секунду.
ну не хотят они свою сексуальность изучать, они просто хотят секс
Читать будет неудобно, да и я уже не такой гибкий как в 20 лет. С - немолодость.
А то я щас 10 минут свапал пытаясь устроить трех девок на подоконник так чтобы они в друг друга не проваливались
Ставь пантеон и играй на Английском и не еби мозги, если миксы анона не устраивают.
>Я просто хочу секс...
А побегать от яндерки, покричать : ОТЪЕБИСЬ ОТ МОИХ ГЛАЗ ЕБАНУТАЯ, УБЕРИ НОЖ БЛЯТЬ. СПАСИТЕ ПОМОГИТЕ ХУЛИГАНКА ЗРЕНИЯ ЛИШАЕТ ?
Хули ты такой скучный.
>яндере не нужны
И зачем тогда все остальное нужно, если не останется место для старого доброго сумасшествия ?
>что-нибудь адекватнее вилки для супа появилось? а то я щас 10 минут пытался похлебать бульон чтобы он не стекал сквозь зубчики
Хочешь русский - привыкай страдать. Нравится тебе это или нет, но нормальных тюнов под наш натив ленгвич нет. Ты либо жертвуешь логикой, либо жертвуешь креативностью, либо жертвуешь орфографией. И никакие шизомкисы тут не помогут, ибо нужна нормальная тренировка на большой дате, которой ни у кого нет. Даже криворукие додики которые пилили вихрь и сайгу юзали синтетику с гопоты и клопа, качество которой не сильно отличается от того, что выдает немо по дефолту.
Про интерсное сумасшествие говорят лишь нормисы, этого сумасшествия и безумия не видевшие.
На это мне и нужны локалки. Я не хочу яндерку встречать в реальной жизни.
Давай будем честны, русский язык еще и хуев для генерации. Ну я про структуру языка. Все эти падежи, рода, где у тебя предложение от Пола меняется полностью, а в Английском глагол, это просто глагол.
Да ладно тебе. Ну подумаешь, будешь сидеть в подвале. Мож даже кормить будет.
>Даже не искал, можно ли это сделать в таверне
Через жопу точно можно. Например, очистив всё в окне шаблона контекста, а все макросы промпта и карточки типа {{description}} вставив через заметки или лорбук на нулевой глубине. Но это приведёт к шизе, потому что нейронка с большой вероятностью будет пытаться продолжать карточку, а не чат, который там где-то далеко наверху. Проверял такое как-то ещё на 3.5 турбе, когда такие советы начали появляться, типа так карточку лучше держит, и даже она так тупила. Мб худо-бедно прокатит с короткими промптами и карточками.
>Ещё и со включённым инстракт-режимом не вырезает стоп токены
Про это не понял. Есть же универсальный сэмплер ban EOS token. Если он включен, то EOS бэком будет всегда вырезаться из генерации, будут работать только стоп строки таверны.
> Самый большой пиздец, конечно, это пересчёт контекста каждый пост, карточки ставятся в начало, то есть вся история каждый раз тю-тю.
Это не пиздец, это единственно возможный нормальный вариант. А то что бедолаги без железа сосут хуи - их проблемы. Все эти костыли и ухищрения с перестановкой карточек обречены на фейл по своему дизайну и из-за особенностей внимания ллм. Увы, горькая правда, нормальный мультидиалог и прочее возможны только со сменой инструкций в начале, а подпихнуть херню в конце годно лишь для минорных изменений.
> от всей таверны такое ощущение, что это перегруженная хуйня, вроде жиги после ара-тюнинга на максималках
> должно быть плюс-минус удобно
Считаешь так из-за неопытности. Вообще да, таверна та еще херня, но в ней много необходимых функций, важность которых для ньюфагов вовсе неочевидна.
Когда начнешь пилить свой интерфейс на пихоне - соснешь тунца, желая провести какие-нибудь манипуляции с историей сообщений. Особенно если не последний пост. Если в целом промт менеджмент можно любой накодить, то интерфейс жрадио в этом отношении ужасно неудобный, не гибкий и перегруженный лишним.
>>987951
> типа так карточку лучше держит, и даже она так тупила
Такие приемы сработают если в начале будет основная инструкция и информация, а уже в конце ключевые напоминалки. Целиком тащить будет просто говно перфоманс, при норм оформлении карточку не продолжит и будет отвечать, но оче отупеет.
>почисти
>Я просто хочу секс...
тогда делай магнум, там сразу моделька тебе предложит let's fukc
whatever you say я всё равно нихуя не понел чёты высрал
Если кому актуально художественное писательство...
Tested 39 Models for use as an AI writing assistant
https://www.reddit.com/r/LocalLLaMA/comments/1h793rb/tested_39_models_for_use_as_an_ai_writing/
>а все макросы промпта и карточки типа {{description}} вставив через заметки
Сомнительно, конечно. Сразу же вылетел ВОРНИНГ про стори стринг валидейшн, половина тегов не распарсилась, {personality} не работает, {scenario} работает. Можно, конечно, скопипастить всё вручную, но это уже сомнительно.
>ban EOS
Ага, и нейронка не сможет остановиться. Было бы логичнее вырезать <end_of_turn> из постов.
>>987988
>возможны только со сменой инструкций в начале
При этом работает "Забудь все предыдущие инструкции". Да, всё внимание уходит на первые токены, так что полезно туда пихать важное.
Но я всё больше склоняюсь ко мнению, что нужно создавать отдельный контекст для каждого персонажа, чтобы это всё работало и не ломалось. Расход vram "немного" подрастёт, конечно, но можно будет пересчитывать контекст в параллель.
>но в ней много необходимых функций
Хуй знает, я потрогал лорбуки, раг, суммарайз. Идеи хорошие, реализация говно.
>соснешь тунца, желая провести какие-нибудь манипуляции с историей сообщений
Как бы я не относился к пихону, но даже он лучше жс, так что любые манипуляции реализуемы.
>Двощ режет метадату, кетбокси.
Да блджад. Окей.
https://jannyai.com/characters/67f1a3c6-7bff-42dd-88bb-7e547ad711ab_character-reina-kurozawa
https://jannyai.com/characters/7c602cd3-af73-47c4-a261-2ee53926b3b9_character-house-viewing-with-a-psychopath
https://jannyai.com/characters/d4a8d7ba-3390-4e47-831d-f61cac5f2e74_character-shia-a-weird-date
https://characterhub.org/characters/Anonymous/remilia-scarlet-72ca23a0315f
> При этом работает
Чел, мир не черно-белый. Можно засрать промт трешем и потом дать другие инструкции, оно сработает, только по сравнению с правильно составленным и выверенным промтом без лишнего мусора качество ответов будет гораздо лучше. Эффект может варьироваться от незначительного для совсем простых случаев, или если задача является лишь вариацией исходной инструкции, до радикального если там что-то сложнее, на что модели едва хватает.
Модели просто качественное рп вывозят на грани и только с хорошим промтом. А ты предлагаешь его поломать и извратить, будет полная залупа и копиум.
> я всё больше склоняюсь ко мнению, что нужно создавать отдельный контекст для каждого персонажа
А вот эта идея очень даже неплохая и правильная. Расход врам не поднимется, потому что кэш можно скидывать в обычную рам. Можно целиком на бэке реализовать, храня до N кэшей, даже если наделать быдлокода, незначительная задержка в начале на фоне генерации не будет заметной.
> Хуй знает, я потрогал лорбуки, раг, суммарайз.
Отредактировать прошлое сообщение, сделать развилку от него а потом вернуться обратно или даже добавить посты из новой ветки куда-нибудь, заготовленный интерфейс для экстеншнов с продвинутым формированием промта, поддержка регэкспов и функций внутри него. Самое элементарное и базовое, с чем порвешь жопу в жрадио.
> пихону, но даже он лучше жс
Конечно лучше, просто нужно использовать что-то другое а не жрадио, которое для быстрого создания типовых интерфейсов и вовсе не про удобство и функционал.
Мда. Проверил сейчас сам, скопипастив весь контекст в поле лорбука - и персоналити, и сценарий вставились нормально, а вот макрос {{system}} не заменился. Возможно, потому что подача на глубину ноль от системы имеет свои префиксы-суффиксы, хоть я и оставил их пустыми. А ещё if условия остаются текстом и не преобразуются в условия. Не особо рабочий способ, короче.
Про <end_of_turn> так и не понял. Тебе не нравится, что оно в промпте закрывает текст каждого перса, или что? Можно оставить инстракт с одними именами и закрывать только один раз в поле префикса для последнего ответа ассистента, тогда их на всю историю чата каждый раз будет только один перед ожидаемым ответом сетки. Не догоняю, как ты их обычно вырезаешь и зачем.
>Можно засрать промт трешем и потом дать другие инструкции
По сути, оно всегда так и работает. То же общение с ассистентом, сначала даёшь инструкцию выполнять запросы пользователя, потом просишь уже в сообщении написать рецепт мацы. А потом другие инструкции о лучших ингредиентах. Но да, здесь есть проблемы, когда пинал сетки писать код - часто начинал новый чат, чтобы избежать. Речь о другом, если в начале будет одна "общая" инструкция, а в конце уже запрос написать пост от лица конкретного персонажа. Лень проверять, но должно работать.
>идея очень даже неплохая
Да, по сути, идея автоматически приходит, если подумать, как работают все эти клодосервисы и жпт. Батчи на одной сетке в разных контекстах.
>Отредактировать прошлое сообщение
Этого где-нибудь нет?
>сделать развилку
Да, штука неплохая, но чаще не хватает даже куда более базовых вещей. Вот таверна начала лагать из-за длинной истории, я знаю, что 90% из неё в контексте нет и хочу удалить. Удалить старые посты, очевидно. Даже сделать развилку, чтобы сохранить старый чат - вот и пригодилась фича. Не тут-то было, можно стереть пакет постов только снизу, но не сверху. Нет возможности даже банально отметить чекбоксами посты и стереть - только удалять каждый и тратить на каждый два клика.
>заготовленный интерфейс для экстеншнов
Оно без расширений еле живёт, что с ними будет вообще страшно представить. Редактирование промпта лично мне показалось чрезвычайно хуёвым. Суффиксы-постфиксы, а нахуя они мне лично, например? Их лучше закопать поглубже, оставив на виду возможность выключить. Редактировать их нужно не так часто, всё-таки замена их с дефолтных для модели не всегда хорошая идея. А где сам шаблон режима? Команду отредактировать можно, суффиксы, но не самое нужное? То, что в уге редактируется в ноль кликов. Или это закопано куда-то в анус, не удивлюсь.
С кривой подсветки кода я охуевший до сих пор - если в тексте есть табы это ещё не значит, что это код, блядь. Причём таверноскрипт опознаёт это как "код", загоняет кусок поста в кривой бокс, в котором я вижу теги <q> прямо в постах. Какой дегенерат это делал? Причём их нет непосредственно в тексте, жмёшь редактирование - там простые табуляции, срёт именно парсер кода. Выключить который по умолчанию нельзя. А, в таверне есть удобная фича - пользовательские css, можно сделать эти блоки прозрачными. Ну а теги потерпишь.
То есть с самого начала использования таверны у меня ощущение, что я говна поел и никакие "продвинутые фичи" это не исправляют, а делают только хуже.
>>988153
Я в лорбук не пробовал, только в заметки. Ифы там тоже не парсятся.
>Про <end_of_turn> так и не понял.
Иногда протекает в текст поста, а не заменяется парсером таверны на её {{fin}} тег.
> По сути, оно всегда так и работает.
В ассистенте у тебя широкая базовая инструкция и далее последовательность указаний и запросов плавно сходится к чему-то конкретному, или же идет продолжительное выполнение одной, или каждый раз она обновляется.
Если ты в начале дашь ассистенту один запрос, потом скажешь забыть про это и дашь другой - третий и т.д. с каждым разом будет все хуже и хуже. Наиболее наглядно в кодинге, когда без чисток и прунинга чата оно прямо на глазах тупеет, ну собственно сам про это написал.
> Речь о другом, если в начале будет одна "общая" инструкция
Но конкретно здесь проблема еще немного в другом: у тебя в начале отсутствует какая-то четкая и внятная инструкция, через призму которой сетка будет воспринимать всю историю чата и описание происходящего. Ей как-то это нужно запомнить все полотно, а потом в самом конце, когда ты внезапно подставляешь карточки персонажей и нормальные инструкции - взять и целиком его переосмыслить. Это без шансов на что-то нормальное, может забавная шиза и интересные эффекты какие проявятся, но нормального рп никак.
> Этого где-нибудь нет?
Ну ты посмотри как устроен чат, например, в убебуге что на жрадио и ощути уровень удобства.
> Вот таверна начала лагать из-за длинной истории
Как вы этого добиваетесь? Ну рили, она даже если в планшете открывать работает шустро и красиво.
> Оно без расширений еле живёт
Как? Похоже рили у тебя проблема в странных лагах, в итоге до использования фич так и не доходит. За удаление сообщений в конце таки двачую, но можешь почитать тред и узнаешь о том что есть отключение постов и много других вещей.
> Редактирование промпта лично мне показалось чрезвычайно хуёвым. Суффиксы-постфиксы, а нахуя они мне лично, например? Их лучше закопать поглубже, оставив на виду возможность выключить.
Это ключевые вещи, влияющие на работоспособность модели. За примитивщиной где все запрятано можешь обратиться к другим интерфейсам, там ничего кроме дефолтной обертки по постам по шаблону модели нет, и работает соответствующе.
> А где сам шаблон режима?
Он буквально там, на букву А нажимаешь и видишь.
> С кривой подсветки кода я охуевший до сих пор
```python
```
??? Покажи что у тебя там распознается как код. Алсо табуляции при токенизации это сильно.
>В ассистенте у тебя широкая базовая инструкция
А кто мешает в начале написать "широкую" инструкцию, а в конце запрос написать пост? Что-то вроде "проанализируй эту историю и бла-бла-бла".
>когда ты внезапно подставляешь карточки персонажей
Можно и вначале, но тогда нужно максимально урезать карточки и пихать сразу все, а "лор" писать в конец. Как с рагом, в принципе. Но хотелось бы карточки в конец. Потом проверю, в любом случае.
>в убебуге
В целом тоже хуйня, но я не думаю, что на градио в принципе невозможно редактирование постов, скорее убе похуй. Хотя не трогал градио вообще и вряд ли буду.
>Как вы этого добиваетесь?
В душе не ебу, просто в какой-то момент чат начинает тормозить, удаление постов тормозит, удаление свайпов тормозит, весь интерфейс в слоумо, а пока идёт генерация - вообще невозможно ничего сделать. А поначалу да, шустро.
>на букву А нажимаешь и видишь.
Не то, я смотрел. По табам на пиках. Проще удалить это всё, чем разобраться, почему оно криво работает, не работает вообще и где хранятся настройки, если они есть.
> А кто мешает в начале написать "широкую" инструкцию, а в конце запрос написать пост?
То что без карточки персонажа и нормального описания в начале оно не сможет правильно воспринять контекст и будет всратый копиум. Попробуй, может такая упорость даже зайдет и проявятся некоторое необычное поведение, но о внимательном качественном рп тут речи идти не может.
> Можно и вначале, но тогда нужно максимально урезать карточки и пихать сразу все
Это имеет смысл сделать в конце если вдруг модель что-то забывает. В любом случае, там должна быть главной стоять карточка персонажа, который должен давать ответ, а потом остальные.
Буквально диалог с хитрожопым/глупым клиентом где-нибудь, ему объясняют единственно возможный нормальный путь, а он пытается извернуться и наебать систему ценой всего, лишь бы сэкономить какие-то гроши.
Пустая трата времени, фу.
Бля, это действительно Qwen2-VL с ризонингом…
Хочу, чтобы она еще и рисовала.
Квен такой на 17 тысяче токенов.
Ну охуенно же.
>лишь бы сэкономить какие-то гроши
Ну да, ждать по 3+ минуты пересчёта контекста на каждый ответ или покупать 4090.
>какие-то гроши
> можно стереть пакет постов только снизу, но не сверху. Нет возможности даже банально отметить чекбоксами посты и стереть - только удалять каждый и тратить на каждый два клика.
Можно удалять сообщения ренджами. Команда "/cut 0-9" удалит первые 10 сообщений чата, например. Если надо не удалить, а убрать сообщения из контекста, используй "/hide 0-9".
>оно не сможет правильно воспринять контекст
На счёт этого есть большие сомнения. Чисто ради интереса проверил на длинном сложном кодинге и на паре рп-чатов с объёмными карточками. Ожидаемо, не идентичные ответы, но шизы нет. Кодинг практически один в один, при инструкции в конце комментарии стабильно подробнее. Температура на единице, остальное вроде всё сбросил, если не забыл что-то, сид заморозил. При свайпе без перестановки инструкции ответы идентичные, так что, вроде не забыл семплеры сбросить.
Результат не то, чтобы окончательный, но пока проблем не вижу.
>>988558
>Команда "/cut 0-9"
Пиздец какой.
> Пиздец какой.
Ну оформи в макрос "Hide first N messages" с выводом модалки с инпутом и добавь кнопкой внизу.
/input rows=1 "Сколько сообщений с начала чата скрыть?" |
/sub {{pipe}} 1 |
/hide 0-{{pipe}}
NemoMix-Unleashed-12B, SAINEMO-reMIX, MN-12B-Mag-Mell-R1 кум пишут плохо много сои, а магнум (4 версия на базе мистраля, тоже 12б) — это тупо шизик ёбаный, который не просто не соблюдает инструкции, а путается в своих же словах в одном посте и т. д. Как я температуру не дёргал, повторы, свой хуй и прочие настройки — ничего не помогает. При том, что другие модели работают нормально. Магнум не просто лоботомированный, а нахуй отбитый.
Даже janitor с описанием кума и не только кума справляется намного лучше моего магнума, когда они обновили свою модель, что странно, учитывая несколько разнонаправленность их модели. И она у них явно 8b.
Возможно, нужно посмотреть в сторону более сбалансированных или каких-то иных кум-моделей? Шапку, разумеется, читал, но по моему запросу там ничего интересного.
>NemoMix-Unleashed-12B, SAINEMO-reMIX, MN-12B-Mag-Mell-R1
Ну так ты дальше на шизомиксах сиди и удивляйся откуда появляются галлюцинации.
>пишут плохо много сои
Про дерьмовые текста спорить не буду, индивидуальщина. Но про сою - тут проблема чисто с твоей стороны. Это всё модели на базе мистраля, там даже в дефолтных инструктах никакой сои инет, а уж на кумерских тюнах тем более. Либо поясни про какую конкретно сою ты говоришь, либо проверь что у тебя лежит в инструкциях.
>Даже janitor с описанием кума и не только кума справляется намного лучше моего магнума, когда они обновили свою модель, что странно, учитывая несколько разнонаправленность их модели.
Если я ничего не путаю, у мусорщиков на беке стоят те же модели, что лежат в открытом доступе на хаггиморде. По крайней мере раньше так было. Это тебе не чайная, так что ничего особенного в них нет.
>Возможно, нужно посмотреть в сторону более сбалансированных или каких-то иных кум-моделей?
Начни с обычных тюнов, не трогай мержи. Сплавы от пизды штампуются десятками в день и качество там преимущественно не варьируется.
>Что адекватного для кума можете посоветовать в пределах 12-14b?
Мне нормально дрочится на MN-12B-Lyra-v4, так что тоже можешь попробовать. Но датасеты там с клауды, так что это слоповая глинтота, которая явно зайдет не всем. И если вдруг будешь юзать, держи температуру в районе 0.6-0.7, иначе там всё по пизде пойдет.
Ллама 70b - соевая модель которая отказывается обсуждать хоть что то сексуальное.
>>988453
Ее ризонинг крайне хуевый и глупый с точки зрения анализа изображений, нет какого-то выигрыша над обычным квенвл. Буквально сраная гемма флеш делает это лучше с некоторыми подскасками в промте, плодя меньше графомании, а с мультиагентной реализацией вообще не сравнится. Есть с чем сравнивать, так сказать.
>>988549
Используй модели, которые тебе по силам, тогда не придется ждать. Или пили кэширование, во всех смыслах ультимативное решение, если не осилишь то хотябы получишь новые скиллы, которые в перспективе позволят обновить железо.
>>988576
> Чисто ради интереса проверил на длинном сложном кодинге
А что ты собрался проверять в кодинге, где буквально в тренировке заложен регулярное обращение к прошлому для переделки с каждым новым уточнением (пока совсем не порвется)? И код он и в африке код если что, какие инструкции не давай, его понимание очень глубоко в модели, чем можно пользоваться для улучшения результатов.
> но шизы нет
Совсем шизы прямо так и не будет, просто умные и проницательные ответы 70б превратятся во всратый слоп 8б, потому что ее внимание будет распределено совершенно не туда куда нужно. А на мелочи будет вообще полная параша.
Опять же, в 3й раз повторю, что такие изменение может позволить сетке отметить что-то другое, это буквально дополнительный запрос от лица "другого участника", и изменив формат инструкции на что-то еще, можно вполне себе использовать такое в дополнение к основному, наряду с другими техниками перед формированием ответа. Но вариант совсем не для бедных ибо подразумевает пересчет контекста.
> Пиздец какой.
Непомню что удаление (именно удаление а не что-то еще) старых постов в истории чата - максимально маразматичный кейс, который в здравом уме не должен кому-то приходить.
Не локалочка - идет нахуй.
Впрочем из 70b тоже локалка так себе, слишком большая что бы быть полезной без личного нейросервера
При чем тут это, когда тупейшая всратень размером 8б (или сколько там) обходит жирного кита по его ключевой особенности? И эта самая большая модель не имеет заметных улучшений в работе с визуальной частью относительно обычных. Несколько автоматизированных запросов к той же qwenvl 7b сделать и результат лучше окажется чем все эти полотна нейрошизы с суммарайзом.
Вот когда веса
>тупейшая всратень размером 8б
будут доступны для скачивания и я смогу запустить ее офлайн - тогда она и будет достойна разговора.
Не дрочи на корпоративные сетки, они подачка, которую в любой момент могут отнять или изменить.
Другое дело локалки которые по факту принадлежат тебе и делай с ними что хочешь.
Ну а на счет 70b я ничего и не говорил, я и qwq 32b не особо оцениваю пока что.
Это прототип, он работает и показывает потенциал технологии, даже полезен местами, ну и все. На сколько я понял 70b сделали на предыдущем поколении квен 2 серии, она слабее чем 2.5 в любом случае
>Что адекватного для кума можете посоветовать в пределах 12-14b?
L3-Umbral-Mind-RP-v3.0-8B. Душевная модель, я её в fp16 запускаю на 3090, но она и в i1-Q6_K была хороша.
>Ну оформи в макрос "Hide first N messages" с выводом модалки с инпутом и добавь кнопкой внизу.
А вот это ценно, спасибо. Ещё было бы классно иметь возможность знать то, сколько уже токенов в активном промпте прямо из Таверны, не заглядывая в бэк. Хотя бы по кнопке.
> Ещё было бы классно иметь возможность знать то, сколько уже токенов в активном промпте прямо из Таверны, не заглядывая в бэк. Хотя бы по кнопке.
Это разве не оно? Правда, оно на выбранный в таверне токенизатор полагается, он может быть неверно выбран.
Тут же можно целиком просмотреть запрос, который на бек шлётся.
>Это разве не оно?
Видимо не оно, при применении /hide цифры в этом окне не меняются.
Оно уже у по факту вызванного запроса цифры показывает. Задним числом ничего меняться не будет.
А потом просто купить ватник к ней и корпус побольше чтоб влезла, а потом просто пересобрать весь пк в этот клрпус и еще что то отъебнет по пути
>NemoMix-Unleashed-12B, SAINEMO-reMIX, MN-12B-Mag-Mell-R1 кум пишут плохо много сои
Вут ? Я понимаю ты бы доебался до повторяющихся словестных оборотов, но до сои в некомиксах ? Нипонимат. Я только расчленять не пробовал.
Нет, есть у меня идея, да они не насилуют тебя, ты это за сою принимаешь ?
>Оно уже у по факту вызванного запроса цифры показывает. Задним числом ничего меняться не будет.
Попробовал. В принципе получается, что хоть и через задницу и без особого удобства, но что-то вроде smart context в Таверне можно организовать. Для тесел на ГГУФе, а для амперов и выше вообще быстро, на exl2. Только врама нужно побольше.
>Цидония
Забывает контекст, путает положение словно ебешься на космической станции.
>магнум
Магнум это магнум. Он то нормальный то начинает снимать трусы у голого человека, то ищет занавески на улице. Представляю как это со стороны выглядит. Сидишь такой на первом этаже, а к тебе с улицы подваливает тян и начинает через открытое окно дергать занавеску и смущаться.
>Чатвайфа
Вот это в первый раз вижу.
Сколько оперативы требуется для модели уровня гпт3.5?
Как много моделей без соевой лево-либерольной цензуры?
А вот РП от пантеона прям хорош.
> Сколько оперативы требуется для модели уровня гпт3.5?
Это уже уровень 8В.
Да, пользоваться можно. Нет, неудобно.
>>988735
>код он и в африке код если что, какие инструкции не давай
Потому что это сложная задача, которая сильно зависит от понимания контекста и запроса.
>ее внимание будет распределено совершенно не туда куда нужно
Да оно всегда распределено не туда, куда нужно. По идее, можно запилить маски внимания, но нахуй надо, всё равно все карточки всех персонажей нужны в промпте постоянно, 99% инструкции неизменно для всех, потому и ебля с этим бесперспективна. Перенос одной строки вниз с указанием от лица какого конкретного персонажа писать по сути, не меняет ответ, получаю то же самое, слегка перефразированное. Семплинг сотрёт и это.
>максимально маразматичный кейс
Автоматическая идея. Дерьмо залагало - понизь нагрузку на него. Если бы не лагало, то и проблемы бы не было. Но даже так, удаление сообщений из истории чата это дефолтная фича, которая всегда должна быть. Да и то, оно технически есть, просто шиз на разрабе сделал выделение не по шифту, как у нормальных людей, а от низа, и это уже маразм.
>>988853
>Он то нормальный то начинает снимать трусы у голого человека, то ищет занавески на улице.
Я пока не видел сеток, которым не нужно периодически напоминать, что происходит и как. Отсюда и снимание трусов по два раза, и занавески на улице. Нужно скармливать более подробные описания ситуации, тогда всё гладко.
лэт ми спик фром май харт, вы помимо знания английского лангуаге какими переводчиками пользуетесь ?
А то вкатился в English RP а там один словесный оборот охуительней другого.
да, но вся шутка только в голове ламы
я искал более глубокий смысл или отсылку
почему именно это фильм, например
Научиться читать английский намного проще чем научиться разговаривать на нём. А писать нейронке ты можешь и на русском.
Ты меня троллишь ?
Я НАЙДУ ТЕБЯ И ПОДЕРГАЮ СО СМУЩЕННЫМ ВИДОМ КАК ЗАНАВЕСКУ.
>писать нейронке ты можешь и на русском
Вот есть у меня сомнения насчет этого пункта.
Создаешь групповой чат, добавляешь карточки туда, потом пишешь ситуацию в которой оказались боты и жмешь продолжить.
Попробуй неожиданно норм починившуюся сайгу.
https://huggingface.co/Aleteian/SaigaPersonalityParty-Q6_K-GGUF
>какими переводчиками пользуетесь ?
Православный Гугл. Как раз уровень современных нейронок, причём в обе стороны.
>Да, пользоваться можно. Нет, неудобно.
Может ишью на гитхабе Таверны создать? Пусть допилят. Токенайзер там худо-бедно есть, задать размер буфера под смарт-контекст и будет заебись в общем-то.
>Посоветуйте модельку для кума под 96 gb vram.
Продай риг и иди на Онлифанс. Там их полно.
А я бы неиронично хотел бы попробовать покумить на чем нибудь, в духе 195б.
Эххх, мечты мечты.
не заставляй меня смотреть высер адама сэндлера
объясни вкратце в чем прикол
>Эххх, мечты мечты.
Что, даже 5к не наскребёшь на мечту-то? Это как раз на сутки кума. Плюс-минус.
Так не интересно, хочу ебаться с компом. Зачем мне твой онлифанс?
Шизик, спокнись нахуй, такую херню несешь во всех смыслах.
>>988856
Про 3.5 правильно сказали, это уже днище уровня 7-8б из последних моделей. Те минимально потребуют около 6 гигов врам. На процессоре и рам тоже можно но это оче медленно и того не стоит.
> Как много моделей без соевой лево-либерольной цензуры?
В локальных ллм можно все, и тюнить их на вседозволенность, и использовать продвинутые промты, негативный промт, активационные векторы, чтобы вычистить любую сою на корню. Есть также и изначально True Neutral модели, которые и будут волноваться за тебя при опасности отыгрывая любящую жену, и будут с радостью расчленять негро-трансо-фенимисток неся ультраправые идеи в зависимости от промта.
>>988888
> Потому что это сложная задача
Нет, это вполне типичная ситуация коей полно в любых датасетах. Если у тебя в промте код - очевидно что нужно его оценить и дальше делать какие-то манипуляции. Бонусом играет то, что 99.5% задач связанных с ним решаются постепенно путем пробега по нему, а не требует сложного и правильного зирошот ответа/реплики на основе контекста.
> Да оно всегда распределено не туда, куда нужно.
Правильная последовательность инструкций и описаний позволяет сфокусировать наиболее правильным образом и позволить отвечать правильно сразу.
> По идее, можно запилить маски внимания
Ты ведь даже не понимаешь о чем говоришь
> 99% инструкции неизменно для всех, потому и ебля с этим бесперспективна
Бредишь, карточка персонажа входит в инструкцию
> Перенос одной строки вниз с указанием от лица какого конкретного персонажа писать по сути, не меняет ответ
Меняет, когда сказано что ты - вот такой чар и идет его карточка, потом "также в чате участвуют: список и карточки" это сильно отличается от просто херни навал и в конце переварачивающее откровение что "оказывается ты это вот он". Да хули, идейные обладатели отсутствия должны страдать, наяривай копиум сколько влезет, только аутотренинг не плоди.
> Автоматическая идея. Дерьмо залагало - понизь нагрузку на него.
Чел, лагает только у тебя. Твоя идея - буквально
> у меня заноза в ноге и мне лень ее лечить, быстро делайте программу принудительной ампутации для всех
никому в здравом уме не придет удалять самое начало истории, которая потребуется чтобы разыграть чат в другой сетке с большим контекстом, или банально чтобы самому прочесть когда захочется продолжить спустя время. А отключение их уже есть.
> Ее ризонинг крайне хуевый и глупый с точки зрения анализа изображений
Ну, я вообще не пробовал это совмещать, и не совсем понимаю, что там должно быть. Ну и модель старая, а нужна новая.
Но сама идея забавна. Жаль, если не удалось.
>>988951
DEEPSEEK-V3 685B??? =D
Для понимания хватит гуглтранслейта. Если язык знал то быстро адаптируешься, если совсем не знаешь - на ютубах есть курсы для хлебушков, есть приложения на телефон и много-много чего и даже бесплатно.
>>988937
Самый простой вариант - групповой чат.
>>988951
Тюны мистраля 123б, люмимейды, магнумы, хуягнумы - для кума сгодится любая и будет хороша.
>>988958
А там нормальных моделей и нету.
>>988977
> и не совсем понимаю, что там должно быть
Как минимум, ризонинг, кот и прочее должны обращаться к деталям изображения. Типа
> а еще я вижу странный продолговатый объект в руках (чарнейм) который она сует между ног... должно быть это sex toy! но раз он зеленый и с пупырышками - наверно огурец.
В qvq оно в начале сренкнет всратым зирошотом и идет вокруг него лупиться, делая минимальные дополнения по изображению и часто просто домысливая левое.
Нормальные модели хорошо срабатывают на дополнительную информацию, например или сразу делая хороший зирошот, или устраивая правильные рассуждения, сначала выделяя основные вещи/находя сказанное, и постепенно накидывая на созданный скелет новые детали, уходя вглубь. Если делать дополнительные запросы с новыми данными и привлекать cot, то они могут работать с условно абстрактными и незнакомыми для них вещами по их описанию, делая ревизию и исправляя ошибки первого запроса с достаточно хорошей точностью. В этом квене такое ожидается с самого первого запроса и на максималках, а по факту лишь пук-среньк и хуже обычных.
Ладно, я знаю что она немного не для таких целей.
Меня другое вызывает НИППОНИМАНИЕ в таверне.
С той-же циоднией или пантеоном. Где пресеты для таверны ? Каждый раз тык-тык а оно хуяк-хуяк и всё.
Постоянно вижу это мини мику, нет эта мику, а это вообще гига мику.
>С той-же циоднией или пантеоном. Где пресеты для таверны ? Каждый раз тык-тык а оно хуяк-хуяк и всё.
>Cydonia
I FUCKING KILL YOU, I SWEAR.
ПРЯМ БЛЯТЬ НА СТРАНИЦЕ
Arsenal (Supported Chat Templates)
Metharme (a.k.a. Pygmalion in ST) for RP / Story
Text Completion for RP
Mistral for Instruct / RP / Story
You can mix it up and see which works best for you.
> амнезия
> девушка
> llama
все теперь понял
да, надо было загуглить))
>покумить на gpt4o
Нетъ, и даже дело не в цензуре, это именно инструмент для всяких производственных и АйТи задач.
>>989033
Вообще не думал что с ламой это какой-то фильм, думал это как 50 раз снять трусы из под комбинезона и силовой брони, первые ллмки и не на такое способны были.
Сука, на пике постер фильма
Название фильма
>я не думал что это фильм
>Шизик, спокнись нахуй, такую херню несешь во всех смыслах.
Шизик, завали ебало если нечего сказать кроме этого
>>988951
Да какой нибудь очевидный мистраль лардж в хорошем 4-5-6 кванте, попробуй магнум версию. Из 70b хвалили ллама 3.3 последнюю. Мол меньше цензуры и тд, но ее все равно нужно будет обходить
>>988876
>Это уже уровень 8В.
Да, но нет. Модели только надрочили писать солидным образом как будто на уровне гпт3.5 и других больших моделей.
8-9б все равно тупее и меньше знают.
Какой нибудь мистраль немо 12б - квен2.5 14b уже норм так, квен2.5 32ь уже солидно так ебёт, 70 еще лучше, но отрыв от 32 уже не такой большой.
В кодинге например квен кодер 2.5 32ь местами на уровне корпоративных сеток предыдущего поколения, и вполне юзабелен для сложных задач. Там даже 7ь из серии кодеров способна в очень хорошую а главное быструю помощь с кодом.
В треде обычно пикрил мнений по 100+B моделям, это про 8-12B каждый третий пост (хотя реалистично модель-то только мистраль лардж) Я лично уже месяца два-три для кума катаю микс бегемота 1.1 и магнума и пока не нашел ничего лучше. В какой-то степени мои ощущения подтверждает ugi лидерборд - судя по всему, наблюдается некая обратная корреляция между интеллектом модели и творческими способностями. Поэтому микс более умного бегемота 1.1 и более творческого магнума вышел удачным. В отличие от микса 1.2, где модель мне показалась глуповатой, а лидерборд это подтвердил (жаль в лидерборде самого микса нет, только составляющие).
Впрочем, до него я гонял чистый магнум v2 и у него в лидерборде метрики тоже хороши.
Щас вот качаю люмикабру 0.4, посмотрим как она...
>В треде обычно пикрил мнений по 100+B моделям
Удивительно, как же так, модели для которых нужны видеокарты под 2.5млн рублей не популярны у анона.