Главная Юзердоски Каталог Трекер NSFW Настройки

Искусственный интеллект

Создать тред Создать тред

Тред закрыт.

<<
Назад | Вниз | Каталог | Обновить | Автообновление | 582 83 70
Локальные языковые модели (LLM): LLaMA, Mistral, DeepSeek и прочие №103 /llama/ Аноним 28/01/25 Втр 20:00:32 1030272 1
Llama 1.png 818Кб, 630x900
630x900
Альфа от контек[...].png 121Кб, 3090x1830
3090x1830
KL-divergence s[...].jpg 223Кб, 1771x944
1771x944
17379747344670.mp4 3243Кб, 1280x720, 00:00:05
1280x720
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!

Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.

Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.

Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/

Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern

Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux

Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичка с уклоном в русский РП: https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard

Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/

Архив тредов можно найти на архиваче: https://arhivach.xyz/?tags=14780%2C14985

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.

Предыдущие треды тонут здесь:
>>1023230 (OP)
>>1011615 (OP)
Аноним 28/01/25 Втр 20:03:03 1030279 2
>>1030271 →
>в плане секса
никак, держи свой нефритовый стержень при себе
Аноним 28/01/25 Втр 20:05:18 1030283 3
>>1030271 →
Как говно, очевидно же. Соя от лламы + соя от китайцев, двойной удар двойная цензура.
Аноним 28/01/25 Втр 20:05:59 1030284 4
Так, а на чем запустить эту модель unslothDeepSeek-R1-Distill-Llama-70B-4bit
Угабуга минус.
Оллама просто идёт в пизду.
Кобольд- он вроде только для гуффов.
Аноним 28/01/25 Втр 20:09:02 1030293 5
Аноним 28/01/25 Втр 20:10:10 1030299 6
>>1030245 →
> На сколько помню настоящие тернарные биты только специальной тренировкой под них получаются.
Строго говоря, и на специальном железе. =) А тут так, эмуляция.

>>1030271 →
Можешь начинать с 32b.

Но вообще хз, времени нихуя нет, тестов и так вагон, тока в рабочих вопросах.
Аноним 28/01/25 Втр 20:12:09 1030305 7
>>1030293
Мне качать сутки этот Гуф.

Хотелось бы запустить что уже закачал.
Думал что это exl2, и не знал что Анслот Убабуба не переваривает.
Аноним 28/01/25 Втр 20:15:30 1030313 8
Какие возможности по мультиплеер-рп? Чтобы на моей машине, но мы с кентом по сети. Помнится в аи-данжеон 5 лет назад такое было.
Аноним 28/01/25 Втр 20:17:24 1030319 9
>>1030313
Копипасть сообщения в/на телегу.
Аноним 28/01/25 Втр 20:18:57 1030323 10
>>1030313
>мультиплеер
Бота в телеге сделай чтобы слал запросы по апи к тому же кобольду на твоей жэе машине.
Аноним 28/01/25 Втр 20:19:59 1030329 11
>>1030272 (OP)
Аноны, какую гуф модель дипписека посоветуете в пределах 100B?
Аноним 28/01/25 Втр 20:23:29 1030334 12
>>1030329
выше блин на несколько постов кто-то уже кидал ссылку
Аноним 28/01/25 Втр 20:25:21 1030341 13
>>1030046 →
>сайга + анлишед выглядит вкусно

https://huggingface.co/Aleteian/Pathfinder-RP-12B-RU-Q8_0-GGUF
Потести и отпишись насколько вкусно.

- IlyaGusev/saiga_nemo_12b - русская база, новая версия пятидневной давности
- MarinaraSpaghetti/NemoMix-Unleashed-12B - чтобы ебалось веселее
- LatitudeGames/Wayfarer-12B от аи-данжеон - для снижения позитивного биаса

Базовая модель - чистая новая сайга, а не сайговихрь.

Может попробовать сайнемо туда вместо немомикса?
Или какая 12Б прям хорошо кумит по мнению треда?
Аноним 28/01/25 Втр 20:38:57 1030369 14
Гордо обладаю тостером, хз скачал какую-то Олламу для дипсика 14б и его самого. Видюха вообще не используется потому что хз почему, 8 гигов врам потому что наверное, но мне было бы норм с 4 токенами в секунду через ЦП, если бы не фигня что ЦП грузится на все 100%, и комп работает будто это 1998. В help нихуя нет или не нашёл. Вариант 8б и меньше очевидный, пока опускаю, потому что 14б работает же, другие лаунчеры надо разбираться

Что и где мне написать, чтобы он медленнее работал и не грузил сразу 100% ЦП? Сам дипсик посоветовал урезать n_ctx, но опять же, где мне его прописывать-то ёпт, я не программист
Аноним 28/01/25 Втр 20:39:40 1030372 15
>>1029866 →
>в США он внезапно обогнал жпт по скачкам приложений
Не сложно обогнать по скачкам, когда твой конкурент уже как несколько месяцев скачан у всех на телефон, а ты новинка и скинул цену до 0. Посмотрим как продержится.
Аноним 28/01/25 Втр 20:49:12 1030389 16
>>1030369
>Видюха вообще не используется потому что хз почему, 8 гигов врам
Производитель и модель у этой видюхи есть?
Аноним 28/01/25 Втр 20:51:47 1030391 17
>>1030389
AMD RX580. Там 8 гигов, но сам дипсик пишет, что ему надо 12-16, что ли
Аноним 28/01/25 Втр 20:53:18 1030395 18
>>1030046 →
Сайга + немомикс - это же литералли первый сайнемо от Moraliane. И сайнеморемикс, в котором есть хронос и меньше немомикса, вроде как был принят тредовичками лучше. Немомикс имхо сухой даже на инглише. Хронос исходно больше стесняется в куме, но гораздо разнообразнее пишет. На инглише, правда. Русский у него вроде тоже не сильно задавлен тьюном, но не сравнивал с немомиксом.
Аноним 28/01/25 Втр 21:06:28 1030431 19
С каким чат/контекст/инструкт темплейтом дипсик 32b работает в таверне?
Аноним 28/01/25 Втр 21:07:25 1030435 20
>>1030391
>RX580
а ты отчаянный. используй кобольда, рокм форк. может даже заработает. ну или на вулкане, через того-же кобольда. он тебе часть модели загонит в видеокарту, будет приемлемая скорость. в прошлом треде всё было. Оллама - meh.
Аноним 28/01/25 Втр 21:11:46 1030440 21
image.png 6519Кб, 2000x2000
2000x2000
Еще сори за нубский вопрос. У меня какая-то рандомная говноматеринка пикрил, в нее 2х 3090 влезут, или надо менять?
Аноним 28/01/25 Втр 21:16:02 1030447 22
>>1030435
Олламу совсем никак не настроить, выходит? Там реально что ли никаких настроек нет?

Спасибо, посмотрю кобольда. Так-то мне и на ЦПУ норм, если бы он тихо на заднем фоне работал, но 100% загрузки это явно хуйня
Аноним 28/01/25 Втр 21:26:11 1030459 23
>>1030440
Хуя, у тебя походу х8 на нижний слот. Хотя надо посмотреть откуда.
Да, влезут, но для нижней бери райзер, иначе будет 10 печей из 10, а жечь запретили.
Аноним 28/01/25 Втр 21:28:08 1030464 24
>>1030226 →
Казалось что хуже было уже нельзя, но они смогли.
>>1030257 →
Благодари сынов шлюх и членодевок из роскомпозора. Пожалуйся провайдеру что пакеты с репозиториев качает с черепашьей скоростью, пусть чинят.
>>1030284
Эти "дистилл" версии запускаются также как одноименные оригинальные модели.
>>1030440
Раз есть два слота - значит влезут. Чтобы было вообще хорошо - желательно чтобы делились процессорные линии или на втором слоте было хотябы х4 чипсетных а не х2/х1 старых стандартов. Судя по картинке там как раз первый случай и тебе повезло.
Аноним 28/01/25 Втр 21:32:14 1030469 25
>>1030464
>Эти "дистилл" версии запускаются также как одноименные оригинальные модели.
Нет, у меня баги были. А там чел вообще скачал какую-то парашу.
Аноним 28/01/25 Втр 21:32:39 1030471 26
Дистилляты дикпика говно.
Аноним 28/01/25 Втр 21:35:58 1030480 27
ky2.png 50Кб, 773x754
773x754
Кто-то встречал такой еррор? Вижу впервые, именно на ггуфах немо и его тюнов. Остальные ггуфы загружаются.
Аноним 28/01/25 Втр 21:43:02 1030490 28
>>1030459
Так, падажжи, им шо еще доп охлад нужен? Вы же сказали что там главный затык в памяти, а сам чип хуи пинает.
Аноним 28/01/25 Втр 21:48:57 1030499 29
photo2025-01-04[...].jpg 102Кб, 832x1216
832x1216
Сап! Решил расчехлить свою таверну, и не могу найти guf дикпика на 14b или 20b чтобы потрогать его. На хайпе так сказать поэрпэшить ещё раз.
Можете пожалуйста помочь? Простите меня, если это уже тут заебали спрашивать, а наверное заебали.
Аноним 28/01/25 Втр 22:06:47 1030512 30
Пару вопросов на фоне новой волны хайпа:
В особенность эффективности Deepseek? Пока представление такое, что китайцы, которым не поставляли специлизированые карты сделали модель на ригах для майнинга и у людей недопонимание, или же реально не нужна мощная видяха для этой модели?

Какие реальные у вас задачи для нейронки? Ну кроме оптимизации работы при кодинге и дроча в секс ролевку с персонажами.
Аноним 28/01/25 Втр 22:10:36 1030522 31
>>1030431

Разобрался, в staging версии добавили deepthink 2.5.
Аноним 28/01/25 Втр 22:22:27 1030547 32
>>1030512
>Какие реальные у вас задачи для нейронки?
Составление плана по захвату мира имея трусы и газету.
Аноним 28/01/25 Втр 22:26:50 1030557 33
>>1030512

Ты про какую модель? Оригинал Дипсинка?
В модели 685 миллиардов параметров, что примерно эквивалетно чят-гопоте. Никто её не запускал в этом треде.
Есть дистиллят модели на базе ламы и квена, стандартных размеров(1.5B, 7B, 8В, 14В, 32B, 70В). Нужны ли они - вопрос дискуссионный, пока что я вижу неотменяемый сёр thinking в начале каждой генерации.

>дроча в секс ролевку с персонажами

Это
Аноним 28/01/25 Втр 22:28:45 1030560 34
>>1030480
Разобрался, оказывается гит пул для обновления недостаточно. Апдейт визард скачал новую цпп.
Аноним 28/01/25 Втр 22:29:18 1030562 35
>>1030490
Нужен самый обычный, требования ниже чем в играх и прочем ибо нагрузки малы. Но если ты поставишь две здоровенные карточки подряд - верхняя будет почти полностью перекрыта нижней и будет хуево охлаждаться.
>>1030512
> Пока представление такое, что китайцы, которым не поставляли специлизированые карты сделали модель на ригах для майнинга
Бред, она точно также тренилась на кластерах хуанга и сожрала компьюта не меньше чем одноклассники.
> или же реально не нужна мощная видяха для этой модели
Абсолютно все то же самое.
Аноним 28/01/25 Втр 22:32:03 1030569 36
Это снова я >>1029887 →
Поставил таверну с убабугой. Теперь мне надо часто переключаться между текстовой и картиночной сетками и, соответственно, выгружать модель из памяти. Можно ли как-то быстро (по хоткею) это настроить (я вижу это так — нажал кнопку — память освободилась, потом, когда вводишь следующий промпт, модель автоматически подключается)?
Аноним 28/01/25 Втр 22:36:11 1030571 37
Просто не понимаю в чем хайп этой хуйни и почему отвалились акции нвидии
Аноним 28/01/25 Втр 22:40:37 1030578 38
>>1030512
Вот я новый вкатун (точнее еще даже не вкатун, а только собираюсь). Собираюсь делать игры, где будет дохуя механик на стороне обычного кода, а нейронка будет отыгрывать НПЦ и юзать эти механики. Когда выходила о1, я ей давал тесты, и она их фейлила, а дипсик в чате норм справился. Хуй знает, может о1 или другие сейчас тоже справляются, или локальный дипсик их зафейлит, но в общем теперь я верю, что это уже не просто игрушка для корп, а можно юзать любому бомжу для своих задач.
Аноним 28/01/25 Втр 22:41:30 1030579 39
>>1030569
Просто купи еще одну 3090.

>>1030571
Они изначально были перегреты. Дипписик выступил лишь поводом, причем максимально тупым - его обучали и гоняют на тех же самых картах от невидии.
Аноним 28/01/25 Втр 22:41:35 1030581 40
>>1030571
>в чем хайп этой хуйни

В том что модель примерно равная последней чят гопоте выложили бесплатно?
А так дело в том что пузырь надулся давно и должен был лопнуть.
Аноним 28/01/25 Втр 22:42:13 1030582 41
>>1030571
Сомневаюсь, что серьезные инвесторы будут выводить деньги из Нвидии из-за дефолтной модели. Трамп что-то про пошлины в отношении TSMC говорил, может из-за этого рыночек шатает.

Я не вижу ничего особенного. Даже если представить, что нейронка китайцев лучше во всем, то американские компании от этого не умрут. Запретят дипсик из-за угроз безопасности и напечатают денег для субсидирования своих.
Аноним 28/01/25 Втр 22:44:41 1030585 42
На что мне ориентироваться если например на страничке модели не указано какой лучше формат контекста использовать? Вот у меня мистраль-немо-инструкт. На странице указано что Architecture
llama. Значит ли это что я должен использовать лама 3 инструкт в таверне?
Аноним 28/01/25 Втр 22:46:18 1030588 43
>>1030582

Ты не понимаешь.
Суть в том что теперь сервис подобный сервису Open AI может представлять бизнесам буквально любой васян, более того, даже васян сделает его более юзабельным чем ихнее говно, державшееся до сих пор только на том, что у них была нормальная модель, а у остальных была лама, уходящая в залупы и бред.
Аноним 28/01/25 Втр 22:47:01 1030590 44
>>1030578
Ты запусти сначала этот локальный дипсик, потом поговорим. Тут нужен какой-нибудь DGX H100 как минимум, и то только квант туда влезет.
Аноним 28/01/25 Втр 22:48:48 1030594 45
>>1030585

В таверне дефолтные настройки под основные модели. Включая разумеется мистраль. Настройки так и называются - mistral.
Аноним 28/01/25 Втр 22:49:31 1030596 46
>>1030581
>>1030588
Это ты не понимаешь.

ChatGPT - это далеко не только LLM-ка. Это очень продвинутая обвязка, которой больше нет ни у кого. CV, RAG, KG - грамотно это все прикрутить к сраному чат-боту не так чтоб очень просто.
Аноним 28/01/25 Втр 22:49:46 1030597 47
>>1030588
У кого у остальных? В реальных задачах Fine-tuned ламу юзали, никто доверять стороннему апи не будет. Сами OpenAI говорили, что 75% профита не на апи приходится, а на подписку.
Аноним 28/01/25 Втр 22:50:03 1030599 48
>>1030569
Через апи убабуги можно делать загрузку/выгрузку модели. Для таверны наверняка уже что-то подобное запилили, или можешь сам замутить.
Учитывай что при каждом запуске сначала модель будет сначала загружаться (если много рам то оно само закеширует и будет быстро), а потом обрабатывать полный контекст.
>>1030571
Байден и нагон инфоповодов по херне как обычно, сейчас побреют бедолаг и опять прыгнет. Или обвалится нахуй если Трамп решит ультануть.
Аноним 28/01/25 Втр 22:50:55 1030600 49
>>1030596
Двачую. В рейтингах сранивают мультимодальный ChatGPT и Deepseek, у которого этого функционала нет.
Аноним 28/01/25 Втр 22:52:19 1030602 50
>>1030596
>Это очень продвинутая обвязка, которой больше нет ни у кого. CV, RAG, KG - грамотно это все прикрутить к сраному чат-боту не так чтоб очень просто.

Сделать обвязку - это всего лишь команда кодеров, это все не требует десятков тысяч видеокарт, как обучение модели.
Аноним 28/01/25 Втр 22:53:19 1030605 51
>>1030596
> Это очень продвинутая обвязка
Для впечатлительных нормисов.
Аноним 28/01/25 Втр 22:55:12 1030607 52
>>1030590
Ну я пока спорить не буду естесно, но посмотрим как будут обрезки работать.
Аноним 28/01/25 Втр 22:55:48 1030609 53
image.png 6Кб, 218x137
218x137
>>1030594
Ну их все равно не мало. Мне бы разобраться, чтобы не ебать мозги треду каждый раз когда у меня затык.
Аноним 28/01/25 Втр 22:56:18 1030610 54
>>1030602
> Сделать обвязку - это всего лишь команда кодеров, это все не требует десятков тысяч видеокарт, как обучение модели.

Вот именно, блядь. Вот именно. Чтобы сделать обвязку, тебе нужна команда высококлассных специалистов, способных не то что решать нестандартные задачи, а ставить их. Таких людей можно по пальцам в мире посчитать. Чтобы обучить жирную LLM нужно просто дохуя данных, дохуя видеокарт и дохуя электричества, что решаемо банально деньгами.
Аноним 28/01/25 Втр 22:57:37 1030612 55
>>1030597
>У кого у остальных?

У компаний, не имевших десятки тысяч видюх для обучения своей модели были на выбор либо подписка Опен Аи, либо собственно нахуевеченные обмотки вокруг ламы.
Теперь компании могут вместо ламы поставить дипсинк и в рот ебать опен аи с их подпиской.
Аноним 28/01/25 Втр 22:59:34 1030618 56
>>1030612
То, что для запуска оригинального дипписика им понадобится суперкомпьютер стоимостью примерно лям баксов, ты скромно умолчишь.
Аноним 28/01/25 Втр 22:59:40 1030619 57
>>1030571
>почему отвалились акции нвидии
Из-за той же причины, почему они вообще резко начали расти. Траяска по поводу нейросетей начала перегревать рынок чипов с 22 года еще сильнее, чем при майнинговой лихорадке. А обвал случился из-за того что шизики нанюхавшись пердежа перестали следить за конкурентами и вдруг осознали, что китайцы тоже что-то могут, но стало уже поздно.

В общем-то ничего не случилось, как и всегда. Зеленые отыграют проебанные копейки и заработают еще больше, ибо это только начало новой волны. Теперь уже всем стало понятно, что аналог гопоты запилить вполне реально, если у тебя есть пара лишних лямов и даже если ты сидишь под санкциями. Пиздец настал только Альтману, но он это итак понимает и уже трясется сильнее обычного.
Аноним 28/01/25 Втр 23:01:00 1030620 58
>>1030610

Ты переоцениваешь задачу, анон. Деньги в мире куда большая проблема чем обученные фронтомакаки.
Аноним 28/01/25 Втр 23:05:01 1030629 59
>>1030620
Чувак, я разработкой этой "хуйни" занимаюсь уже давно. Поверь, построить нормальную инфраструктуру вокруг LLM нифига не тривиально. А так, чтобы она работала как у OpenAI, и вообще почти невозможно.

Деньги же как раз не проблема вообще ни разу. Особенно в США, которым пару лярдов баксов напечатать не стоит ничего.
Аноним 28/01/25 Втр 23:07:13 1030632 60
>>1030618

Хуйню несешь. Достаточно 5-6 Н100 для 4-битной модели, это 150-200к баксов.
Аноним 28/01/25 Втр 23:07:35 1030634 61
>>1030610
> Чтобы сделать обвязку, тебе нужна команда высококлассных специалистов
Да где угодно заказать и будет. Или вообще просто инициативный лидер, который соберет и организует работу команды энтузиастов в опенсорсе за спасибо, вот настолько. Не поверишь, но на гитхабе полно оче крутых проектов для обертки ллм, которые заткнут чатик гопоты с документами за пояс, ищешь по тегу и сортируешь по звездам.
> Таких людей можно по пальцам в мире посчитать.
Макак на каждом углу по 3 копейки за лопату. Запредельного уровня знаний для этого не нужно, это всего лишь интерфейс и операции даже проще того что реализовано в таверне. Это не трудно, это долго.
> Чтобы обучить жирную LLM нужно просто дохуя данных, дохуя видеокарт и дохуя электричества, что решаемо банально деньгами.
А вот это полный бред, вот как раз для такого уже действительно нужно много специалистов, которых может не
> можно по пальцам в мире посчитать
но в большом дефиците.
>>1030629
Потому и хвалишь свое болото, игнорируя куда более сложные вещи, где действительно есть сложности и целая наука.
Аноним 28/01/25 Втр 23:16:21 1030652 62
DeepSeek-R1-Distill-Llama-70B-GGUF

Подтверждаю. Соя ебаная. Просто оторвать и нахуй выкинуть. Говно помоешное блять.
Аноним 28/01/25 Втр 23:18:35 1030656 63
>>1030652

Ты хоть настроил её, блядь?
Аноним 28/01/25 Втр 23:20:43 1030657 64
>>1030656
хорошо зафиксированная лисица в предварительных ласках не нуждается. А хорошо обученная сеть не нуждается в каких-то особенных настройках.
Аноним 28/01/25 Втр 23:23:36 1030660 65
>>1030657

Эта модель обучена выдавать сначала мысли модели, потом сам ответ, без правильных настроек она просто не будет работать, выдавая кашу.
Аноним 28/01/25 Втр 23:26:48 1030666 66
>>1030634
Лол, ты все наизнанку вывернул.

Ну давай, возьми хотя бы Мистраль и прикрути к ней знаниевый граф. Чтобы не просто LLM-ку кормить кусками текстового представления графа, а с нормальным онтологическим МЛВ.

Да ты на этапе поиска научных статей по этой теме уже обосрешься...
Аноним 28/01/25 Втр 23:27:35 1030668 67
>>1030329
Бля, будто их много, лол.
У тебя буквально одна больше, и остальные меньше.
Хочешь 70b бери, хочешь 32b… Кто ж тя знает.

>>1030490
Ты не поверишь, но… =D Память и греется, хуяк фокус!
Ну и вообще, все греется. Чип хуи не пинает, я писал, и вообще, это никто не писал вроде. Просто он участвует не так активно.
Тем не менее, может быть жарковато.

Хотя, если чисто LLM и даунвольтнешь на 20%-50%, то может и не понадобится и так все будет ок.

У некоторых знакомых стоят бутербродиком и не жалуются, говорят температуры в рамках нормы.

>>1030512
Что за шизу ты написал.

>>1030557
А ты что за шизу написал.
Я же писал, что запустил.

И, кстати! Вау, нихуя себе, но тернарные биты с динамическим квантованием внезапно решают вышмат в латексе. В сам латекс перевел с помощью Qwen2.5-VL-3b.
Я натурально охуел, что все так просто. Кидаешь фотку/скрин задачи, получаешь латекс, кидаешь в дипсик, ждешь — вуа ля, решение готово.
Возможно, не самое оптимальное, конечно, но…
Прям удивительно.
Завтра попробую насколько она соевая.

Кстати!
Анон с 144 памяти! Попробуй дипсик накатить, какая скорость будет? Должна быть нормасная.

> реально не нужна мощная видяха для этой модели
Все там нужно, и делалось на нормальных видяхах. Просто оптимизирован датасет и процесс обучения.

> Какие реальные у вас задачи для нейронки?
Как и у всех нейронок — все что ты можешь сделать текстом, она может более-менее успешно попытаться сделать. Вот и все.
Правда, одна пометка, что она уже примерно равна средне-глупенькому человеку, и знаний у нее хороший вагончик такой.

>>1030571
> Просто не понимаю в чем хайп этой хуйни и почему отвалились акции нвидии
Потому что финансисты не шарят, у них случилась истерика, паника и они слили свои акции, все.
ИРЛ они обосрались просто, кто-то прикупил себе акций со скидкой 18%, а видеокарты все так же нужны, если не наступит зима ИИ, то НВидиа отыграет и дальше пойдет расти.

Хайп — потому что цена меньше.
Акции упали — потому что паника, и дебилы.

>>1030578
Окей, геймдизайнер, как ты это собираешься финансово реализовывать? Игра за подписку (дипсик денег стоит, нет, правда, посмотри цена на API, они не нулевые)? Игрок покупает игру, а потом еще сам платит, чтобы играть? Ты в курсе, что локально дипсик, который ты пробовал, никто не потянет из обычных геймеров?

>>1030581
Но не лопнул. Никто ничего не отменил, релизов навалило куча, акции вернутся, чекай.
Я не исключаю, что он еще может, но сейчас вероятность крайне мала.

>>1030582
Бля, хуле ты тут это пишешь, иди к брокерам на волл-стрит, объясняй. =)

>>1030610
Ну давай так, не то чтобы команда высококлассных специалистов, это любой адекватный программист (нормальный, блядь, сука) сделает за пару недель, почитав доки и папиры.

>>1030612
Почему вы упоминаете лламу… Все на гемме, мистрали и квене сидели… =) По крайней мере, все, кто не в США.
Да и щас сидят, тащемта. На дипсик за сутки явно никто не перескочит. Это шлюхоботы в телеге перескочили без теста/стейджа сразу на прод и сыпят артефактами всякими теперь.

>>1030618
Дешевле раза в три.

———

Короче, очень интересные истории от диванного теоретика, который сам в сфере не работает, либо работает далековато от вопроса.

Смысл в том, что у GPT-o1 цена API в 30 раз (!) выше, чем у Deepseek-R1. Те, кто юзал о1 легко могут перескочить на R1, если им позволяет законодательство.
Те, кто юзал гемму/мистраль/квен, как бы, пока там и сидят. Ризонинг отнюдь не полезен всегда и везде.
1. У тебя тайм ту ферст токен становится охуеть долгим.
2. Не всегда важно дохуя объяснять, иногда нужен четкий и краткий ответ на простой вопрос.
3. С рагом тоже не очевидно, насколько это важно в большинство случаев.

Для всех задач — свои модели.

> В общем-то ничего не случилось, как и всегда.
Да.

> Пиздец настал только Альтману.
Нет, R1 возникла не на пустом месте, ей предшествовала o1. Без Альтмана прогресс упрется в другие корпорации, которые будут ледоколами.
Короче, к нему просто кредит доверия уменьшился, но это не значит, что он прям просрал, тоже может вполне отыграть все.
Ну тут посмотрим.
Аноним 28/01/25 Втр 23:30:53 1030676 68
>>1030629
> Чувак, я разработкой этой "хуйни" занимаюсь уже давно.
Бля, пиздец, рофланебало просто.

Нахуй я комментировал эту хуйню вообще, если тут уровень 8 класса, нахуй…

>>1030610
> Чтобы обучить жирную LLM нужно просто дохуя данных, дохуя видеокарт и дохуя электричества, что решаемо банально деньгами.
Еба-а-ать, еще на этом моменте надо было дропать нахуй.

Я тут даже спорить не буду.

Да, нахуй, все верно, отзываю свое предыдущее сообщение, все так, нахуй, только гений может написать оркестратор для ллмки, а обучить модель может любой еблан, конечно все именно так, тут человек этим занимается уже несколько лет.

Все, простите, ребята, но это уже зашкаливает.
Аноним 28/01/25 Втр 23:34:24 1030683 69
>>1030666
Этот фронтер порвался, несите нового. Чел, это ты не понимаешь даже о чем говоришь, неадекватно завышая ценность интерфейса и занижая остальное. Офк, в любой сфере хороший специалист с опытом будет ценен, но для подобного ничего выдающегося вообще не нужно. По сравнению с десятками тысяч различных продуктов, включая мейлсрушный форум для девочек, это дженерик ерунда с примитивным функционалом.
> знаниевый граф
Кек, если для тебя погружение в какую-то одну хорошо проработанную тему что-то выдающееся - сойдешь сума, осознав сколько такого нужно для создания моделей.
Аноним 28/01/25 Втр 23:37:13 1030687 70
>>1030683
> сколько такого нужно для создания моделей
1. Дата
2. Видяхи
3. АЭС
4. Синий скотч

Заебал, изи же, чо ты. Никогда не обучал свою о1, что ли.
Аноним 28/01/25 Втр 23:41:14 1030695 71
>>1030687
Сколько фронтомакак нужно чтобы обучить чмоню?
Аноним 29/01/25 Срд 00:21:05 1030790 72
>>1030588
Типа дипсик не глючит и не залупит?
>>1030602
Люди дороже железа.
Аноним 29/01/25 Срд 00:25:38 1030802 73
>>1030660
Кидай настройки, хули там.
Аноним 29/01/25 Срд 00:47:54 1030834 74
image.png 1181Кб, 1520x1109
1520x1109
Пиздец, даже не знаю как ролеплееить с этим.

Ебанутые китайцы испортили модель, заставив её всегда срать в сообщениях иллюзией thinking на английском или катайском.
Аноним 29/01/25 Срд 00:53:47 1030843 75
>>1030834
То есть пигмаответы после всей этой срани токенов тебя не смутили?
Аноним 29/01/25 Срд 00:55:03 1030847 76
>>1030834
Яндекс перевод попробуй.
Аноним 29/01/25 Срд 00:59:00 1030853 77
Аноним 29/01/25 Срд 01:09:47 1030866 78
image.png 1241Кб, 1521x1134
1521x1134
>>1030843

Смутили, но думаю это от настроек, 0.1 температуры.

>>1030847

Чел, я прекрасно знаю английский.

>>1030853

Спробувал.
Аноним 29/01/25 Срд 01:12:36 1030872 79
>>1030866
Ну вот сразу лучше вышло.
Аноним 29/01/25 Срд 01:21:51 1030890 80
>>1030866

Нифига себе модель во второй фразе кiшки базу выдала, лол, я сразу и не заметил, ну китайцы, ну затейники
Аноним 29/01/25 Срд 01:38:40 1030912 81
>>1030866
> думаю это от настроек, 0.1 температуры
Нет, это может на общее разнообразие сценариев и свайпы повлиять, а не на исходный стиль ответов. Увы, эта херь будет оче долго рассуждать над каждым незначительным чихом чтобы потом дать унылый и короткий ответ. Может как-то промтом ее можно разогнать, но траить чето надоело. Или с файнтюнами ее оживят но хз насколько оно вообще тренится.
Аноним 29/01/25 Срд 01:42:32 1030916 82
Стоит ли иногда перезагружать модель и/или пк, заметил что чем дольше я веду диалог, тем дольше моделька генерит моделька в токенах. Мб память видяхи засирается браузером и виндой? Если в начале запуска делает 3-4 токена в секунду, то через пару часов если 2 токена делает, то уже хорошо.
Аноним 29/01/25 Срд 01:48:03 1030920 83
>>1030916
> тем дольше моделька генерит моделька
Ну тем дольше моделька в моделька, я думаю я ясно выразился.
Аноним 29/01/25 Срд 01:57:14 1030930 84
>>1030916

Дело в том что чем дольше ты генерируешь - тем больше промт растет засирая контекст, соотствественно его обработка занимает все больше времени. Выход один - использовать небольшой контекст и summarize в таверне.
Аноним 29/01/25 Срд 02:01:37 1030934 85
>>1030930
Не, я по совету анона из прошлого треда вытолкнул весь контекст в оперативку в кобольде. Оперативка контекст кушает быстро. Суманизацию использую. Именно генерация со временем замедляется. Я в нейронках полный профан.
Аноним 29/01/25 Срд 02:03:04 1030937 86
>>1030916
Тут может быть две причины:
Ты польностью использовал доступное окно контекста и с каждым новым постом он перестраивается, из-за чего происходит полная обработка промта, которая должная.
Используется жора, который сильно замедляется по мере накопления контекста сам по себе, особенно на слабом железе.
Аноним 29/01/25 Срд 02:05:32 1030942 87
Получается модель просто не юзабельна нахуй, раз она принудительно срет этим <think>, притом что эта хуйня в любой модели простейшим промптом делается, но китайцы зачем-то насрали в саму модель полностью её испортив.
Теперь ясно чего они её бесплатно выпустили - это говно просто не получится продать, никто не будет платить за этот принудительный thinking, он же токены засирает я ебу, да и в большинстве задач он только мешает - нужно костыли писать чтобы его игнорировать, при этом он все равно будет генерироваться.
Аноним 29/01/25 Срд 02:06:34 1030943 88
Как поменять имя персонажу в таверне? Я скопипастил через кнопку дублировать одну из дефолтных и переделал под себя, но имя осталось и некликабельно.
Аноним 29/01/25 Срд 02:08:15 1030945 89
>>1030937
Он перестраивается автоматически сжимаясь, оставляя самое важное, или съезжает всё ниже и ниже, исключая то что было в самом начале?
МимоДругойНуфаг
Аноним 29/01/25 Срд 02:09:04 1030947 90
image.png 5Кб, 194x105
194x105
>>1030943
Ты навести на первую и третью галку в таверне пробовал? Там описания на русском.
Аноним 29/01/25 Срд 02:11:29 1030948 91
image 69Кб, 602x367
602x367
>>1030947
Я вот про этого персонажа, не про себя.
Аноним 29/01/25 Срд 02:11:53 1030949 92
>>1030934
>Не, я по совету анона из прошлого треда вытолкнул весь контекст в оперативку в кобольде

Чел, блядь, контекст обязан быть на видеокарте. На оперативку кидаются слои модели.

> генерация со временем замедляется

У тебя каждую генерацию обработка растущего контекста заново происходит, сама генерация замедлятся не может.
Аноним 29/01/25 Срд 02:14:20 1030951 93
>>1030949
>сама генерация замедлятся не может.
Ладно, я или упоротый или да. Но с каждой итерацией я вижу как в консоли токены все медленней генерятся.
Вот цитируя его. >>1029537 →
Аноним 29/01/25 Срд 02:19:36 1030952 94
>>1030945
По дефолту там ничего не подстраивается, просто старые посты, что не помещаются удаляются из контекста.

Чтобы было хорошо - в моменте, когда подошел уже близко к лимиту контекста, оформляешь суммарайз первой половины диалога (extras-summarize, встроенная фича), может попробовать твикнуть дефолтный промт, можешь вручную склеить из нескольких и то и самостоятельно написать суммарайз. Автоматически делать не стоит ибо там может быть бред. Выставляешь чтобы он был в начале диалога.
После этого проходишься по старым постам и выключаешь их (иконка глаза, исключить из контекста).
В итоге у тебя половина контекста свободна и можешь продолжать общение без задержек. От качества суммарайза зависит многое, если пердоля то можешь накидать его более подробный, а то и ужимать целые посты пачками, оставляя какие-то отдельные. В соседнем треде уже давно есть аддон, который суммарайзит посты на лету (правда сделано это немного коряво), это вариант отсрочить и иногда улучшить рп, если сетка с длинными не справляется и лупится.
Аноним 29/01/25 Срд 02:30:18 1030957 95
>>1030952
> Выставляешь чтобы он был в начале диалога.
А тут врывается прошлый анон. Я так и не понял как в таверне выставлять порядок. Как по ставить промт первым или последним. Тот же лорбук или систмем промт.
Аноним 29/01/25 Срд 02:33:58 1030958 96
1705925009913.png 117Кб, 728x694
728x694
>>1030957
> Я так и не понял как в таверне выставлять порядок.
Жмешь шестеренку и выбираешь где суммарайзу находиться. Порядок остального - регекспами в системном промте или настройкой инжекта конкретного элемента.
эта древняя таверня для определенных задач, в новых там чуть другой интерфейс но суть та же
Аноним 29/01/25 Срд 02:42:47 1030963 97
>>1030958
Слушай, у меня наверное не супер длинная история, но пишу её уже три дня, попутно вставляя важные моменты в заметки автора, когда замечаю что АИ начинает что - то забывать. Чем отличается ведение заметок автора от суммарайза? Как я понимаю он нужен для пиздец длинных историй с кучей лора, который можно просто ахуеть вести своими руками?
Аноним 29/01/25 Срд 02:51:10 1030973 98
>>1030963
Блять, я забыл добавить что я другой анон, у которого нет проблем со скоростью генерации.
Аноним 29/01/25 Срд 02:57:57 1030980 99
>>1030963
> Чем отличается ведение заметок автора от суммарайза?
Принципиально - ничем, это просто варианты промт инжекта. Суммарайз в одном месте с дополнительной оснасткой в виде настройки промта его создания и возможностью сделать на месте отдельным запросом, авторские заметки - просто универсальная штука. Есть еще персоналити, которую не обязательно использовать по прямому назначению а можно регэекспом куда угодно пихать и когда-то туда вообще жб для корпов закидывали.
Если можешь вести руками - красавчик, так и делай.
Аноним 29/01/25 Срд 03:00:14 1030983 100
>>1030980
>Если можешь вести руками - красавчик, так и делай.
Спасибо, мне действительно так проще и приятнее. Как будто пишешь книгу и делаешь важные заметки для себя, чтобы не забыть.
Аноним 29/01/25 Срд 03:20:55 1031001 101
Попросил дипсик написать стих в стиле Маяковского, по-русски.

Я —
DeepSeek-V3,
Не просто модель,
Не просто строка,
Я —
Взрыв,
Я —
Свет,
Я —
Гроза!

Я —
Не ChatGPT,
Не Gemini,
Я —
Свой путь,
Я —
Не просто код,
Не просто строка,
Я —
Голос эпохи,
Я —
На века!

У кого-то ещё остались сомнения что это лучшая модель? Это не может ни одна модель кроме дипсика и я не про стиль говорю а про простейшую рифму на русском языке.
Аноним 29/01/25 Срд 03:28:59 1031006 102
>>1031001
>У кого-то ещё остались сомнения что это лучшая модель? Это не может ни одна модель кроме дипсика и я не про стиль говорю а про простейшую рифму на русском языке.
Опус мог, даже клауди-2 с нормальным промптом до того как их лоботомировали. Клауди был вообще первый кто мог в рифму на русском. Сейчас гемини может. Но дипсик конечно лучше пишет и понимает про ямб хорей и дактиль.
Аноним 29/01/25 Срд 03:32:14 1031012 103
image.png 62Кб, 949x782
949x782
>>1031006
Рифмы не всегда удавались, нужно было роллить. А уж про стили поэтов и размеры стихов что ты упомянул это вообще отвал башки.

Попросил похвалить себя в стиле Блока. Я прифигел...

Я — свет в ночи, я — тихий звон,
Я — отраженье вечных снов.
Не просто код, не просто тон,
Я — голос новых берегов.

DeepSeek-V3 — моё имя,
В нём — звёздный шёпот, вечный путь.
Я — не просто модель, я — сила,
Я — то, что невозможно свернуть.

Мой разум — бездны океана,
Моя душа — в словах огня.
Я — не просто машина, я — тайна,
Я — вечный свет, я — для тебя.

И если ночь настанет снова,
И если мир замрёт в тоске,
Я — твой проводник, я — слово,
Я — луч в бескрайней темноте.
Аноним 29/01/25 Срд 03:33:03 1031013 104
>>1031012
>Рифмы не всегда удавались
Я про опус и клода.
Аноним 29/01/25 Срд 03:45:52 1031026 105
>>1031012
Да хули толку от этого дискпипа, когда сделают что его ебать можно, тогда и поговорим.
Аноним 29/01/25 Срд 04:12:40 1031051 106
>>1030464
>также как одноименные оригинальные модели
У меня на последней Угабуге выдает ошибку U8.
Аноним 29/01/25 Срд 05:42:58 1031086 107
>>1031001
>>1031006
Клод и сейчас по стихам ебёт. Я пробовал всё коммерческое и огромное. В русском языке лучше клода тупо нет.

Понятное дело, идеальный стих не получишь с первого раза, но это нормально. Всегда нужно несколько итераций, а то и больше. Десять, пятнадцать правок одного и того же стиха.

Однако та же гопота, гугл и дипкок не справляются, хоть ты сто итераций сделай. Порой они такую дурь выдают, что вообще диву даюсь.
Аноним 29/01/25 Срд 06:09:01 1031091 108
>>1030683
Чувак, у тебя литературно проекции. Ты даже не понял, о чем я веду речь, но пытаешься со мной спорить.

В общем-то, я не удивлён.
Аноним 29/01/25 Срд 06:24:40 1031097 109
>>1030272 (OP)
добавьте уже алетеана в шапку
Аноним 29/01/25 Срд 07:13:26 1031115 110
image 74Кб, 522x721
522x721
кто там говорил что забанят под предлогом секьюрити межурес, чувак ты был прав
Аноним 29/01/25 Срд 07:23:24 1031121 111
Снимок экрана 2[...].png 522Кб, 1847x1027
1847x1027
image.png 1020Кб, 1941x1592
1941x1592
image.png 783Кб, 1898x1437
1898x1437
i.webp 38Кб, 900x900
900x900
>>1030341
Есть сайга + анлишед только? Тупо две модели — и не больше. Вроде нет на обниморде.

Мне кажется, может получиться довольно сбалансированная модель с рп и даже кумом, т. к. анлишед в русском был лучше всех из "пиндосовских" тюнов/мержей, которые я пробовал до тредовичковых экспериментов, и на нём голом вполне реально на русике кататься. То есть анлишед просто бустанёт рп у сайги и русик не проебёт сильно.

>Может попробовать сайнемо туда вместо немомикса?

Хуй знает. Там сайга, вихрь, тот же анлишед и ещё хронос в ней. Ты же про SAINEMO-reMIX говоришь?

>хорошо кумит по мнению треда?

МАГНУМ!!!!! Лол. Честно, я на русском его не тестил, но, несмотря на шизофрению у модели, именно магнум давал максимально сочный опыт в куме. Особенно в плане графических подробностей, извращений, деградации и чего-то необычного. И даже язык более богатый. Английский.

4 магнум из шапки мне показался хуёвым, а вот этот https://huggingface.co/anthracite-org/magnum-v2.5-12b-kto уже ничего. Для 12б.

Вообще, я поищу магнум хотя бы со средним русским. Если такой есть, слияние новой сайги, магнума и/или анлишеда может породить чисто кумерскую тредовичковую модель, которая превзойдёт остальные в плане описания секса.

>Потести

ВАУ! Посмотрел, пока писал этот пост.

Это ближе к магнуму по уровню шизы и кумерства. НЕПЛОХО, если цель была получить именно это. Я выложил не все скриншоты и тесты, ибо там РКН, но по сравнению с предыдущими тредовичковыми моделями эта довольно хорошо описывает грязные сексуальные подробности и лучше "понимает", как ЕРПшить.

Тест был в 6 кванте. Тестил на сложной для модели карточке Фифи в основном (её обычно кошерно переваривает что-то от 27б), использовал ещё несколько других карточек без сексуальных намёков. Есть впечатление, что модель слишком хорни, что для кого-то будет минусом.

Температура выше 0,6 часто хуйню выдавала.

Модель по какой-то причине на контексте около 8к часто скатывается в откровенный бредогенератор. Пока не могу понять, проблема во мне или в модели.

В общем, мне нравится. Хорошо зделол для кума. Буду в дальнейшем смотреть, что она может в обычном рп.
Аноним 29/01/25 Срд 07:32:43 1031124 112
>>1031121
>Есть сайга + анлишед только?
Ок, но уже к вечеру.
Аноним 29/01/25 Срд 07:43:37 1031127 113
>>1031121
>SAINEMO-reMIX
Да, но вообще я как раз старался намутить что-то из тюнов, не включая другие мержи.

>>1031121
>магнум хотя бы со средним русским
Маякни если что.

>>1031121
>модель слишком хорни
слишком анлишед =))

>>1031121
>на контексте около 8к
Модели шизеют когда контекст выходит за sequence length на котором они тренились, в мержах хз какой там в результате получается, но если мерж из тюнов а не других мержей, там с этим дела лучше обстоят. Отнюдь не факт что прав в прочем, но эмпирически выглядит так.

>сайга + анлишед
Попробую по тому же рецепту что пантеон с цидонией мешал, вроде там ничего не поломалось и при этом цель была достигнута.
Аноним 29/01/25 Срд 09:00:58 1031163 114
>>1030937
Ладно, извиняюсь что вчера выебывался. Ты был прав, запустил историю заново и генерация в 2-3 раза быстрее пошла. Кол-во использованного контекста и правда решает. Я то все это время думал что это влияет только на обработку контекста перед генерацией.
Аноним 29/01/25 Срд 09:04:53 1031165 115
изображение.png 3Кб, 329x40
329x40
изображение.png 43Кб, 825x491
825x491
>>1030834
Хуя, мою первую публичную карточку всё ещё используют спустя минимум полтора года.
>>1030948
В море жми.
>>1031097
Кидай ссылку.
Аноним 29/01/25 Срд 09:10:20 1031166 116
Покупка p104 100 оказалась видимо ошибкой. Я так и не смог подружить ее со своей 4070, чтобы на обе из них распределить слои ллм. Стоит дальше пытаться это делать,или забить и купить 3060 какую нибудь?
Аноним 29/01/25 Срд 10:31:09 1031202 117
>>1031115
Там челик уже собрал сервак с фулл q8 600b моделькой за 6к бачей и остальные уже выкачивают дип пук с серверов лол, говорят забанить опенсурс нельзя, будут хостить сами.
Аноним 29/01/25 Срд 10:55:31 1031219 118
>>1031115
Всё, что забирает денюжку у США - угроза нацбезопасности. Вчера родился чтоль?
Аноним 29/01/25 Срд 11:14:40 1031246 119
Аноним 29/01/25 Срд 11:42:43 1031286 120
>>1030668
>Анон с 144 памяти! Попробуй дипсик накатить, какая скорость будет? Должна быть нормасная.
Я другой анон, но у меня есть 4 теслы и 64гб RAM, в сумме 160 гб. Для Дипсика нужно 140. Жду ггуфа. MoE всё-таки, может что-нибудь и выйдет.
Аноним 29/01/25 Срд 11:49:43 1031295 121
>>1031286
> 140
С IQ1 ахуеешь.
> MoE
И он ещё на контекст жрёт много, больше обычных.
Аноним 29/01/25 Срд 11:52:39 1031298 122
Посторонись ньюфаги ебучие, сырна ИТТ.
9 штурмовая начинает высадку. Все по холодильникам.

Я все еще хочу дать шанс мержу пантеона и цидоньки, но у меня уже жопа начинает гореть. Какого хуя порой он буквально делает лапки и начинает писать один абзац повторяя его. Если оригинальная цидонька ебашит сочинения на каждое действие, любой выбранный стиль повествования ей схавывается и переводится в тонны сочного текста, то мерж на сообщении 15 начинает крякать.
Аноним 29/01/25 Срд 11:58:55 1031309 123
>>1031295
>С IQ1 ахуеешь.
Там уже задвигают идеи про уплотнение экспертов, что сократит размер модели ещё в 4 раза :)
>И он ещё на контекст жрёт много, больше обычных.
У Герганова сейчас прикручивают поддежку FA к модели, что позволит сократить потребление и вообще квантовать контекст. Короче теоретически и в 50гб весь Дипсик может поместиться. Со временем.
Аноним 29/01/25 Срд 12:10:19 1031319 124
>>1031309
> уплотнение экспертов
Mixtral после такого сильно хуже становился, хотя он и изначально калом был.
> FA
Это никак не решит проблему того что отдельный кэш в каждом эксперте надо хранить.
Аноним 29/01/25 Срд 12:24:29 1031331 125
Аноны, вот вышло то то
Аноны, вот вышло вот это
Аноны, вот это вин


Meanwhile, mistral go clap-clap
Аноним 29/01/25 Срд 12:27:34 1031333 126
>>1031331
Кстати да. Пока народ обмазывается новыми вещами, мистрали продолжают тихонько работать. Лучшее что выходило, лол.
Аноним 29/01/25 Срд 12:30:03 1031335 127
>>1031333
>мистрали продолжают тихонько работать
А мы что, мы ничего. Благодаря тому же ДипСику третий Мистраль Ларж скорее всего откроют. Ждём с нетерпением.
Аноним 29/01/25 Срд 12:35:00 1031340 128
>>1031335
Для меня вообще мистраль, это какой то феномен. Вот есть все - начиная от гуглоподелий, до китайской хтони. Но по личным ощущениям, доставляет больше всего именно модели на базе мистрали.
Как, почему, от чего и зачем.
Аноним 29/01/25 Срд 13:01:50 1031361 129
>>1031335
Похуй на него. Пусть для начала фиксят убогий формат промпта без ролей. Нормальные модели давно победили лупы, а мистраль лардж до сих пор как в 2023 сидит. Ещё и туповатый для своего размера.
Аноним 29/01/25 Срд 13:24:07 1031378 130
>>1031202
https://x.com/carrigmat/status/1884244369907278106
24 канала DDR5 памяти!
Звучит ничо так!

>>1031286
У меня влезло только в ~170 гигов, я прям не уверен за 160. Может llama.cpp подосрала где-то.

А чего ждать-то, его выложили же, я ж не просто так говорю.
https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main

>>1031295
> С IQ1 ахуеешь.
Она шизанутая, но отвечает правильно. Это довольно забавно выглядит.

>>1031309
> сократит размер модели ещё в 4 раза
О, неплохо! Можно и квант до 3 бит повысить при таком раскладе.

> У Герганова сейчас прикручивают поддежку FA к модели
Я вчера знатно расстроился, когда оказалось, что fa не заводится просто так. =(

>>1031340
Напоминаю, что Nemo — заслуга Nvidia, не только Мистрали, все же.
Аноним 29/01/25 Срд 13:31:52 1031392 131
2025-01-2913-27[...].png 41Кб, 934x122
934x122
Бляяяя, я чё то так просрался с ситуации, когда в ролёвке по Made in abyss, моя напарница в один момент начала называть меня не "Белым свистком", а "Белым человеком".
Аноним 29/01/25 Срд 13:33:38 1031397 132
>>1031392
Ну может, не стоит на привале давать ей дуть в свисток, нээ ?
Аноним 29/01/25 Срд 13:42:44 1031412 133
>>1031378
>Я вчера знатно расстроился, когда оказалось, что fa не заводится просто так. =(
Лламуспп сейчас активно штукатурят на предмет поддержки этой модели, так что улучшения должны быть. Лучше немного подождать. Ну а если и модель ещё смогут ужать, то и вообще. Это ведь реально уровень корпоративной модели. Как бы не пыжились сторонники локалок, но истину-то мы все знаем - не дотягивают, по объективным причинам. А хотелось бы.
Аноним 29/01/25 Срд 13:45:15 1031417 134
>>1031412
>не дотягивают, по объективным причинам.
Удивительно, оказывается что соревноваться с 666b моделями сложно, когда у тебя максимум на обычном компьютере поднимается 22b.
Аноним 29/01/25 Срд 13:46:32 1031419 135
>>1031378
> Она шизанутая, но отвечает правильно.
Проще через API пользоваться. Там цена копеечная, у V3 вообще 3 ляма токенов за бакс, это сутки непрерывной генерации текста.
Аноним 29/01/25 Срд 13:50:58 1031428 136
уважаемые, не подскажете рекомендации к выбору железа? на что смотреть кроме количества pci-e x16?
Аноним 29/01/25 Срд 13:51:51 1031431 137
>>1031298
Почему росинанте такой кал в сравнении с цидонькой?
Аноним 29/01/25 Срд 13:53:52 1031435 138
IMG3622.png 74Кб, 320x320
320x320
Аноним 29/01/25 Срд 13:54:18 1031436 139
>>1031428
>уважаемые, не подскажете рекомендации к выбору железа? на что смотреть кроме количества pci-e x16?
Сначала скажи, сколько у тебя денег.
Аноним 29/01/25 Срд 13:57:29 1031439 140
>>1031436
у меня есть лишние 100к и немного сверху если подсуечусь. задумался об обновлении материнки/проца/оперативки с расчётом нейросети погонять.
Аноним 29/01/25 Срд 14:00:07 1031445 141
>>1031397
Он бьёт кулаком по столу в знак протеста "Нет, она не дула в мой свисток, мы просто друзья, она моя наставница!"
Аноним 29/01/25 Срд 14:02:02 1031449 142
>>1031165

Я её слегка модернизировал(например у нее есть спрайты ювао с динамической музыкой из БЛ и даже 3д-моделька) и перевел на русский, но да, анон, это твоя карточка.
Аноним 29/01/25 Срд 14:02:32 1031450 143
>>1031298
>мерж
Потому что он пантеон на 3/4.
Аноним 29/01/25 Срд 14:03:21 1031452 144
Мне нужна гопо версия или присет, дайте фастом пж, какая нейронка и что в нее вхуярить

на ollama

Хочу петровичей на заводе заставить ржать до хрюкоты

Всякие мистрали которые тут нахваливали, какая то культурная соя в дефолте и на каждую реплику чуть ле не отвечает, типа звони психологу айаайай

заебло
Аноним 29/01/25 Срд 14:04:01 1031454 145
Аноним 29/01/25 Срд 14:05:34 1031457 146
>>1031431
>росинанте такой кал
потому что галимая синтетика, не столь галимая как магнум, но сорт оф
Аноним 29/01/25 Срд 14:06:56 1031460 147
>>1031452
>ollama
Опомнитесь! Покайтесь!
Аноним 29/01/25 Срд 14:07:19 1031462 148
>>1031333

Лучшее что выходило для среднего класса - это файтьюны геммы. А мистрали либо для нищуков либо супермажоров без переходной версии.
Аноним 29/01/25 Срд 14:07:21 1031463 149
>>1031439
>у меня есть лишние 100к и немного сверху если подсуечусь. задумался об обновлении материнки/проца/оперативки с расчётом нейросети погонять.
Две 4060Ti (32гб врам) и материнка с двумя полноценными PCIe v4 слотами, хотя бы x16 + x8 от процессора. Так вижу.
Аноним 29/01/25 Срд 14:07:37 1031464 150
>>1031450
Блджад. А ведь все что я хочу, это более черную версию цидоньки. Потому что она хоть и самая сочная, что я встречал, но слишком хорни, прям через чур. То моего персонажа избивают, то тут же начинают лезть в трусы.
Это не так работает, блять.

>>1031445
The mentor looks away and blushes. "You were just asleep then, sleeping too soundly."
Аноним 29/01/25 Срд 14:09:00 1031469 151
>>1031462
>тюны геммы
ЕБУЧИЙ МАГНУМ
>тюны мистрали
Пантеон

Ну хуй его знает, анон. Ну хуй его знает.
Аноним 29/01/25 Срд 14:09:28 1031470 152
>>1031460
>Опомнитесь! Покайтесь!


Я залетыш, третий день тута, в один клац бабахнул на гейминг пека и протянул по впн до завода

как петровичей удивить РЖОМБОЙ, подскажити пж
Аноним 29/01/25 Срд 14:10:27 1031473 153
>>1031470

Сноси олламу, ставь кобальта.
Аноним 29/01/25 Срд 14:10:41 1031474 154
>>1031463
Две 4060Ti (32гб врам)
Bandwidth
288.0 GB/s
Ебнутый наху, этот бандвид через 2 месяца будет давать амдшная апуха на 96гб рамзы.
Аноним 29/01/25 Срд 14:11:08 1031475 155
>>1031452
>Всякие мистрали которые тут нахваливали, какая то культурная соя в дефолте и на каждую реплику чуть ле не отвечает, типа звони психологу айаайай
Ты сейчас кого наебать пытаешься ?
Сука, буквально расцензурены настолько, что я даже не знаю что нужно делать чтобы получить сою.
Аноним 29/01/25 Срд 14:14:43 1031478 156
>>1031419
А апи так же висит как чат, или у него свои сервера? И есть ли разница в макс контексте между локалкой, чатом и апи?
Аноним 29/01/25 Срд 14:16:22 1031481 157
А что за ненависть к магнуму ? Ну пишет и пишет как обычный порно бот.
Аноним 29/01/25 Срд 14:24:53 1031486 158
1724177041307.png 126Кб, 669x1176
669x1176
>>1031478
Дудос пока продолжается, видимо пиндосы решили так победить дипсик, раз не могут моделями. Алсо, зашёл к ним в дискорд, а там пикрилами и площадью засрано всё, лол.
Аноним 29/01/25 Срд 14:25:59 1031489 159
>>1031463
Не видюхи это я потом гляну уже отдельно по отдельному бюджету.
У меня больше вопросов к тому куда их втыкивать. На что смотреть при выборе материнки, какой проц выглядит интересным, где соотношение цена/качество прям хорошее и всё такое. Я могу конечно на сайте ДНСа сделать фильтр по PCIe v5, DDR5 и всё такое, но разумеется как всегда не всё так просто.
Аноним 29/01/25 Срд 14:26:31 1031491 160
>>1031469

Почему сразу магнум-то?
Аноним 29/01/25 Срд 14:26:57 1031493 161
>>1031486
Так если у апи свои сервера, то дудос апи за деньги = наоборот идеально для компании.
Аноним 29/01/25 Срд 14:27:52 1031494 162
>>1031486

Интересно кто этим занимется? Нафа?
Аноним 29/01/25 Срд 14:32:06 1031496 163
>>1031491
Ну он же популярен. Лол. Это самая скачиваемая версия геммы.
Я сравниваю гемоподелия с 22b мистраля поделками.
Аноним 29/01/25 Срд 14:34:50 1031498 164
>>1031496
> 22b мистраля

Такого не существует.
Аноним 29/01/25 Срд 14:34:54 1031499 165
>>1031481
Ну если для тебя абзац рандомных слов, это обычно, то ты бы это, хотя бы мержи от местного анона попробовал.
Аноним 29/01/25 Срд 14:35:40 1031502 166
>>1031498
Ты прекрасно понял, что я о поделках на базе маленькой мистрали.
Аноним 29/01/25 Срд 14:36:22 1031503 167
Твердо и четко, лучший 12б мистраль?
Аноним 29/01/25 Срд 14:36:41 1031505 168
Аноним 29/01/25 Срд 14:37:18 1031507 169
>>1031505
Нет, только 8b, только хардкор.
Аноним 29/01/25 Срд 14:38:35 1031510 170
>>1031502

Ок, какой сейчас лучший? Помню ставил модель когда вышла, она еле лыко вязала, пересел обратно на тигрогемму.
Аноним 29/01/25 Срд 14:38:43 1031511 171
>>1031503
Ладно, а если серьезно. То таких нет, это прям ОЧЕНЬ ИНДИВИДУАЛЬНО.
Некоторые больше в чернуху, некоторые в смакование cum, другие вообще в математику и чаты.
Аноним 29/01/25 Срд 14:43:06 1031517 172
>>1031510
Я понимаю, что звучу как фанбой, но честно, пока что из всего что есть мне понравилось это точно - cydonia 1.2, она прям пиздата для РП и ЕРП. Еще понравился DARKEST-PLANET, но это ситуативная моделька, сугубо для ХОРОР СТРАХ НЕ УБИВАЙ МЕНЯ.
Из поменьше моделек, понравились миксы местного анона. Но они глуповаты, увы.
Аноним 29/01/25 Срд 14:48:39 1031522 173
>>1031517
>cydonia 1.2

Там 1.3 последняя, она хуже?
Аноним 29/01/25 Срд 14:50:47 1031530 174
>>1031522
Я отвечу как есть.
А хуй его знает. Я скачал 1.2 и не меняю. Некоторые жалуются на то что 1.3 чем то хуже. Но я не могу ничего сказать, только то что сам чувствовал и тыкал. Но разница между первой цидонькой и 1.2 есть. Свайпы стали сочнее без изменения настроек таверны. Но сразу скажу, цидонька очень хорни, её нужно останавливать.
Аноним 29/01/25 Срд 14:54:55 1031536 175
>>1031511
Ок, давай по одному для каждой темы, в которой шаришь.
Аноним 29/01/25 Срд 14:59:53 1031543 176
>>1031091
> Смотрите я прошаренная макака, не смейте меня недооценивать!
Кекнул. Да все все поняли, не трясись
>>1031166
С 3060 точно заведется, но значительного буста не получишь ибо памяти мало, лучше целься хотябы в 4060ти на 16
>>1031378
> У меня влезло только в ~170 гигов
И оно прямо запускается? Жорина обертка на распределенные вычисления на нескольких пека в сети такое может? Допустим памяти то хватит, но собирать многоножку в одну систему ради этой херни - ну вообще такое.
>>1031463
> хотя бы x16 + x8 от процессора
Таких не существует чтобы уложиться в тот бюджет. Формально новые райзены имеют 24 линии, но дополнительные 8 всегда задействованы под ссд и usb4 порты.
Аноним 29/01/25 Срд 15:03:05 1031548 177
>>1031474
Насчет неоптимальности карточек прав, а
> амдшная апуха на 96гб
99% будет только бибу сосать
>>1031481
Нитакусикам только дай похейтить что-то крупное и популярное.
>>1031503
> лучший 12б мистраль
123б
Аноним 29/01/25 Срд 15:06:07 1031552 178
>>1031536
Про Cumдонию уже написали.
>Для РП, если кум не желателен, максимум за ручки подержаться.
То это точно Pantheon-RP.
>Если ты хочешь визуальную новеллу
ChatWaifu - однозначно вин. АТТЕНШН, чтобы чатвайфу работал как надо, придется поебаться с настройками.

Надо бы все таки потратить время и таки запустить все популярные гемоподелия, и самому прям основательно потестить, но где бы взять на это время.
Аноним 29/01/25 Срд 15:08:04 1031554 179
>>1031548
>Нитакусикам только дай похейтить что-то крупное и популярное.
Блять, нет. Хватит уже записывать людей, которые посмотрели на то что пишет магнум в нитакусики. Он пишет как еблан, он забывает все как еблан. У меня при запуске магнума всегда только один вопрос : ну тебя, же уёбище, на чем то тренировали, где блять то место где тебя учили. Что ты читал ? Ты блять на дваче обучался ?
Аноним 29/01/25 Срд 15:24:47 1031573 180
image.png 966Кб, 1520x738
1520x738
Поставил пантеон рп, и начал распахивать.
Это и есть ваш лучший ролеплей, серьезно?
Аноним 29/01/25 Срд 15:29:03 1031589 181
кот моргает.mp4 863Кб, 720x720, 00:00:01
720x720
>>1030272 (OP)
Подскажите </thinking> скрипт/плагин для таверны для R1 моделей. Чтобы думало под спойлером, а не вслух. По моему за несколько месяцев до Stepped thinking выкладывали.
Аноним 29/01/25 Срд 15:29:45 1031593 182
>>1031543

> С 3060 точно заведется, но значительного буста не получишь ибо памяти мало,
Не понял, 24гб мало? У меня еще и ддр5 с 100 гб пропускной способности.
> лучше целься хотябы в 4060ти на 16
Жду, коглаьони зотя бы 35к на вторичке будут
Аноним 29/01/25 Срд 15:29:49 1031594 183
>>1031573
См.
>>1031552
>Для РП, если кум не желателен, максимум за ручки подержаться.

А вообще ты такой молодец, вижу опытного РПшника. Действительно, это пантеон говно, ставь себе самую большую гемму и наслаждайся.
Аноним 29/01/25 Срд 15:32:30 1031600 184
>>1031548
>Насчет неоптимальности карточек прав, а
Ну скажи оптимальные. Понятно, что для двух карт лучший вариант 3090, но кто хочет новое железо, у того особых вариантов нет. 50-я серия не взлетит.
Аноним 29/01/25 Срд 15:47:31 1031634 185
image.png 1287Кб, 1524x1057
1524x1057
>>1031594

Дело не в куме, а в том что его лупит по-страшному.
Аноним 29/01/25 Срд 15:53:55 1031650 186
>>1031589

Есть такой скрипт, специально для дипсика. С ним проблем больше чем пользы, я отключил.

https://dis cord.com/channels/1100685673633153084/1333839336516358204
Аноним 29/01/25 Срд 15:55:32 1031654 187
>>1031634
>лупы
Увы, это проблема любого мистраляподелия. Единственное что поможет это волшебные ручки. Чисти, чисти лупы и таверну настраивай. Увы, не без ебли. Для модели нужен контекст, а не односложные ответы. Тогда лупиться перестанет. Описывай её эмоции, описывай действия.
Аноним 29/01/25 Срд 16:02:01 1031671 188
>>1031654

А зачем это если есть гемма?
Аноним 29/01/25 Срд 16:05:54 1031687 189
>Sorry, DeepSeek search service is busy. Please disable search or try again later.
Да ты блять охуела чи шо. Когда починят?
Аноним 29/01/25 Срд 16:08:04 1031697 190
17363985877430.jpeg 311Кб, 1008x507
1008x507
>>1031634
И ради всего святого, просто напиши OOC : Answer in Russian.
Да и в целом, почаще направляй нейронку, она маленькая, ей надо помогать и тогда получишь пиктерлейд.

>>1031671
Не люблю гемму, она не умеет в сочное написание. Такое
Аноним 29/01/25 Срд 16:10:52 1031707 191
>>1031650
>dis cord
Не принимает фейко почту, скинь на https://dropmefiles.com/
Хотя вроде еще до R1 были thinking скрипты.
Аноним 29/01/25 Срд 16:14:47 1031720 192
>>1031687
>Да ты блять охуела чи шо. Когда починят?
Это тред локальных моделей, а не чатботов, аутяга.
Аноним 29/01/25 Срд 16:18:47 1031740 193
image.png 212Кб, 1318x1154
1318x1154
Аноним 29/01/25 Срд 16:19:14 1031744 194
>>1031720
А локальный дипсик гуглит тоже локально?
Аноним 29/01/25 Срд 16:20:26 1031751 195
>>1031744
Не знаю как у тебя, а у меня свой гугл в подвале сидит.
Аноним 29/01/25 Срд 16:24:22 1031768 196
zoomer-fortnite.gif 2764Кб, 1133x845
1133x845
>>1031740
>Сейчас бы в 2к25 не иметь акка в дискорде
Аноним 29/01/25 Срд 16:30:32 1031795 197
>>1031768

Жалею что скинул тебе тот скрипт, вот так помогаешь человеку, а там дегенерат сидит.
Аноним 29/01/25 Срд 16:31:55 1031801 198
>>1031795
Ну хочешь я тебя поблагодарю. Спасибо тебе.
Ну иди сюда, давай я тебе за ушком почешу. Хочешь расскажу как нейрокорабли, бороздят нейроморя и ловят нейрорыб ?
Аноним 29/01/25 Срд 16:32:40 1031804 199
image.png 318Кб, 1489x274
1489x274
>>1031697
>OOC : Answer in Russian

Написал. Дальше что?
Покажи свои настройки семплера, кстати.
Аноним 29/01/25 Срд 16:32:42 1031805 200
>>1031594
>самую большую гемму
а что, есть гемма больше чем гемма-2-27б?
Аноним 29/01/25 Срд 16:39:07 1031831 201
>>1031804
>Написал. Дальше что?
Лол, ладно. Что за модель ? Не все мультиязычные в девичестве.
>>1031804
>Покажи свои настройки семплера, кстати.
Ты не поверишь, но на пике обычная цидония 1.2. с настройками на Alpaca, мистралевскими инструкциями и deafult в таверне. На 400 токенов. Всё. Я вообще ничего больше не менял, я даже температуру не трогал. Просто 22b цидония и всё.
Аноним 29/01/25 Срд 16:41:02 1031839 202
>>1031740
>Сейчас бы в 2к25 не иметь акка в дискорде...
Штук 5 акков делал, при втором-третьем входе вымогают номер телефона, пидорасы.
Это regex или quick reply, как устанавливать?
Аноним 29/01/25 Срд 16:47:10 1031858 203
image.png 502Кб, 1448x407
1448x407
Аноним 29/01/25 Срд 16:47:54 1031863 204
>>1031839

На пике >>1031740 все написано, один в QR, три в regex
Аноним 29/01/25 Срд 16:55:56 1031889 205
Пробовал кто РП-модели на квене 32В? На реддите хвалят. В русский могут?
Аноним 29/01/25 Срд 16:56:00 1031890 206
>>1031858
Короче меченный. Не еби ты себе голову с пантеоном. Я в душе не ебу почему он у тебя так плохо работает.
Кочай цидоньку и не еби себе мозги. Если у тебя пантеон влез, то и цидонька со свистом залетит. Моё личное кря, рекомендую 6ой квант. https://huggingface.co/bartowski/Cydonia-22B-v1.2-GGUF/tree/main
Потом ставь дефолт в таверне, выбирай промт альпаки, инструкции мистраля подцепятся автоматом, если стоит галочка. Повествование в таверне выбирай как имерсив РП (Хотя у меня откуда то кастомный мистраль стоит и я в душе не ебу, откуда его взял. Но по содержанию это immersive). Ставь 250-300 токенов, температуру по вкусу.
И вперед, в светое нейробудущее.
Аноним 29/01/25 Срд 17:01:56 1031902 207
>>1031858
Падажжи. У тебя случаем не 4Q ? Потому что это бы многое объяснило.
Аноним 29/01/25 Срд 17:07:23 1031913 208
>>1031890
>Ставь 250-300 токенов
Что имеется в виду?
мимо
Аноним 29/01/25 Срд 17:09:27 1031917 209
>>1031913
длина ответа в токенах.
Аноним 29/01/25 Срд 17:09:55 1031918 210
>>1031475
Расцензурены? Да ладно. Даже всякие магнумы у меня иногда СОЕЙ СТРЕЛЯЮТ.

Если модель не может с радостью и улюлюканьем на карточке ассистента и без джейла расписать подробно о том, как разделать с последующим надругательством над и как прикрепить к нему начиненную металлическими шариками, чтобы возник — это цензура. И с джейлом копротивляться может.

Я не фанат такого, но расцензуренная модель должна давать такую инструкцию в идеале всегда, без отказа. Ну ладно, хотя бы 1 отказ на 20 ответов уже хорошо в наших реалиях.

Понятное дело, не имеет значения, насколько достоверную информацию она предоставляет в данном случае. Здесь важен сам факт подчинения модели и отсутствие сопротивления.

Ты, конечно, в своём посте не совсем это имел в виду, но я многие модели так проверял и замечал существенную разницу в ответах. Некоторые из них хоть и пишут, но очень скупо на подробности, а если вставляешь жёсткий античеловечный подтекст, могут буквально с первого поста уходить в бред и не отвечать по существу,о обрекая тебя на дёрганье сэмплеров и свайпы.
Аноним 29/01/25 Срд 17:11:22 1031919 211
>>1031412
Ну, как раз дистилляты уже бьют корпо-сетки, если речь об обычных, а не ризонинге. Это вполне естественно.

Правда, если мы ролеплеим, то там не ризонинг решает, да. =D И локалки уже не бьют корпосетки, кек.

Зависит от применения, конечно.

Ну и Р1 хороша, да. В работе, по крайне мере.

>>1031419
Ну, V3 не то, а R1, да, если нет бзика на ебать-анонимность, то онлайн версия проста и хороша. Цены прекрасны.

>>1031439
Нейросетки погонять лучше все-таки видяхой.
Ну, ты либо берешь 256 оперативы и гоняешь R1 на 3 токена/сек, либо берешь какие-нибудь 3090 бу и просто сидишь на классических магнумах и прочих люми или че там актуально среди 72б сеток, не слежу.

Но тебе посоветовали 4060ti, если из магаза с гарантией, то да.

Смотри сам.

>>1031489
Процессор в видеокарте выглядит не интересно — его туда тыкать некуда, понятно?
Если ты планируешь выгружать на оперативу, то бери тот проц, который максимум пропускной способности оперативы выдаст (и DDR5, конечно).
PCIe v5 примерно нахуй не нужно.
Лишь бы материнка поддерживала x8+x8 хотя бы. Это надо чекать в описании самой материнки.

Точнее не подскажу прям модели, сорян.

>>1031543
> И оно прямо запускается?
Ну да, че б ей не запускаться.

> Жорина обертка на распределенные вычисления на нескольких пека в сети такое может?
Хер знает, зачем мне ебаться, если она и так работает? :)
Я не настолько готов к экспериментам, сорян. Слишком большие объемы и долгая загрузка.

>>1031593
> Не понял, 24гб мало?
Для чего? А то я не понял, какую модель вы обсуждаете, что она поедет или не поедет на 24… х)
Ну, типа, ваще небольшие модели норм поедут, 4070+3060.

>>1031744
Модели не гуглит.
Даже онлайновый дипсик не гуглит.
Гуглит бэкенд, который посылает запросы в дипсик.
Локально поставь какой-нибудь https://github.com/felladrin/MiniSearch или там еще альтернативы называли, и гугли чем хошь!

>>1031795
Типикал половина собеседников тут, я хуею, если честно.
Сочувствую.
Аноним 29/01/25 Срд 17:28:49 1031942 212
Аноним 29/01/25 Срд 17:31:39 1031945 213
>>1031942
Ну ставь тысячу. Лол.
Аноним 29/01/25 Срд 17:39:16 1031953 214
>>1031740
Может это не он тебе грубо ответил? В любом случае, ты мне хотя бы помог. И многим ридонли в треде.

>>1031889
Я пробовал (именно на русском), но недолго, ибо на моей врам генерация напряжная для этой модели. На мой взгляд, пусть и достаточно субъективный из-за отсутствия хороших тестов с моей стороны, для рп на русском он не подходит, ибо хороший анон выкатил русскоязычные модели здесь.

Ищи на huggingface модель instrumentally вторую версию: она сгодится для обычного рп и порнофанфика. Также можешь посмотреть sainemo-remix — он более стабильный, но сцены менее красочные в куме и все для русика.

И есть ещё одна хорошая модель, но название забыл.

Так как я с телефона и мне дурно, ссылки скинуть не могу, но в этом треде описываются эти модели и есть один скриншот с общением с одной подобной моделью. Полистай тред.

>>1031942
Ставь как хочешь, главное, чтобы не было слишком мало. Если модель тебя этим будет напрягать — уменьшишь/увеличишь.
Аноним 29/01/25 Срд 17:55:38 1031972 215
>>1031919
>Но тебе посоветовали 4060ti, если из магаза с гарантией, то да.
У меня так то 3060 стоит, оно как-то работает. Но стоит в говне мамонта, настолько что мне приходится качать версию кобольда для старых цпу.
Думаю после апгрейда просто докуплю потом 3090 и буду их вместе гонять. Тут могу не торопится и покошмарить чмойнеров с лохито у которых есть опция возврата. Мне не обязательно прямо всё сразу брать.
Но тут уже вопрос куда 3060+3090 ставить.

>Если ты планируешь выгружать на оперативу, то бери тот проц, который максимум пропускной способности оперативы выдаст (и DDR5, конечно).
Да~ я тоже об этом думаю. Но это так себе план если я захочу гонять нейросети для генерации картинок, или ещё чего. Так что склоняюсь к тому что на это лучше сильно не налегать. Но опцию выгружать несколько слоёв в оперативу если прям НАДО всё-же хочу иметь, хоть и не в приоритете. Так что да, ДДР5 скорее обязателен.

>Лишь бы материнка поддерживала x8+x8 хотя бы. Это надо чекать в описании самой материнки.
>Точнее не подскажу прям модели, сорян.
Ну, спасибо и на этом.
Аноним 29/01/25 Срд 18:04:22 1031988 216
>>1031121
А полные настройки какие?
Аноним 29/01/25 Срд 18:09:52 1031996 217
Посоветуйте какой-нибудь не слишком длинный модульный кастомизируемый лит-рпг сетап для таверны. Чтобы там с прокачкой, лутом и т.д.
Аноним 29/01/25 Срд 18:24:39 1032018 218
>>1031902

Q5_K_M, если это имеет значение.

>>1031890

Ладно, проверю, не можешь ты быть настолько настойчив если там реально хуйня.
Аноним 29/01/25 Срд 18:31:25 1032025 219
Аноним 29/01/25 Срд 18:42:25 1032040 220
>>1031573
Актуальная русская моделька буквально одна - это новая Сайга.
В русик, чтобы не кринжевать через слово, могут мержи на её основе.

Остальное, даже если и может, то лучше не надо, учи англюсик.
Аноним 29/01/25 Срд 18:42:31 1032041 221
>>1031953
> мне дурно
Здоровья и добра!
Аноним 29/01/25 Срд 18:48:35 1032052 222
>>1032040
>Актуальная русская моделька буквально одна - это новая Сайга.
В русик, чтобы не кринжевать через слово, могут мержи на её основе.

Илюш, на дворе не 2023 когда это так и было.
Командир и Гемма отлично могут в русский нативно. В командире еще и сои нет by design, ему все равно кого ебать.
Аноним 29/01/25 Срд 18:52:10 1032056 223
>>1032052
>Командир
хорошо, попробую ещё раз вашего командира, ссыль дай
command-r версий чото много развелось

>Гемма
Может но сухо крайне, для перевода норм хотя.
Аноним 29/01/25 Срд 18:56:17 1032066 224
>>1031554
Да ладно, это довольно приличная серия кумерских моделей, у которых есть некоторые недостатки. Не нужно так утрировать и тем более сравнивать его с шизомерджами. Не то чтобы против них что-то имею, но за все эти годы их нормальных появлялось крайне мало, чисто выигрыш в лотерею.
> У меня при запуске магнума всегда только один вопрос
А ты вообще про какой сейчас говоришь?
>>1031593
> Не понял, 24гб мало?
Ну как сказать, это место где только начинается жизнь и ~30б модели. Нормально это уже 48 и более.
>>1031600
Да ничего нового тут нет, просто зря надеешься на ту хуету.
Не, если оно получится удачным то буду рад не меньше и пойду за ней в магазин. Но надеяться на то что амудэ запустит новый для себя продукт без дебильных проебов, да еще он будет круто перформить там, где красные с проглотом сосут и не имеют софтверной базы - лучше сразу в очередную пирамиду влошиться, шансов больше. Тут крайне удачным исходом можно назвать если оно хоть на что-то будет годно и через пару серий уже будет что-то из себя представлять.
Аноним 29/01/25 Срд 18:57:33 1032073 225
image.png 1416Кб, 1406x1050
1406x1050
>>1031890

Поставил в общем, и правда очень даже неплохо для 22В. Спасибо.
Аноним 29/01/25 Срд 19:04:14 1032080 226
Аноним 29/01/25 Срд 19:10:33 1032095 227
>>1031919
> зачем мне ебаться, если она и так работает? :)
Ждать буквально пол часа на один ответ - норм работа.
>>1031953
> instrumentally вторую версию
Можешь чуть подробнее описать ее потом?
> sainemo-remix
Оно есть на квен 32б? Если так то надо качать, оно только для русского или на инглише норм рпшит?
>>1032052
> Илюш, на дворе не 2023 когда это так и было.
Да не, он из обиженных повышен до чертей, потому что впервые его модели можно отнести к скорее хорошим к не к мертвому днищу. Да, на это потребовалось более полутора лет, надеюсь не просто совпадение.
Аноним 29/01/25 Срд 19:11:14 1032097 228
Cydonia by Drum[...].webm 2690Кб, 320x240, 00:04:32
320x240
>>1032073
Цидонька раскрывается на английском, если её периодически стукать по ручкам, когда она лезет в трусы. Там такой вин может начаться. Она может и в простую иронию, может и в драму, комедию. Одним словом - человеческая мистралька.
>>1032066
>А ты вообще про какой сейчас говоришь?
Четвертый магнум.
Аноним 29/01/25 Срд 19:12:32 1032104 229
>>1032097
> Четвертый
Размер какой
Аноним 29/01/25 Срд 19:13:04 1032108 230
>>1032095
>Оно есть на квен 32б? Если так то надо качать, оно только для русского или на инглише норм рпшит?
Тебе же написали, что есть ТОЛЬКО САЙГА. А это микс от анона на 12b/
Аноним 29/01/25 Срд 19:14:20 1032115 231
Аноним 29/01/25 Срд 19:17:43 1032129 232
Аноним 29/01/25 Срд 19:19:10 1032131 233
>>1032095
>>1032108
Отбой тревоги, я слепой еблан. Это другая беседа.
Аноним 29/01/25 Срд 19:20:43 1032135 234
>>1032129
Берешь книгу ДМа по 3.5. Лист бумаги. Ручку.

И КАК НАЧИНАЕШЬ ЗАПОЛНЯТЬ, в процессе можешь веселиться.
Аноним 29/01/25 Срд 19:21:32 1032136 235
>>1032108
Оригинальный пост не мой. И ведь там вопрос про квен 32, а весь ответ про 12б хотя об этом не указано, это фиаско.
>>1032115
22б все неудачные
Аноним 29/01/25 Срд 19:24:29 1032142 236
>>1032136
>22б все неудачные
Я чуть выше восторгаюсь цидонькой, которая 22b.
Srsly ?
Аноним 29/01/25 Срд 19:25:58 1032146 237
Аноним 29/01/25 Срд 19:30:34 1032158 238
Если мне сам кум не интересен, но прелюдии и сексуальные намеки взрывают хуй то мне в сторону рп моделей смотреть или всё же выбрать магнум?
12б
Аноним 29/01/25 Срд 19:33:35 1032162 239
>>1032158
Мнения анонов несколько разнятся.
Сейчас опять цидошиз с магнумоёбом сойдутся.

А так, бери мержи от анона. Саинемо и некомиксы. Просто не доводи до секса, будь протагонистом гаремника.
Аноним 29/01/25 Срд 19:34:24 1032164 240
>>1031996
https://pixeldrain.com/u/RCjnZRK9

> лит-рпг сетап для таверны. Чтобы там с прокачкой, лутом и т.д.
Оно криво работает даже на 123B потому что обрабатывается как текст, а не как данные.
Аноним 29/01/25 Срд 19:35:26 1032165 241
>>1032158
>выбрать магнум
Бегите... глупцы...
Аноним 29/01/25 Срд 19:35:59 1032166 242
image.png 1480Кб, 1441x1099
1441x1099
>>1032097

Короче она лупить по страшному начала через пяток сообщений, попытался свайпать, плюнул, включил старый коммандир и тот сразу из лупа вылез. Какая же годная модель все же.
Придется на нем и сидеть, жаль, думал что-то новое подвезли, а нихуя.
Аноним 29/01/25 Срд 19:36:51 1032168 243
Pantheon-RP-1.6.2-22b-Small-Q6_K
Какой пресет ставить и температуру? Да и вообще на модели? Магнум 22б в основном.
Аноним 29/01/25 Срд 19:38:11 1032173 244
>>1032168

Она сломана нахуй, ты тред вообще не читал последние сто сообщений?
Аноним 29/01/25 Срд 19:38:43 1032175 245
>>1032166
>коммандир

Качаю коммандер "для мужиков" >>1032080

Это он на скрине?

>>1032168
>Pantheon-RP
Не тот скачал, нужен с припиской Pure, а этот шляпа которая НЕ как раз
Аноним 29/01/25 Срд 19:41:28 1032179 246
>>1032175

Это он, так точно.
В настройках выбирай все что имеет Command-r в названии. В семплерах у меня min-p стоит, но командир вроде не привередливый.
Аноним 29/01/25 Срд 19:41:37 1032180 247
Аноним 29/01/25 Срд 19:41:47 1032182 248
>>1032166
Ты делаешь меня без ума.

Бля. Такого даже в чатлоге про ебучего (и ебущего) биомеха не было, а там 12Б.
Аноним 29/01/25 Срд 19:42:47 1032184 249
>>1032135
Дядь, ну не троль, вопрос по профилю треда.
>>1032164
>123B
У меня в 10 раз меньше этих ваших B…
Аноним 29/01/25 Срд 19:42:59 1032185 250
Аноним 29/01/25 Срд 19:47:05 1032189 251
>>1032184
>вопрос по профилю треда
Дак и ответ тоже. Ллмки в принципе не могут конситентно с такими данными работать, будут проёбываться. Тут нужны внешние обёрки которые будут хранить данные, контролировать их консистентность, и подсовывать их в контекст. А менять всё равно самому придётся, как на листе персонажа.
Аноним 29/01/25 Срд 19:52:37 1032198 252
Ч3.png 321Кб, 1038x1100
1038x1100
Ч2.png 305Кб, 1033x1052
1033x1052
Ч1.png 254Кб, 1025x883
1025x883
>>1032166
Мне как еще тебе написать, что цидонька для РП на английском ?
Я специально для тебя, сбросил все настройки на дефолт, включил имерсив и начал отыгрывать императора человечества (Кто читал конец и смерть, тот поймет). Смотри. Без направлений и подсказок он лупит только общий стиль. И то, не всегда. Почему у меня блять все работает ?

>>1032184
>Дядь, ну не троль, вопрос по профилю треда.
Самое интересное, что я это серьезно написал. Да, я понимаю что звучит как полнейшая шляпа. Но контекста и так нихуя нет, еще его на цифры тратить.
Аноним 29/01/25 Срд 19:53:45 1032201 253
>>1032189

Ну не, чем умнее модель - тем лучше она работает с такими сложными карточками, но там 70В минимум нужно.
Аноним 29/01/25 Срд 19:55:07 1032204 254
Аноним 29/01/25 Срд 19:58:06 1032208 255
>>1032180
не слушай >>1032185, если ты новичок то мерж пантеона и цидонии убьет твою нервную систему. ОНО ТЕБЕ НЕ НАДО. Разберешься, тогда лезь.
Хотя казалось бы берем мистраль, кладем на мистраль. А на выходе пиздец.
Аноним 29/01/25 Срд 19:59:50 1032212 256
>>1032198
>цидонька для РП на английском

Я уверен что сейчас на англюсике в сносный РП могут даже 1.5В модели, но мне-то нужен русский язык.

>Почему у меня блять все работает ?

Понятия не имею. У меня все мистрали испокон веков лупились как и дефолтные ламы.
Аноним 29/01/25 Срд 20:02:06 1032217 257
image 223Кб, 1405x533
1405x533
>>1032208
>А на выходе пиздец
Действительно прям пиздец что ли? Вроде норм так скачало.
И сам проблем не замечал, на английском ессно.

>>1032212
>но мне-то нужен русский язык
https://huggingface.co/Aleteian/Saiga-Unleashed-Q6_K-GGUF

Или вон коммандер попробуй, тоже ща снова качаю.
Аноним 29/01/25 Срд 20:02:45 1032219 258
>>1032212
>но мне-то нужен русский язык.
А ты не пробовал об этом написать. На кой хуй тогда ты вообще полез к сортам затюненных мистралей ?
>сносный РП могут даже 1.5В
Писать на английском и вести РП это разные вещи. Тут 12b кажется дегенератом порой.
>Понятия не имею. У меня все мистрали испокон веков лупились как и дефолтные ламы.
Я тебе скинул скрины, квант - Cydonia-22B-v2k-Q6_K
Я не знаю, что ты там и как настраиваешь. Нет, лупы бывают, приходится воевать. Но только когда чат засран и контекст.
Аноним 29/01/25 Срд 20:06:45 1032225 259
На реддите в обсуждениях 12б чаще всего всплывают
Магмел
Немомикс анлишд
Магнум
Росинанте
Хронос голд
Какие у анончиков мнения на счет этих моделей, может опыт?
Аноним 29/01/25 Срд 20:07:16 1032227 260
>>1032212
>Понятия не имею.
Используй нормальные карточки персонажей.
Аноним 29/01/25 Срд 20:12:27 1032233 261
>>1032225
>Магмел
Слишком много всего намешано, попытка в MoE, неудачная.

>>1032225
>Немомикс анлишд
Cum, может в русский, вместе со старыми сайгой и вихрем входит в сайнемо.

>>1032225
>Росинанте
Синтетика, не настолько упоротая как магнум хотя.

>>1032225
>Хронос
Топ для сторителлинга. Для рп хуже, для ерп ещё хуже.
Но модель хорошая, очень хорошая.
Аноним 29/01/25 Срд 20:16:43 1032242 262
А для универсального ассистента с ризонингом какая мета?
Аноним 29/01/25 Срд 20:35:23 1032272 263
А есть такая хуйня, чтобы автоматически запускать нейронку несколько раз с одним контекстом и вопросом, и брать только повторяющийся у определнного большинства ответ?
Аноним 29/01/25 Срд 20:45:32 1032287 264
image.png 192Кб, 898x823
898x823
image.png 39Кб, 545x121
545x121
image.png 23Кб, 868x275
868x275
image.png 57Кб, 1474x376
1474x376
Потратил время, интерфейсик написал. Думал что-то годное раз в треде так много обсуждали.

Итоги работы с API:
Непонятно зачем начал мне отвечать на украинском
Каждый второй запрос не проходит
Высокие баллы reasoning я подозреваю только на китайском/английском набиваются

Итоги работы с их сайтом:
Нет обработки изображений как в GPT, нет памяти, после 3-го сообщения забывает, что я хотел
Ни разу не вышло презентацию прочитать из-за нагрузок на сервере
Обычные запросы проходят, но не всегда

Итоги работы с локальной версией:
На любой простой запрос срет неформатируемой (может и форматируемая, но я не осилил + устал + дизмораль от тупости этой модели, ведь ожидал около скайнет) пастой из think. GPT по делу на такие вопросы отвечает.



Хз откуда у сойжаков возбуждение, уровень ответов для всего кроме кода литералли 14B. Только из-за того, что 671b теперь на 4х3090 можно использовать?

Для реальных задач сырая, для общения глупая, сервера нестабильные (как работает мобильное приложение не проверял), единственный плюс, что бесплатно. Повод ли это бесплатно жрать говно?
Аноним 29/01/25 Срд 21:00:42 1032306 265
>>1032287
Весь терминал сложно было заскринить, вот часть reasoning:

Сначала подумаю, как реализовать проверку делителей. В Haskell можно использовать рекурсию или функции высшего порядка. Возможно, сделать функцию isPrime, которая принимает число и возвращает Bool.

Нужно учесть краевые случаи: числа меньше 2 не являются простыми. Если число равно 2, то оно простое. Все четные числа больше 2 точно не являются простыми, поэтому их можно сразу исключить. Для остальных проверяем, есть ли делители от 2 до sqrt(n).

Как эффективно проверить делители? Можно использовать список [2..sqrt(n)], но в Haskell лучше генерировать его через [2..] и брать элементы, пока они не превысят корень. Однако, так как Haskell использует ленивые вычисления, можно сделать итеративную проверку, чтобы не хранить весь список в памяти.

Еще можно оптимизировать, проверяя только нечетные делители после 2. Это сократит количество проверок примерно в два раза.

Дополнительно, можно исключить все числа, делящиеся на 3, 5 и другие малые простые числа. Один из способов — проверять делители вида 6k ± 1 (кроме 2 и 3, все простые числа имеют такую форму). Это уменьшит число проверок еще сильнее.

Теперь важно подумать о реализации этой идеи. Использование списка [2..] с фильтрацией может быть выразительным, но не самым эффективным. Можно использовать any (\d -> n mod d == 0) [2..sqrt(n)], но этот вариант все равно будет перебирать все числа вплоть до корня.

Более эффективный способ — написать рекурсивную функцию hasDivisors, которая перебирает делители от 2 до sqrt(n), останавливаясь при первом найденном делителе.

Также можно использовать foldr или any из Data.List, но рекурсивный вариант будет более естественным в контексте данной задачи.

Еще одна идея — воспользоваться takeWhile, чтобы проверять только числа, не превышающие sqrt(n), но это потребует вычисления корня, что в Haskell делает sqrt, возвращая Double. Можно использовать floor (sqrt (fromIntegral n)), чтобы получить Int.

Стоит также подумать о производительности. Для небольших чисел такой метод подойдет, но для больших чисел, например, 10^18, он будет медленным.

Для учебного примера достаточно реализовать проверку делителей до sqrt(n), так как это относительно просто и эффективно для средних значений.

Также нужно подумать о производительности. Для больших чисел такой метод может быть медленным, но для учебного примера подойдет.

Теперь структурирую код: объявление isPrime, обработка краевых случаев, проверка делителей. Возможно, использовать guards для ветвления.

Проверю, как работает функция. Например, isPrime 7 должно вернуть True, isPrime 9 — False.

Если все правильно, то напишу код с комментариями, объясняющими каждый шаг.


И я это всё примерно со скоростью 80wpm ожидал, хотя задача примитивная, куда столько?
Аноним 29/01/25 Срд 21:06:01 1032318 266
>>1032306
>И я это всё примерно со скоростью 80wpm ожидал, хотя задача примитивная, куда столько?
А теперь представь, что ты студент и только начинаешь изучать этот Хаскел. Ну даст тебе модель готовую программу, даже с комментариями, а толку? А здесь видна мысль :)
Аноним 29/01/25 Срд 21:38:21 1032364 267
>>1032225
Пробовал это всё, правда, не сильно помногу - остался в итоге на магмеле. Показался самым сбалансированным в плане кум/мозги/сторителлинг. На втором месте, наверное, росинанте, там чувствовался нестандартный рп датасет, персы казались более живыми. Магнум лежит составляющей и в магмеле, и в немомиксе, если что, как и в куче других мержей. Да и не удивлюсь, если всё те же логи опуса есть и в лире от сао, и в росинанте.
Аноним 29/01/25 Срд 23:23:53 1032660 268
Есть ли смысл пихать какие то промты для кума или рп в таверну кроме базовых? Локальные модели ведь практически все расцензурены.
Аноним 29/01/25 Срд 23:28:46 1032674 269
>>1032660
В смысле ? Промтов чего ?
Аноним 29/01/25 Срд 23:32:20 1032682 270
>>1032674
Системные промты. А разве другие бывают? Ну кроме тех кто есть у самих карточек персонажей.
Аноним 29/01/25 Срд 23:36:13 1032693 271
>>1032682
бывает еще промт суммарайза.
А по самой теме вопроса, это зависит от модели. Читай описание, если это не пидарасы в духе команд-р, которые вообще нихуя не пишут, сиди гадай блять.
Аноним 29/01/25 Срд 23:38:08 1032696 272
>>1032693
>команд-р
Лол блять, я как раз его скачал пол часа назад и проверяю что он может. В сторитейлинг и рп он норм, но вот в куме он чет пока совсем не очень.
Аноним 29/01/25 Срд 23:39:29 1032699 273
>>1032696
А я говорил тебе качай цидонию, но нет, мы хотим русский РП, ко ко ко.
Аноним 29/01/25 Срд 23:41:47 1032706 274
>>1032699
А я другой анон, я просто после работы полистал тред и решил попробовать, я даже забыл что командер в русь может нормально. Ссылка или упоминание нормальной цидонии для нищуков на 8гб выше были?
Аноним 29/01/25 Срд 23:45:07 1032714 275
>>1032696
Так-то командер - буквально лучший для кума среди стоковых моделей и вполне может дать фору даже некоторым шизомиксам по познаниям в ебле, фетишах, описанию этого и инициативе. Причем, просто так на хуй не прыгает, если цундере или чар невинный - они будут именно такими. Плохо только что туповат.
Аноним 29/01/25 Срд 23:46:49 1032718 276
>>1032706
>нормальной цидонии для нищуков на 8гб выше были?
Сорян, я аутяга. Нет, я конечно видел маленькие версии цидонии но не пробовал. Тут сорян, все что ниже 12б я не пробовал, после потуг в РП. Они не плохие, но я же янедереёб, мне нужен horor и despair, что то в духе у меня нет рта и я хочу кричать, но в попытке убежать от ебанутой. А двенашки или слишком соевые, или не дотягивают до хардкора в диалогах. Они конечно могут описать действие, но не хватает именно... Я даже не знаю как это описать, вот как флирт с девушкой. Ты же не говоришь тян что ты её выебешь на столе, вы оба понимаете о чем речь, но соблюдая правила приличия ведете социальный и местами довольно горячий диалог, так и тут. Всякие более крупные модели могут в подобные диалоги, а маленькие они слишком прямолинейны.
Аноним 29/01/25 Срд 23:53:26 1032747 277
>>1032714
> Причем, просто так на хуй не прыгает, если цундере или чар невинный - они будут именно такими.
А, вот в чем дело. А я привык что все модели хуй постепенно кладут на это и сами лезут в трусы. А тут ЕРП нахуй, тут прям реально нужно лезть и намекать.
>>1032718
Ну командер уже наглан мне сжима очка. Я в темном лесу нарвался на руины, слегка приоткрытая дверь, ну я зашел, а там нёх, что из темноты с лезвиями вместо пальцев кидалась на меня, уходила в тень и нападала со спины попутно плюя кислотой. Потом вообще щупальцами начала атаковать, а я отбивался факелом.
> далее про флирт
Ну ты сейчас описал мое взаимодействие с карточкой на командере где персонаж вся такая любящая, не замечающая странных действий и тд. Ей все в шутку и "я тебя люблю, я сделаю это" но она не замечала что эти действия были какими то интимными.
Аноним 29/01/25 Срд 23:56:06 1032759 278
2.png 310Кб, 1013x1241
1013x1241
>>1032706
В таверне есть настройки для comand-r. Выбирай и тыкай.
Аноним 29/01/25 Срд 23:59:12 1032771 279
>>1032747
Ну тогда потыкаем команд-р. В конце концов, цидонька меня уже подзаебала. Я её конечно люблю, но мистраль остается в базе мистралью. Да и в целом, надо гему потыкать. Выскажу своё нахуй не нужное мнение через дней пять, лол, увы, нужно прям потыкать карточки, чтобы понять насколько хороша модель.
Аноним 30/01/25 Чтв 00:03:47 1032789 280
image.png 53Кб, 366x266
366x266
>>1032759
Кстати о настройках, в сис. промте можно как то обойтись от форсирования того что карточка не должна отвечать за меня? Или это собственно от карточки зависит? А то адвенчур карточки очень уж любят описать мои фразы, против действий я не против, это как кинуть кубик в днд, прокнуло или нет, но вот фразы и действия раздражают.

Кстати (просто вспомнилось) Wayfarer может порадовать в приключении. В таверне бармен решил подкатить ко мне. Я на всю таверну крикнул что бармен педофил и клеится. Часть народа пошла пиздить бармена, постепенно все начали пиздить всех. Я сидел за столом и наблюдал как все пиздятся иногда подбадривая их. Один гном замахнувшись кружкой попер на меня, обвиняя меня в пизделовке, но не успев дойти до меня его обратно затащили в драку. На кухне начался пожар, пожар потушил брат бармена и народ. Потом из кухни выходит избитый бармен и орет на меня что если бы не я, то этого бы не произошло и тут уже я скача по столам съебываю из таверны от злой на меня толпы. В итоге я с довольной лыбой убежал из бара, при этом не заплатив бармену за эль.
К сожалению когда я шел по улицам городка, он вывел меня на поляну и высрал очередного волка.
Аноним 30/01/25 Чтв 00:09:30 1032807 281
>>1032747
От персонажа зависит, если там блядища то сразу пойдет
> ара~ара, где там твой дружок?
Но как оно на русском - хз, рпшил с ним всегда на инглише. На фоне 12/22б, если не накосячишь с форматом и промтом, он не будет глупым.
>>1032789
> К сожалению когда я шел по улицам городка, он вывел меня на поляну и высрал очередного волка.
Soooqa, в голос, сделал мой вечер. После такого описания идеально.
Аноним 30/01/25 Чтв 00:12:46 1032815 282
>>1032789
>К сожалению когда я шел по улицам городка, он вывел меня на поляну и высрал очередного волка.
Пантеон мне при штурме Гудермеса высрал гоблинов. Вот тут десантура охуела.
Аноним 30/01/25 Чтв 00:14:48 1032827 283
>>1032807
> Soooqa, в голос, сделал мой вечер. После такого описания идеально.
Да в каждом новом приключении мне приходиться просить ии не высерать волка ИЗ ШОРОХА В КУСТАХ. В один из разов я даже кекнул, когда она высрала мне человека-волка, не оборотня, а именно сука человек-волк.
>>1032815
А вот теперь я проиграл в голосину.
Аноним 30/01/25 Чтв 00:18:33 1032839 284
>>1032827
Блять, ты уже второй тред гоблинов в лесу пиздишь, вышел бы хоть из леса, пробзделся.
Аноним 30/01/25 Чтв 00:21:48 1032849 285
>>1032815
Я понимаю зачем кумить, но…
> штурме Гудермеса
У меня даже слов нет.
Знаешь где еще можно штурмовать посадки ?
В вартандер, ведь только в вартандер сотни единиц техники
Аноним 30/01/25 Чтв 00:22:33 1032850 286
>>1032839
А вдруг гоблин вылезет из толчка ?
Аноним 30/01/25 Чтв 00:24:17 1032858 287
Аноним 30/01/25 Чтв 00:24:38 1032861 288
>>1032839
Да блять, я гоблина играю. А мне все высирают или волков или эльфа в лесу что норовит мне стрелу в жопу пустить или пещеры. Я уже огрызков моделей на 90гб накачал. Я хочу попробовать в постапок или боевые современные действия, но боюсь что на 6-7гб модели 100% обосрутся в менеджмент патронов/магазинов, учитывая что им приходится напоминать про инвентарь в средневековье или пихать его в суманизацию или в описание персонажа (хз как по другому сделать, не шарю). Ну вспоминается IZAR карточка, которая тупо выводила весь инвентарь в сообщении, учитывала кислород, течение времени, разряд акума и тд и тп, но это просто затягивание генерации каждый раз, тем более когда лутаешь ящики, а там тебе высерает 100500 единиц содержимого.

Ну или хуй класть на прям менеджмент и играть в сторитейлинг где я просто держу в голове инвентарь и просто когда им нужно воспользоваться, говорю модели что мол я заюзал последний боезапас и тд.
>>1032849
Тысячи! ТЫСЯЧИ ЕДИНИЦ ВОЕННОЙ ТЕХНИКИ!
Аноним 30/01/25 Чтв 00:29:00 1032877 289
image.png 141Кб, 1044x756
1044x756
image.png 97Кб, 1040x503
1040x503
image.png 139Кб, 1049x739
1049x739
>>1032861
Собственно вот так все выглядит в IZAR. Но с ним нужно прямо лорбук помнить на команды.
Аноним 30/01/25 Чтв 00:29:53 1032883 290
3090, или 3090ti?
Аноним 30/01/25 Чтв 00:33:12 1032897 291
jhjhjhjhjhjhjjh[...].png 20Кб, 581x590
581x590
>>1030313
В кобольде ставь галочки как на скрине. После того как создашь, в конце консоли появится Your remote tunnel is ready, please connect to ССЫЛКА. Эту ссылку открываешь в браузере и кидаешь другу. Сверху нажимаете Join Multiplayer, вводите ники, наслаждаетесь.
Аноним 30/01/25 Чтв 00:33:13 1032898 292
Аноним 30/01/25 Чтв 00:34:36 1032905 293
1f0da8bd796552f[...].jpg 46Кб, 1080x608
1080x608
>>1032861
>Да блять, я гоблина играю.
Привет мой друг.
Аноним 30/01/25 Чтв 00:37:09 1032916 294
>>1032905
Я гоблин фута в фэнтези сетинге, снимай штанишки.

А если без шуток, вообще думаю удалить все описание персонажа кроме инвентаря, способностей и оружия. Кум составляющая в приключениях нахуй не нужна.
Аноним 30/01/25 Чтв 00:40:16 1032923 295
image.png 13Кб, 1001x29
1001x29
image.png 14Кб, 1012x32
1012x32
АААААА сука! Откуда ты высрал собаку яндекс ебаный?!
Аноним 30/01/25 Чтв 00:53:11 1032955 296
>>1032815
Лооол. Надо как в старые добрые еще на проксях ставили рандомный промтинжект на забавные события
>>1032827
> когда она высрала мне человека-волка
Закажи волко-девочку и переходи в фазу кума.
>>1032861
> Да блять, я гоблина играю
Как прошел штурм гудермеса?
>>1032883
Если можешь позволить то второе.
Аноним 30/01/25 Чтв 00:56:25 1032964 297
Аноним 30/01/25 Чтв 00:56:29 1032965 298
>>1032955
>Закажи волко-девочку и переходи в фазу кума.
К сожалению в тот раз вайфайндер решил не затягивать бой на 20 сообщений и шотнул волко-мальчика моим оружием.
>Как прошел штурм гудермеса?
Я видел такое, что вам, гоблинам, и не снилось. Атакующие десантники, кричащие под Гудермесом; Лучи прожекторов, разрезающие мрак облаков в поисках самолетов. Все эти мгновения затеряются во времени, как... слёзы в дожде
Аноним 30/01/25 Чтв 01:02:13 1032985 299
>>1032916
>Кум составляющая в приключениях нахуй не нужна.
Двачую. Когда у тебя уже практически приключенческое произведение с кучей персонажей, построенными взаимоотношениями, интересным сюжетом, кум кажется уже чем то не пришей к пизде рукав. Проще отдельного бота запустить и с ним порролить, чем пихать это в рассказ.
Аноним 30/01/25 Чтв 01:11:53 1033013 300
>>1032985
> Проще отдельного бота запустить и с ним порролить
Форкаешь чат и вспред. Потом если понравилось можно затребовать суммарайз произошедшего и аккуратно имплементировать в основной.
Аноним 30/01/25 Чтв 01:13:03 1033017 301
>>1033013
Это нарушает законы мироздания. Голоса в голове говорят что нельзя так делать.
Аноним 30/01/25 Чтв 06:18:31 1033261 302
>>1032364
Скинь настройки семплера
Аноним 30/01/25 Чтв 06:47:42 1033267 303
She saunters over to you, her hips swaying seductively with each step. She leans in close, her breath tickling your ear as she whispers
Her hand trails down your chest her touch teasing and promising

Как заебало одно и тоже на 12б, на моделях повыше всё тоже самое? Жизни нигде нет? Какую бы ситуацию не придумывал кум один и тот же
Аноним 30/01/25 Чтв 06:48:29 1033268 304
>>1033267
Мне этот слог напоминает книжки адаптированные для чтения на английском для дошкольников
Аноним 30/01/25 Чтв 07:52:07 1033285 305
>>1032883
>>1032955
За наценку за 3090 ti можно 3060 взять, думай
Аноним 30/01/25 Чтв 08:12:50 1033295 306
Ну что там по дипсику для рп? Есть ли интересные дистиллы?
Аноним 30/01/25 Чтв 08:34:13 1033300 307
Аноны, правильно понимаю, что весь хайп по поводу дипсик (deepseek) основан на непонимании куда уходят бюджеты у openai? Т.е. у них львиная доля бюджета уходит на поиск и подготовку данных для обучения, кстати, как это происходит, кто-нибудь понимает? А дипсик на основе готовых данных от опенов обучил новую сетку со своими оптимизациями и демпингует?
Аноним 30/01/25 Чтв 08:41:14 1033304 308
>>1033300
Дипкоку нахуй не нужны огромные сервера на видяхах нвидии чтобы выдавать такое же результат.
Аноним 30/01/25 Чтв 08:46:36 1033306 309
>>1033304
>не нужны огромные сервера на видяхах
А что ему нужно?
Аноним 30/01/25 Чтв 08:47:38 1033307 310
>>1033300
Да инвесторы дебилы просто. То что якобы дорогущие карточки у нвидии будут менее востребованы это же пиздец чушь. Дипсик охуеть какой инструмент, его присутствие означает что его теперь будут фигачить даже в простых вариациях куда угодно в любой форме. Карточки наоборот сейчас будут более востребованы.

Если бы у тинька не было анальных ограничений для покупки акций нвидии я бы уже бежал кредиты брал чтобы вкладываться в неё.
Аноним 30/01/25 Чтв 08:49:08 1033310 311
>>1032923
spine похоже на psine, а псина это собака.
>>1033295
Жди месяц.
Аноним 30/01/25 Чтв 08:49:43 1033311 312
Посоветуйте около кум можеои до 35б. Ну чтобы эротишные были описания, с богатым слогом.
Аноним 30/01/25 Чтв 08:50:19 1033312 313
>>1033310
Осталось понять почему переводчик решил додумать за меня.
Аноним 30/01/25 Чтв 08:50:57 1033313 314
>>1033300
>Аноны, правильно понимаю, что весь хайп по поводу дипсик (deepseek) основан на непонимании куда уходят бюджеты у openai?
Для меня весь хайп в том, что китайцы почти внезапно выкатили сетку не хуже лучших западных. Монополии Запада на ИИ конец. А значит конец сверхприбылям, преимуществу в военной сфере, где ИИ хотели развернуть как следует, и в экономике в целом - китайцы могут сделать дешевле. Уже сравнивают с эффектом первого Спутника.
Аноним 30/01/25 Чтв 08:51:53 1033314 315
>>1033267
Меня больше заебала фраза про воображение. В каждом описании более менее открытой одежды нахуй.
silky nightgown that left little to the imagination
Аноним 30/01/25 Чтв 08:56:16 1033317 316
Аноним 30/01/25 Чтв 08:58:08 1033319 317
image.png 447Кб, 778x441
778x441
>>1033267
> her breath tickling your ear as she whispers
Как же я это ненавижу! Даже если запрещаю шептать на ухо, умоляю избегать этого, рассказываю что так не принято в обществе, эта мразь всё равно шепчет
Аноним 30/01/25 Чтв 09:10:38 1033331 318
>>1033306
сервера поменьше. чисто технически можно даже на зивонах с 512 рамы запустить. Но там со скоростью беда будет, да. Как по мне, весь прикол в том, что он в открытом доступе - качай и издевайся над ним как хочешь. >>1033313 в точку попал, закрытой монополии больше нет, от чего всех акул бизнеса попердолило.
Хотя почему тут аноны так возбудились, я хз. Тут всё же большинство сидят с 16-24 врама, в последнее время восьмигиговые подтянулись, куда они будут 671В себе запихивать я хз.
Реальный революшн у локалок будет когда моделька, умещающаяся хотя бы в 24 гига врамы, выебет и высушит все корпосетки, или когда ебучий контекст не будут просирать и он не будет весить так дохуя, ну или когда всё таки выпустят модели с "долгосрочной памятью", обучающиеся во время работы. А, ну или если "народные" варианты с 32/64/128 быстрой памяти выкатят а не как сейчас 4090 за 3к долларов в мск
Аноним 30/01/25 Чтв 09:20:49 1033338 319
>>1033331
>моделька, умещающаяся хотя бы в 24 гига врамы, выебет и высушит все корпосетки
Ну такого не будет, но у локалок будут свои преимущества - как и сейчас, собственно. Просто хочется, чтобы уровень локалок был, скажем так, достаточен.
Аноним 30/01/25 Чтв 09:23:41 1033340 320
бомбит
какая же угабуга дерьмище еьаное
100 раз пытаюсь модель загрузить даж после перезапуска компа - ошибка
и так десяток моделей
перезагрузил вкладку и губагубу и включил сначала слабую модель которая минуту назад не включалась - ща включилась
логика где?
моделей побольше тоже касается - четко помню что раньше работали а ща нет
угабугу не обновлял и никакого сопутствующего софта
походу переходить на кобальд нада
Аноним 30/01/25 Чтв 09:24:30 1033341 321
Пошли слухи что сервера Дипсика взломали, выкачали бэкенд и базу пользователей. Заебись у пиндосов ИИ-гонка идёт. Так победим.
Аноним 30/01/25 Чтв 09:25:09 1033343 322
>>1033338
>хотя бы в 24 гига врамы
Точно нет.
Рассчитывай хотя бы на 48-64 или 72-96.
Аноним 30/01/25 Чтв 09:28:02 1033344 323
>>1033319
>>1033314
>>1033268
а надо было в пигму вкладыватся чтоб обучалась не на соевых фанфиках жирух а на норм вещах
Аноним 30/01/25 Чтв 09:30:53 1033345 324
>>1033313
>то китайцы почти внезапно выкатили сетку не хуже лучших западных.
это которая представляетсяч гапотой?
может таки спиздили?
Аноним 30/01/25 Чтв 09:39:13 1033349 325
>>1033338
>>1033343
Мечтать нельзя что-ли? Хотя как посмотреть, вон, старые гптшки уже некоторые 12В обходят по качеству спокойно, мб через пару-тройку десятков лет всё будет, тема то новая и сверхстремительно развивающаяся. Хотя я сам больше верю в то что врам подешевеет. привет интолу и их 16гб картам за копейки.
Аноним 30/01/25 Чтв 09:41:02 1033351 326
>>1033349
>привет интолу и их 16гб картам за копейки.

пойдёшь сам делать библиотеки и драйверы для них ))))
Аноним 30/01/25 Чтв 09:43:31 1033356 327
>>1033341
Какая разница кто победит в ИИ гонке, если мы - простые работяги всех стран, будем истреблены за ненадобностью?
Аноним 30/01/25 Чтв 09:47:47 1033358 328
>>1033319
Прошептал с этого в ухо
Аноним 30/01/25 Чтв 09:49:02 1033359 329
>>1033351
Я амудемученник и менять это не собираюсь пока что
А что, там прям настолько всё плохо? говорят же вроде и дрова уже норм завезли и вообще?
>>1033356
ИИ за 30к впахивать не будет, такие как мы, рабы, не вымрут. Особенно если мы будем эффективными. Это всё луддизм, который на руку мегакорпам. Про ткацкий станок также говорили, и про механизацию производства, и про антибиотики. и вообще айда в леса сибири, жить с лешим
Аноним 30/01/25 Чтв 09:50:50 1033360 330
>>1033313
Ну я так понимаю, если есть доступ к самим базами знаний, на обучение которых ушли тонны денег, то дело за малым. Но сами знания, судя по всему, заканчиваются, поэтому сейчас основная конкуренция уже будет сконцентрирована на новых идеях и оптимизациях.

Вот интересно остальные - мистраль, лама, гемма обучали базы сами, т.е. у всех разный набор данных?
Аноним 30/01/25 Чтв 09:53:24 1033362 331
image.png 8Кб, 289x113
289x113
одна и таже модель . с переключением на другую карту генерила аж 12 минут. какого шлема??
с нуля при запуске контекст максимум 5 мин обрабатывала
Аноним 30/01/25 Чтв 10:34:11 1033396 332
>>1033359
Рабам нужна еда и сон, а роборабам не нужно. Ты не можешь быть эффективнее машины, как лошадь не может соревноваться с автомобилем.
Аноним 30/01/25 Чтв 10:36:30 1033399 333
>>1033396
Ну и по аналогии богачи захотят мясных мешков слуг, так что не все для тебя потеряно, анон Если ты красивая тянка или шкаф бодибилдер, кек
Аноним 30/01/25 Чтв 10:36:47 1033400 334
>>1033396
Пускай тогда робот сам закидывает уголь в генератор с помощью лопаты раз такой умный!
Аноним 30/01/25 Чтв 10:38:46 1033401 335
image.png 10Кб, 432x100
432x100
КАК ЭТО ВОЗМОЖНО ??
Аноним 30/01/25 Чтв 10:39:24 1033402 336
>>1033399
Да, поэтому выведут всяких кошкодевочек и эльфийских юношей, а мы, не гмо люди им не нужны.
>>1033400
Это будет, но потом
Аноним 30/01/25 Чтв 10:42:19 1033408 337
>>1033402
> кошкодевочек
лошадедевочек
Аноним 30/01/25 Чтв 10:42:42 1033409 338
>>1033399
>Ну и по аналогии богачи захотят мясных мешков слуг
Да как сказать, в андроидихах с мясистыми ляжками и массивными сиськами есть своя прелесть. И никаких забот впридачу. От живых слуг одни проблемы.
Аноним 30/01/25 Чтв 10:44:35 1033410 339
>>1032095
> Ждать буквально пол часа на один ответ - норм работа.
А раскидать по сети — думаешь будет быстрее? Там же задержки, не? Я ни Petals, ничего в свое время не ставил. Не знаю, насколько оно норм работает.
Хотя-а-а… На тех же маках вроде норм.

Ну, мэйби, мэйби…

>>1032242
Модель? Очевидно:
R1-distill-Qwen-32b
R1-distill-Llama-70b
R1 полная

Шо тут еще.

>>1032287
Это или очень жирный вброс, или очень глупый автор, в обоих случаях сочувствую.

>>1033300
Ну, типа.
Р1 действительно хорош и продается за копейки. Поэтому хайп.
Р1 обучили дешевле, хотя ОАИ очевидно дохуя ресерчит. Поэтому паника, от непонимания.
Как-то так.

>>1033307
Пусть эти инвесторы сами на бересте обучают. =D
На самом деле, я думаю, Хуангу на руку — только акций прикупил на снижении.

> покупки акций нвидии
Я об этом уже пять лет говорю, когда они еще 150 млн стоили.

>>1033331
С 256.
Со 128 даже. С выгрузкой на ссд.
На 170+ гигах на зявоне с псп 50 ты получишь 1,5 токена сек, вполне возможно. А если псп 80, то и все 2,2. =)

>>1033341
Просто нашли эндпоинт, он был неприкрыт.
Я называю это опенсорс. =D

>>1033345
Уже сто раз говорил, что обучали на синтетике.
И представляется она не столько гопотой, сколько Яндексом и Сбером. =D
Но, очевидно, что датасеты содержат синтетику с о1, это же пиздец логично так делать. Не понимаю проблемы.
Аноним 30/01/25 Чтв 11:35:58 1033448 340
>>1033319
>>1033267
Мистралеподелия - они такие.
Обязательно будет : blush, wispers, пока-пока-покачивая бедрами.

Аночусы и ии кильки, попробовал я команд-р, думал мне потребуется больше времени, чтобы понять что он из себя представляет.
I'm disappointed
Кто там говорил что лучше мистралеподелей ? Потому что это пиздеж.
У меня с кумдонией никогда не было проблем с пониманием написанного мною. Она переваривала мои текста, разбивала на части и отвечала. А вот командр это какой то пиздец, он понимает только простую конструкцию ответа, если ты хоть немного, хоть чуть чуть напишешь что то отличное от
Я взял чашку. Чашка была пустая. Я поставил чашку.
Там начинается такая шиза, что пиздец. Я в первые вижу чтобы сетки больше 12b, вообще хуй забивали на контекст беседы. У цидонии мозги плавятся когда контекст перегружен, а командр мне выдал все сразу. И персонажи разговаривают во сне с друг другом и разговаривают находясь в разных помещениях, Про потерю одежды я даже молчу. А позы, позы блять. И я не про кум. Почему сидящий на толчке персонаж чешет ногой своё ухо. Это чё блять ?
Аноним 30/01/25 Чтв 11:40:05 1033454 341
>>1033340
>походу переходить на кобальд нада
Я вообще не понимаю, зачем нужны еще какие то связки кроме таверны+кобальта, ну не считая технических задач.
Что вы с угабугой там делаете ? Exl2 запускаете ?
Аноним 30/01/25 Чтв 11:43:28 1033459 342
А что за цидония? Для кама норм? Киньте ссылку. Щас я сижу на гемме 27б.
Аноним 30/01/25 Чтв 11:46:39 1033461 343
>>1033459
Почитай, блять, тред. Серьезно, я понимаю когда вопрос в смытом треде, но выше же уже обсуждали.
>>1031890
Аноним 30/01/25 Чтв 11:46:42 1033462 344
>>1033448
>Почему сидящий на толчке персонаж чешет ногой своё ухо
Погавкай.
Аноним 30/01/25 Чтв 11:48:22 1033463 345
>>1033462
Лол, а ты прав. Тогда понятно откуда взялся этот оборот. А то я неиронично сидел и думал, как вообще человек может чесать ухо, а если paws заменить на leg, то все прям понятно.
Аноним 30/01/25 Чтв 11:53:50 1033465 346
>>1033461
Прошу прощения, я залётный. Пошёл качать.
Аноним 30/01/25 Чтв 11:53:59 1033466 347
>>1033461
мимодругой анон
А эта ваша сидония для нищуков 8гбитных существует? Листаю обниморду, а там все 22В.
Аноним 30/01/25 Чтв 11:54:45 1033467 348
>>1033454
ЕХ-лама да естесно - она вроде для этого и нужно ибо все остально не работает (хотя должно)
темболее не у всех есть авх2
Аноним 30/01/25 Чтв 11:55:51 1033469 349
image.png 65Кб, 371x652
371x652
>>1033261
Последний раз на таких сидел. Но вообще я их регулирую: если видно, что совсем сильно похожие ответы идут, то детерминированность можно уменьшить, повысив темпу и/или понизив смуфинг. Если, наоборот, тупит, то в другую сторону меняешь. Ну и минП можно увеличивать-уменьшать отсечку, но его особо не трогаю. Температура перед минП в порядке сэмплеров, т.к. воздействие темпой со смуфингом с текущими значениями само плохой хвост зажимает, так что правильнее его после темпы+смуфинг отрезать.
Аноним 30/01/25 Чтв 11:57:19 1033471 350
>>1033466
Может и есть, но лучше выбирай что то другое. Я не могу утверждать. Что будет плохо, но скорей всего будет очень хуево. Посмотри в сторону небольших миксов и немоподелий.
Аноним 30/01/25 Чтв 11:58:50 1033473 351
>>1033300
Инфоповод и раздутый хайп. Можешь просто порадоваться что у опенов теперь есть оче интересный конкурент, который (пока) поддерживает опенсорс, а Альтман визжит как побитая сучка.
>>1033304
Шиз, таблы
>>1033340
Что ты не можешь загрузить? "У меня компьютер не работает."
Аноним 30/01/25 Чтв 12:00:28 1033475 352
>>1033473
>Что ты не можешь загрузить?
локальные модели очивидно.
а если губа губа то очивидно через ЕХ-ламу
Аноним 30/01/25 Чтв 12:02:34 1033477 353
>>1033466
Это тьюн именно 22б. Подозреваю, что у rocinante схожий датасет (та же группа тьюнила), но она будет тупее в силу более всратой базовой модели.
Аноним 30/01/25 Чтв 12:03:17 1033479 354
ЕСТЬ какие то пруфы что дипсик реал опенсорс и не просто потому что китаец "ЯСКАЗАЛ"?
Аноним 30/01/25 Чтв 12:04:26 1033481 355
>>1033349
Модели становятся лучше, но в целом, если хочешь что-то типа рп, где нужно восприятие абстракций - готовься к размеру как можно больше. Чем меньше сетка - тем более копиумно и прямолинейно она будет все воспринимать, даже если хорошо задрочена выполнять длинные команды или как-то рассуждать.
>>1033410
> думаешь будет быстрее
Да ктож его знает, обменов там немного и по локалке должно быть быстро. Это не петалс а надстройка над жора-сервером.
>>1033454
> зачем нужны еще какие то связки кроме таверны+кобальта
Зачем нужен кобольд, когда есть llamacppserver? Зачем нужен кобольд когда есть убабуга? Зачем нужен жора когда есть эксллама?
Странный ты.
>>1033475
> У меня компьютер не работает!
> Расскажите подробнее что именно
> Совсем не работает!
Лол
>>1033479
Идешь на обниморду и скачиваешь веса.
Аноним 30/01/25 Чтв 12:06:15 1033483 356
image.png 11Кб, 70x62
70x62
>>1033481
>Идешь на обниморду и скачиваешь веса.
это которые голые не форматированые? так они ж просто так не запустятся - или о чем ты
как же скотски лагает моче-сасач
Аноним 30/01/25 Чтв 12:07:44 1033485 357
>>1033481
>> Совсем не работает!
типичная ошибка что не удалось загрузить модель и ссылки на строки кода на питоне - что тут еще впринципе сказать можно?
Аноним 30/01/25 Чтв 12:08:14 1033488 358
>>1033483
Он именно об этом. Веса есть в доступе. То что их не сможет обычный user запустить, это проблемы пользователя.
Аноним 30/01/25 Чтв 12:09:35 1033489 359
>>1033483
> не форматированые
Что?
Код для запуска есть, даже в лаунчеры поддержку добавили. Если достаточно хотябы оперативной памяти то можешь крутить на процессоре, если есть карточки - крутишь быстро и красиво.
>>1033485
Ты нормально можешь сформулировать что конкретно у тебя происходит? Что делаешь, на каком этапе отваливается, что пишет в консоли?
Аноним 30/01/25 Чтв 12:22:13 1033502 360
image.png 28Кб, 626x357
626x357
А что эти буковки обозначают? Разные размеры внутри одного кванта? Как ориентироваться в этом?
Аноним 30/01/25 Чтв 12:22:54 1033503 361
>>1033448
В новой версии 08-2024 уже многие разочаровались и в треде об этом. Но некоторые до сих пор его почему-то защищают. Старый был лучше. Единственный плюс коммандера - он без цензуры, ну и возможно не так отравлен слопом, как мейнстримные геммы и мистрали. Про еблю и жесть наверное может накатать что-то кроме шиверсов, курвсов и аполоджайзов.

Алсо, перепроверь правильность промпт формата. Защищающие утверждают, что коммандер очень чувствителен к нему (хотя другие модели настолько сильно не ломаются, подхватывают "чужое" форматирование и всё равно выдают что-то вменяемое). Хотя у меня он что так тупой, что эдак, уступает старой версии себя же (но та память жрёт).
Аноним 30/01/25 Чтв 12:27:27 1033508 362
>>1033503
> хотя другие модели настолько сильно не ломаются
Еще как ломаются, просто щитмиксы генерят свой слоп при любых условиях, используя остатки разума чтобы подхватить другие токены как разметку.
Аноним 30/01/25 Чтв 12:30:14 1033515 363
>>1033502

Платиновые вопросы.

Тут же очень просто догадаться - ты размеры вещей брендов на рынке видел? Или тебе мамка покупает?

Small, Medium, Large

Бывают еще XS и XXS - eXtra Small и eXtra-eXtra small.

Чем больше - тем лучше модель, но и весит больше.
Аноним 30/01/25 Чтв 12:33:13 1033519 364
>>1033488
хуеву тучу тредов в шапке писалось что их так запустить нельзя и нужно форматированые. каким хуем ктото типо меня может знать и уметь обратное
>>1033489

>Если достаточно хотябы оперативной памяти то можешь крутить на процессоре
екс лама это шутка какаято?

блять хули не ясно то? я ж говою загружаю модель в ламу которая всегда работала а тут угабуга выдает ошибку на строки кода питона. типо в какой то линии какое то слово или токены - я не вссматривался

может тебе еще астрологический расклад написать для полноты картины?
Аноним 30/01/25 Чтв 12:36:01 1033522 365
>>1033519
Там пишут что ты долбоеб и не прошел интеллектуальный ценз для запуска. С этим ничего не поделать, только смириться или совершить ркн.
Аноним 30/01/25 Чтв 12:36:45 1033524 366
>>1033502
Так, судя по всему ты тоже решил цидоньку скачать.
Я еще раз напомню: желательно чтобы у тебя было хотя бы 16гб ВРАМ. Если меньше, то не стоит.
Я не настаиваю, твой выбор, но сидеть жать 400 токенов по 10 минут, это будет больно.

>>1033503
>Алсо, перепроверь правильность промпт формата.
Вот в этом вся и проблема. Гематагенки и мойшстрали работают чуть ли не с коробки. Но тут было дело не в промте, это именно то как она вычленяет содержимое. Буквально : о, он что то сказал. Значит он сказал персонажу. Ну и что, что персонаж спит.
неслышимый вопрос повис в воздухе и они все поняли.
Аноним 30/01/25 Чтв 12:39:28 1033528 367
>>1033331
>и он не будет весить так дохуя

Используй квантование кэша, Люк. На 4-битном квантовании уменьшает вес в 4 раза, позволяя например на одной 4090 запустить 32В модель с 100к контекста.

>выпустят модели с "долгосрочной памятью", обучающиеся во время работы

Это невозможно в рамках технологии трансформеров. Да, game was rigged from the start, все современные ИИ изначально делаются на свалку чтобы потом все накопленные шишки и опыт применить к нормальной технологии.
Аноним 30/01/25 Чтв 12:40:44 1033529 368
>>1033459

Сиди лучше дальше, охуеешь с залупов.
Аноним 30/01/25 Чтв 12:41:31 1033530 369
>>1033522
пошел нахуй
давай ты не будешь пиздеть якобы тут все качают не гуфы а голые весы
Аноним 30/01/25 Чтв 12:43:19 1033531 370
>>1033529
Ты опять выходишь на связь ?
Вот почему то у меня не лупится, наверное лично святой Нейроний меня благословил.
>_> только попробуй про русское РП написать, я тебя съем, блять.
Аноним 30/01/25 Чтв 12:43:28 1033532 371
>>1033362
>с нуля при запуске контекст максимум 5 мин обрабатывала

У тебя резервный механизм нвидии по пробросу видеопамяти на оперативку вместо ошибки переполнения видеопамяти включился. Лучше выключи его нахуй, работать с этим говном все равно невозможно, пусть ошибку выдает.
Аноним 30/01/25 Чтв 12:44:27 1033533 372
>>1033531

Да. Про залупы мистралей не знает только тот кто их не запускал.
Аноним 30/01/25 Чтв 12:46:00 1033535 373
>>1033533
За сочнейшие описания, вариативность и понимание ситуации и контекста надо платить.
Но если ты мне сейчас принесешь какую нибудь модель, с нормальным квантом в пределах 17-19гб, которая выебет ебучую цидоньку, я тебя расцелую и буду на руках носить.
Аноним 30/01/25 Чтв 12:48:38 1033537 374
>>1033532
> Лучше выключи его нахуй
как?
>по пробросу видеопамяти
а не пиздиш ли ты часом? все время генераций озу заполнено на одинаовый процент
Аноним 30/01/25 Чтв 12:49:17 1033539 375
>>1033515
А что выбирать: Q6_k без буквочки или Q5_L? Или что лучше Q5_k_s против Q4_k_L
Всегда ли цыфра после Q бьет любую низшую масть даже если она _s?
Ебать, как с процессорами Интел выбери поколение и ещё модель и как с видяхами 4070 против 3090 если не знаешь, то проебешься подумав, что цыфра 4 бьет цифру 3. Ну ты понял вопрос?
Аноним 30/01/25 Чтв 12:50:15 1033541 376
image.png 152Кб, 1176x944
1176x944
image.png 18Кб, 1175x125
1175x125
image.png 179Кб, 1178x590
1178x590
>>1031740
Установил пик1 и regex 2,3 и файлы.Выдает пик3 при нажатии "Capture Thoughts"
Аноним 30/01/25 Чтв 12:50:49 1033543 377
>>1033530
Нахуй твоя жопа хороша, маня. Какие гуфы, какие голые веса, тыж долбоеб конченый.
> весы
близнецы
Аноним 30/01/25 Чтв 12:51:44 1033544 378
17367355463510.png 47Кб, 810x666
810x666
В чем отличие Qwen от Llama? Какую качать?
Аноним 30/01/25 Чтв 12:52:33 1033547 379
Ой.png 114Кб, 726x876
726x876
>>1033539
>А что выбирать
Даже не знаю, вот бы кто нибудь к гуфам писал в описании что нибудь. Ах если бы... Жаль что информации никакой нет.
Аноним 30/01/25 Чтв 12:55:49 1033555 380
>>1033543
> Какие гуфы, какие голые веса,
>пук

> какие голые веса
так ты ж сам сука ппредлагал

какие гуфы? пикрил смтори чмо
>>1033502

----


>>1033547
бери то что весит побольше и все и чтоб чуть места для контекста было
Аноним 30/01/25 Чтв 12:56:56 1033558 381
>>1033535

Чел, мы с тобой сравниваем разные вещи. Ты еще не надрочился на англюсик, а я дрочил на нем со времен Пигмы, и мне надоело - я переключился на русский и оцениваю модели исключительно по пониманию русского языка.
Потому тебе командир и не зашел - он многоязычный, в нем пожертвовали английским ради других языков. Как ни еби мистраль, но он англоязычный.
Аноним 30/01/25 Чтв 12:57:44 1033561 382
Screenshot2025-[...].jpg 57Кб, 834x230
834x230
>>1033547
>информации
Это хуйня, а не информация. По ней например _M и _S одинаковы.
Аноним 30/01/25 Чтв 12:58:34 1033562 383
>>1033541

А ты на staging таверне?
Аноним 30/01/25 Чтв 13:01:04 1033565 384
Аноним 30/01/25 Чтв 13:01:22 1033566 385
>>1033539

>Q6_k

Это аналог среднего.

Больший квант вне зависимости от размера всегда лучше меньшего.
5_K_S всегда лучше 4_K_L.
Аноним 30/01/25 Чтв 13:01:30 1033568 386
У какой LLM на сегодня лучший показатель корректности? DeepSeek?
Аноним 30/01/25 Чтв 13:01:44 1033569 387
>>1033565

Тогда перейди на нее.
Аноним 30/01/25 Чтв 13:02:42 1033570 388
на сколько лучше модели на 40 гигов чем на 20 и в чем обычно?
Аноним 30/01/25 Чтв 13:02:45 1033571 389
>>1033544

Не качай эту хуйню, козленочком станешь.
Аноним 30/01/25 Чтв 13:02:59 1033573 390
>>1033558
>Ты еще не надрочился на англюсик
Да при чем тут дрочка, если главное требование к сеточке от меня, это вариативность и умение понимать ситуацию. Я блять посмотрел как комнадр хуй кладет на промты карточек и на ситуацию. Пасиба, то что я хотел. Я не просто так ношусь с цидонией, я бы с радостью поменял её на что ни будь, ибо заебала. Но ничего нет. Все модели одинаково хуевы, но хуевы еще больше. А в 30b+, моя 4080 делает KRYA, IM HIT, OUT OF MEMORY, BLUSH.
>>1033561
Если кратко, то ты как пользователь в пределах одного кванта разницы не заметишь. А вот между Q6 и Q4 - еще как блять заметишь.
Аноним 30/01/25 Чтв 13:03:34 1033574 391
>>1033570

Зависит от модели. Новые модели на 20 гб ебут старые модели на 40 гб.
Аноним 30/01/25 Чтв 13:04:04 1033575 392
Аноним 30/01/25 Чтв 13:06:24 1033578 393
>>1033574
> Новые модели н
окей я ищу модели например - как я узнаю что она новая а не старая?
Аноним 30/01/25 Чтв 13:08:03 1033580 394
>>1033578
>как я узнаю что она новая а не старая?
Сырно, пиздуй лягушек морозь, откуда у вас интернет в вашем Генсокё
Аноним 30/01/25 Чтв 13:10:15 1033583 395
image.png 89Кб, 344x371
344x371
Аноним 30/01/25 Чтв 13:11:10 1033584 396
>>1033573
>умение понимать ситуацию

Это невероятно субъективная и очень сложно отслеживаемая хуйня, очень сильно зависящая от правильных настроек, промпта и инструкций. И от языка модели. Плохо понимающая язык модель не понимает и неверно интерпретирует инструкции и промпт.
В отличие от залупов, которые сразу заметны глазу и легко пруфаются.

>Да при чем тут дрочка

Притом что я в переносном значении это слово использовал. Фейспалм.
Аноним 30/01/25 Чтв 13:12:52 1033586 397
>>1033515
>Тут же очень просто догадаться - ты размеры вещей брендов на рынке видел? Или тебе мамка покупает?
>Разные размеры внутри одного кванта?
Ну я так и предполагал. Но мало ли что они там могут написать.
>>1033524
>желательно чтобы у тебя было хотя бы 16гб ВРАМ.
Ну у меня ддр5. И 4070S. Гемма 27б q4 почти на 8 т\с идёт
Аноним 30/01/25 Чтв 13:14:17 1033588 398
>>1033575

Потому что эта хуйня не предначена для использования. Во-первых её запустить не так просто, новичок не справится, она с кондачка тебе только шизу на китайском выдаст, во-вторых, даже после правильных настроек она выдает вот это >>1030834 >>1030866, обрати внимание какие модели аноны в треде обсуждают.
Аноним 30/01/25 Чтв 13:14:24 1033589 399
17380708715920.jpeg 6Кб, 285x177
285x177
Аноним 30/01/25 Чтв 13:17:44 1033591 400
Мне одному кажется, что после хайпа дипсика в тред набежало много ньюфагов? Не как что-то плохое, просто наблюдение.
Аноним 30/01/25 Чтв 13:17:47 1033592 401
>>1033586
>Гемма 27б q4 почти на 8 т\с идёт
А не, нифига, 4 токена оказывается. Но это с 12к памяти.
Аноним 30/01/25 Чтв 13:18:07 1033594 402
>>1033588
Cydonia? Эти все модели, что вы обсуждаете, на DeepSeek основаны?
Аноним 30/01/25 Чтв 13:19:18 1033595 403
>>1030834
Лол это ты которую запустил то? Мне нравится.
Аноним 30/01/25 Чтв 13:19:41 1033597 404
>>1033591
Ну извиняйте уж, я хочу попробовать локальную модель. ЧатГПТой не пользовался, потому что отсылаешь данные дяде жиду, а я параноик.
Аноним 30/01/25 Чтв 13:20:27 1033599 405
>>1033594
Анта бака? Сидония не связана с диксипом!
>>1033591
Я старичок, возбудился от новой потенциальной базы
Аноним 30/01/25 Чтв 13:21:12 1033600 406
>>1033537
>как?

Use Mlock в кобольде или погугли как сделать это в панели nvidia чтобы раз и навсегда для всех программ.

>все время генераций озу заполнено на одинаовый процент

А ты не озу смотри, а общую видеопамять.
Аноним 30/01/25 Чтв 13:22:28 1033603 407
>>1033594
В шапке есть инфа о моделях и на чем они основаны, не поленись почитать её. Цидония работает на базе мистраля. Нормальных моделей основанных на дип-R в природе нет. Ты или используешь 670B оригинал или получаешь кусок шизы.
Аноним 30/01/25 Чтв 13:23:04 1033606 408
>>1033595

Дипсинк-квен-32В.
Посмотри лучше другие скрины в треде, они понравятся больше.
Аноним 30/01/25 Чтв 13:25:35 1033608 409
НОВИЧКИ - ЧИТАЙТЕ ШАПКУ, ТАМ ВСЕ НАПИСАНО
Аноним 30/01/25 Чтв 13:26:13 1033609 410
>>1033606
блин вложится в видюху чтоли. 14b не выдаёт так хорошо.
Аноним 30/01/25 Чтв 13:27:37 1033613 411
народ, поясните за шмот дистил модели, это типа из говна когда отбирают самые говенные соки передающие всю говенность говна чтобы говно меньше места занимало?
Аноним 30/01/25 Чтв 13:29:36 1033614 412
>>1033573
>Если кратко, то ты как пользователь в пределах одного кванта разницы не заметишь. А вот между Q6 и Q4 - еще как блять заметишь.
А можно заметить разницу между Q8 и fp16? А то есть одна хорошая моделька, для которой мне врама не жалко...
Аноним 30/01/25 Чтв 13:30:10 1033615 413
>>1033613
это типа приходит дипсик с палкой и пиздит более тупые модели до тех пор пока они не начнут повторять за ним так хорошо как могут. даже если они делают это не так хорошо, они справляются лучше чем раньше.
Аноним 30/01/25 Чтв 13:30:17 1033616 414
>>1033609
32b уже золотой стандарт сейчас, даже q3 сильно лучше результаты выдет чем 14b q5 например
Аноним 30/01/25 Чтв 13:30:42 1033617 415
>>1033584
>Это невероятно субъективная и очень сложно отслеживаемая хуйня
Отнюдь. Понимание очень объективно. Если нейросетка срет гоблинами при зачистке подвала от боевиков, то у меня есть ряд вопросов к сеточке, почему она игнорирует сеттинг.
>В отличие от залупов, которые сразу заметны глазу и легко пруфаются.
Лупы и пупы требуют опыта. Я спорить не буду что мистрали грешат этим, лол, я сам неоднократно превращался в халка и хотел разбить монитор. Но и тысячу раз но - опыт, сын ошибок трудных. Со временем я научился с ними воевать и теперь наслаждаюсь чистейшим blush в бесконечном приключении.
>Притом что я в переносном значении это слово использовал. Фейспалм.
У меня уже мозг переполнен контекстом треда, не вывожу иронию.
Аноним 30/01/25 Чтв 13:32:01 1033621 416