В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Основную модель, по которой идет хайп, не запустить обычному человеку, смертным доступны только маленькие дистилляты этой модели, которые уступают уже существующим моделям. Обсуждение веб-версии Deepseek ведется в соседнем треде. Всем чаю с молоком
Я пока шапку читаю в поисках ответа на свой вопрос - задам вопрос в тред, вдруг или я не найду того что ищу в шапке, или вы ответите быстрее чем я найду.
Нужна локальная модель с хорошим пониманием (и генерацией) русского языка. В общем-то достаточно чтобы она была способна генерировать более-менее связные пасты про говно, например. Можно положить хуй на написание рабочего кода или поддержку большого контекста - она будет работать с сообщениями из тележного чатика и держать в контексте последние несколько сообщений. Ресурсы невелики - 4Gb VRAM, 16Gb RAM, CPU что-то уровня i3/i5 примерно 8 поколения, хост под Windows. Конечно же хотелось бы не выгружать ее из памяти, и если VRAM я могу отдать весь, то RAM мне нужна хотя бы половина свободная от нее для других задач. Запускать хочу через ollama, которая предоставляет мне API.
Дайте что-нибудь пожалуйста, удовлетворяющее этим условиям.
>>1041292 → >Стоит (ударение поставь по вкусу), но нужно найти свой тюно-мерж. Действительно. логично, даже спорить не буду. С одной стороны у нас мистралияподелия в которых, в худшем случае 8квант весит 19гб. И 70ая Лама. Где жизнь начинается от 40гб. Легкий переход ёпта.
> Nexusflow/Athene-V2-Chat Точно не для ерп, аположайзит, если пиздануть то подтупливает. Нужно хорошенько пердолиться с промтом чтобы получить, ну и не сказать что там сильно приятный результат для обычного рп, хотя в целом умная. Не понравилась вообще.
>>1040575 → > превысить потолок Там не столько потолок, сколько припезднутая реализация контроллера памяти с делением и межблочными задержками, которая в свою очередь не позволяет достигнуть должного перфоманса в требовательных к псп памяти вещах. Штеуд тоже не подарок, далеко не каждый софт хорошо ложится на разные типы ведер, но с памятью у него все в порядке и нет костылей. > превысить потолок Где? Тут 90, хотя на этой частоте должно быть 100 или около того. В зависимости от версий есть нюансы с оценкой скорости записи, что в том числе видно по "тормознутому" кэшу. > А с латентностью там что? Для игрунов, у которых не хватило денег на профессор с кэшем и на видеокарту, и на монитор, и на девайсы, и на эргономичное кресло вместо гоночного треша, и т.д. >>1040576 → Сейчас бы тратить много часов и десятки прогонов ради циферки, а потом трястись от бсодов и вылетов, гадая из-за рам ли такое происходит. Особенно рофлово стебать красных фанатов разгона в войсчате, когда они посреди раунда в подпивасных соревновалках вылетают, и после 4-го раза идут ребутатся чтобы сбросить в jdec. Это раньше бета тестеры были вынуждены шатать десятки значений, чтобы заставить синхронизированный на режим рам анкор нормально работаеть. Сейчас это не нужно, но почему-то все равно продолжают мучаться. Если так хочется цифры - можно сразу купить нормальное железо и игросральные плашки, или же пожертвовать ерундой, которую никогда не заметишь. > ты пердолишься Я же не долбоеб, воткнул, включил xmp, заимел 110 на 96гб, забыл.
>>1041364 Веб-версия ближе к копросеткам. Все эти джейлы, регистрация через VPN на китайский номер и прочее говно. Локально 666B никто обсуждать не запрещает, но средствами для запуска тут обладает 1,5 анона, и то во втором кванте. >>1041373 Чел, нейронка не знает, сколько ты там задал, лол.
>>1041420 >Точно не для ерп Никто не утверждал обратного, лол. Модель умная, да, но не более. Тюнов, увы, нет. >а потом трястись от бсодов и вылетов Один раз настраивается и работает, ХЗ откуда взяться вылетам на мега стабильном кофиге. >заимел 110 на 96гб Плашки скинь.
Здарова педики, подскажите появился ли дистилированный ДиксПик весом 12-18 гб с нормальной поддержкой русского, чтобы нейросеть не плясала иероглифами?
Уважаемые аноны, подскажите недавно вкатившемуся модельку для генерации историй и рп на русском, буду признателен, поюзал pathfinder из шапки, понравилось, стер шишку, но может что есть еще получше. Под капотом 4080 и 64г оперативы
>>1041466 Открываешь ссылку с актуальными моделями и дрочи на здоровье. Все что миксы от анонов- тебе туда. Цилонька и пантеон - это про English cum. Хоть и мистралька. Есть еще 35 командр, он вроде сносно может в русский. Можешь еще двадцатую гемму потыкать. Но сугубо говоря, после командр и малой мистрали ничего вменяемого больше нет. Все остальное ты не запустишь (ну как не запустишь, запустишь с 1.5 т/с)
>>1041433 > Никто не утверждал обратного, лол Пару тредов назад ее преподнесли как норм для рп, потому так и оценивал. > на мега стабильном Когда ты выкручиваешь все к краю, на что ненавязчиво намекает "прогон 11", это уже оче далеко от мегастабильности. Уже проходили и сам когда-то страдал этой херней > Плашки скинь. Корсары на 7200 не подумай что долбоеб чтобы переплачивать за те же м-даи с лгбт и накрученным профилем, просто в тот момент они стоили даже чуть дешевле других
>>1041487 >Пару тредов назад ее преподнесли как норм для рп РП и ЕРП всё же немного разные направления. >на что ненавязчиво намекает "прогон 11", Всего штук 18 было, лол. Я откатился с крайних если что, вот на 6400 была нестабильность. Но тесты для того и нужны, чтобы выявлять такое. >м-даи с лгбт Лол. У меня аллергия на ЛГБТ, всегда фильтрую не глядя. Поэтому сижу на G.skill Ripjews. А где брал? На яшамаркете нихуя по параметрам 96GB (2x48GB) 7200MHz.
>>1041136 → >кря >>1041145 → >новенькую версию Фигня. Ну душевно. Но фигня. 4 квант того не стоит, мозги хуже чем у мистралек. Ломает форматирование, забывает буквально что было в начале своего же поста, забывает с кем говорит. Литералли 50 первых поцелуев.
>>1041534 Там оригинальный репозиторий требует шаринга, лол. А вообще, модели 3 месяца, зачем тебе эта древность? Я в треде про эту версию айи ничего не слышал.
О ! Я уже попробовал из прошлого тредика Гемасутру- ну гемма, как гемма. Даже добавить нечего, лол. Нахуй нужна, не пойму. Цидонька на мистрали тот же опыт. Но может в Великий и Могучий (Но криво). >>1041539 Поддвачну. Ну то есть, если 70ая гемма делает вещи, то её обрубок нахуй не нужен. Литералли мистраль лучше.
2 дня как вкатился, на своей 6 Гб видеокарте и 16 Гб заметил интересный разброс скорости обработки только заменой версии одного драйвера на другой, откат на старую заметно быстрее работает. Может, кому-то будет полезно. Увеличение частоты ядра и памяти на +150 Мгц эффект дает еле заметный. Пробовал на KoboldCpp, модель LLaMA2-13B Q4. Посоветуйте модель для РП на русском или simple engish, кто чем доволен по использованию, чтобы лампово поняшится и делать всякое. Не смог осилить по контексту, ЕРП - это оно?
>>1041521 Оно и в рп не туда все время уводило по одним рельсам, хотя в целом ПОДМЕЧАЛА и воспринимала норм, просто скучно. Даже для проверки подрубал другие - на тех же карточках норм, даже без "оптимального" промта. Может просто сценарии не те, прямо плохой ее не назвать, но подойдет далеко не для всего. > Ripjews Содомит > А где брал? Где на раскрутке возвращали наебаллами до 2/3 выставленной цены. Тогда и 7500 (или с другой частотой но быстрее) были задорого, а сейчас из больших небинарных по 2-3 варианта в магазинах. Дефицит? Насчет стабильности, при интенсивной и продолжительной работе в горячем корпусе все конфигурации впритык начинают рассыпаться. А еще с появлением в корпусе дополнительной печки, которая удачно обдувает плашки, можно получить проблемы даже на jdec. Диагностируется невероятно сложно, но лечится элементарно. >>1041545 > Цидонька на мистрали тот же опыт. Этими тюнами настолько угробили умняшку гемму, что она опустилась до мистраля?
>>1041575 >Этими тюнами настолько угробили умняшку гемму 27 гемма никогда не отличалась умом и сообразительностью. Ну не будем врать сами себе. Мистралька в английском РП таки получше будет. А хорни тюны так вообще заебись. Настоящая гемма с 70 начинается.
>>1041562 И чем он новый, рпшил с ним в роли биомеха из Lust Gear, без размышлений он фактически тот же квен, ну получше немного думает, мб из-за ризонинга, но слог суше и техничнее.
>>1041574 >Посоветуйте модель для РП на русском НАХУЙ ПОШЕЛ. БЛЯТЬ. СОБРАЛСЯ И УПИЗДОВАЛ К ХУЯМ СОБАЧИМ. СУКА КАЖДЫЙ ТРЕД ПО ПЯТЬ ВОПРОСОВ БЛЯТЬ. НУ ПОГУГЛИ В ПРОШЛОМ ТРЕДЕ СУКА. НИХУЯ ЗА ДЕНЬ НЕ ПОМЕНЯЛОСЬ, ВСЕ ТАК ЖЕ. У БЛЯТЬ КАК ЖЕ ТЫ МЕНЯ БЕСИШЬ.
Ну а вообще добро пожаловать, посмотри в шапке миксы от анонов.
Мне кажется все ко срут все новые выкладываемые в тред модели даже не пытаются настройки соответствующие этим моделям, так со своего нищедристраля 12В их и тянут, потом докладывают что модели говно.
>>1041597 Ну давай. Поведай. Что же ты такого нашел, что мы не смогли настроить ? Какой файнтюн мистраля ты принесешь нам как откровение ? Я лично скачаю и обмажусь каждым хиден гемом, который ты принесешь. Еще и весь тред ими засру. Да даже больше. я всю доску засру, что тред чатботов опустеет.
>>1041581 > 27 гемма никогда не отличалась умом и сообразительностью Разве что если запускать в поломанном ггуфе. По сообразительности, креативу и пониманию происходящего мистралька и рядом не стоит. Хз насчет свежевышедшего, но 12 и 22 - точно. У нее только один серьезный недостаток - малое дефолтное окно контекста. >>1041597 > настройки соответствующие этим моделям Конкретизируй.
Наоборот, это вы на дристрале своем сидите и гемма вам говно, квен вам говно, командир вам говно, одни шизотьюны дристаля заебись, потому что влезают в нищезатычки.
>>1041615 >По сообразительности, креативу и пониманию происходящего мистралька и рядом не стоит. Хз насчет свежевышедшего, но 12 и 22 - точно. У нее только один серьезный недостаток - малое дефолтное окно контекста. Хуй его знает, если честно. Мы ступаем на территорию я так чувствую. Если я на 70ой гемме видел как живее идет общение, как нейронка начинает выкупать иронию, то её обрубок.. Ну честно, ну я не заметил отличия от мистрали. Но опять же, я её на пяти карточках пробовал в РП. И рассматриваю исключительно в рамках РП. Может гемма лучше на русском языке, не пробовал. Но прям качественных изменений не увидел. Но опять же, опыт другой, свайпы другие - заебись, но контекст все портит, увы.
>Конкретизируй. Вангую откровения в духе А ВЫ ЗНАЛИ, ЧТО ГЕММА ЗАПУСКАЕТСЯ НЕ НА МИСТРАЛЕВСКИХ НАСТРОЙКАХ КОМАНДР ПЛОХО РАБОТЕТ С ПРОМТОМ ОТ АЛЬПАКИ
>>1041617 Так и все что ты перечислил влезает туда же, максимум контекст порезать но это херня. Или ты пришел нести святую истину что 70b модели лучше 30b ? Так это и без тебя знаем.
>>1041534 Так сказать по свежим токенам на английском языке. Пишет свежо, похож на стандартный коммандер, но чуть живее что ли. Пожалуй его мы оставим и будем основательно тыкать.
>>1041694 >Athene v2 chat Обсуждается, причем в этом блять треде.
>EVA Qwen 32B Квен не для РП. О чем куча анонов писала. Это интсрумент, пишет сухо. >Aya expanse 32B Прямо сейчас тыкаю. Вот тебе скриншот. Я не ванга, я определять качество модели по паре сообщений не умею.
>EXAONE-3.5-32B-Instruct Вот и приноси своё кря в тредик. Будем смотреть.
>>1041639 > Мы ступаем на территорию я так чувствую. Не совсем, это очень наглядно проявляется естьи помучать всяким нлп. Не просто шизозагадки на распутывание, а что-нибудь широкое, где нужно понять конкретный контекст и суть, правильно обработав. И в рп гемма прям старается и весьма умная, не просто не забывает про количество трусов, но и понимает мотивы юзера, а не сливает на типичный рп/кум/... слоп, который в край заебал. Проблема в глупости юзеров, большинство не понимают отличий и не могут оценить по отдельным критениям. Написала так что понравилось/привык - значит хорошая, разыграла круто но не так как хотелось - плохая. И это не говоря о кривом формате. > ВЫ ЗНАЛИ, ЧТО ГЕММА ЗАПУСКАЕТСЯ НЕ НА МИСТРАЛЕВСКИХ НАСТРОЙКАХ > КОМАНДР ПЛОХО РАБОТЕТ С ПРОМТОМ ОТ АЛЬПАКИ База > на 70ой гемме >>1041723 > что я ламу за гему принял Гемма как раз довольно близка к 70 по пониманию, офк не идеальна но среди остальных выделяется.
>>1041703 >Квен не для РП. О чем куча анонов писала. Это интсрумент, пишет сухо. Итак, корабль "Святой Морган" приземлился на этот херовый мирок, который, по данным карты, был обозначен как "Девственная-7". Эти ученые пидарасы из Центра космических исследований назвали его так, потому что с их точки зрения, планета была неприкасаемой и неоскверненной. Ага, точно, как блядина в публичном доме.
Капитан Рокки Бальбоа вылез из кабины управления, потянулся, растопырив ладони, и посмотрел на эту зеленую херню вокруг. "Ну и хуйня", - буркнул он себе под нос. С ним были его команда: Мускул Джек — здоровяк, который думал, что у него есть мозги; Пиздец Charlie — технарь с кучей татуировок и грустным взглядом; и Лолита Лавина — единственная женщина на борту, которая была с ними не из-за денег, а потому что ей нравилось быть такой херовой.
Они спустились на поверхность и начали разбивать лагерь. Пляска светлячков в ночном небе выглядела красиво, но Рокки знал, что это не случайно. Они поставили палатки, разожгли костер и начали обсуждать, какую хуйню они видели.
"Эй, Рокки, ты глядел на эти долбаные горы?" спросил Мускул Джек, указывая на массивные пики на горизонте.
"Они выглядят, как пизда бабы с фаллопиевой трубой", - фыркнула Лолита, поднося кружку термоса с кофе.
Charlie, который был занят с калибровкой приборов, не поднимая головы, сказал: "Эй, ребята, вы видели это? Это не просто хуйня. Это какая-то херовая энергия."
Вдруг земля задрожала, и из-за холмов появилась процессия. Около дюжины бабулек, одетых в длинные робы и смотрящих на них с испуганными глазами, подошла к лагерю.
"Что за хулиганье?" спросил Рокки, подходя ближе.
Одна из старух заговорила на каком-то странном языке, и Charlie, который знал хуй знает сколько языков, перевел: "Они говорят, что мы нарушаем их святость. Это планета для целомудренных дамочек."
Рокки вытаращил глаза. "Ты шо? Ты серьезно?"
Charlie кивнул. "Видимо, они считают себя неоскверненными и не хотят общения с такими как мы."
"Ты глядел на их морды?" Рокки указал на Лолиту. "У нас тут тоже есть дамочка. Может, они с ней поговорят?"
Лолита фыркнула и отвела взгляд. "Советую не надеяться, Мистер Бальбоа."
Старухи переглянулись и ушли, оставив их в молчаливой тишине.
"Ну и хер с ними", - сказал Рокки, разводя руки. "Давайте собираться домой. Это не наш мир."
Они начали сворачивать лагерь, но внезапно Лолита закричала: "Эй! Смотрите!"
Из-за холма показался другой отряд бабулек с флагами и крикливыми плакатами. На них было написано что-то вроде "Сберегаем целомудрие!" и "Дайте нам еще монастырь!"
"Ну и хуета", - сказал Рокки. "Похоже, мы ненароком приземлились на планете для баб с проблемами с девственностью."
Мускул Джек расхохотался: "Нам здесь не место, ребята. Валим отсюда."
Они быстро собрались и поднялись в воздух, оставляя позади этот херовый мирок с его целомудренными бабами и непонятной энергетикой.
"В пизду", - сказал Рокки, усаживаясь в кресло управления. "Давайте домой, пока я не ебанулся."
После пользования кобольдом в хроме все тяжелые сайты по типу ютуба и твича перестают нормально работать, грузятся не полностью, любое управление недоступно. Лисобраузер работает нормально и грузит все сайты адекватно. Помогает только перезагрузка пк. Появилось только вчера, до этого спокойно пользовался кобольдом и браузером одновременно, версию кобольда все это время не менял. Память видяхи корректно освобождается при закрытии кобольда. Есть какие то идеи что происходит?
>>1042198 Толстый намек дропать сомнительный софт типа хрома и кобольда, и пересаживаться на программы для белых людей. Лиса твой бро, также попробуй llamacpp-server, если жора безальтернативен.
>>1042288 Ставь для локалок отдельный анально огороженый браузер, на вроде Midori или еще какого то старого легкого и рабочего говна и будет тебе счастье
Аноны, можно ли каким-то образом добавлять множители для эмбеддиногов? Например вот так “Anna is horny:0.5 girl, trying stay loyal to her husband” Ну или в теории можно как-то залезть сетке под капот и там уже найти этот токен и умножить его на 0.5? Потому что она пиздец хорни получается, хочется обороты снизить
>>1042314 > Объясните мне почему нельзя запускать дикпик, а то сам я нуб. Потому что для запуска оригинального 671b дикпика надо овердохуя памяти. Даже если речь идёт о ультраквантованных 1,5-бит версиях, то там будет под сотню гб рама. Потому все локально запускают дистилляты разных размеров и квантов. Они определённо тупее облачного R1. Но то что они тупее других локалочек я с >>1041349 не соглашусь. По крайней мере в сегменте 32b он точно лучше QwQ и на глаз и по бенчам.
>>1042331 >Но то что они тупее других локалочек я не соглашусь. А они и не тупее, уже 14b немного лучше чем обычная квен 14b.
Ниже да, 7b не хватает мозгов что бы делать выводы и быть производительнее оригинала. 1.5b вобще шутка, созданная просто для того что бы посмотреть как на нее ляжет дистилляция и посмотреть результат, сравнив с другими
Почему эта ебучая таверна после того как брякнул звуковой эффект окончания генерации продолжает что-то генерировать, но не пишет в чат, но кнопка висит квадратиком и на неё надо отдельно нажать чтобы можно было дальше написать.
Ева-квен почему-то любит периодически добавлять такие статус-блоки. В промте ничего нет, там вообще довольно простая и короткая карточка про пару кошкодевочек.
>>1042439 >логи таверны Хммм... а реально, это может быть авто-саммари. Но где как и зачем оно юзается?
Что за новое слово "дисциляция" у зумеров иицыган? Прочел пару цыганских высеров, нихуя не понял. Объясните на нормальном языке, вроде того что ризонин это сот+файнтьюн.
>>1042444 Это когда мелкую модель обучают на выхлопе большой модели, пытаясь таким образом ужать крупную модель. Берёшь дипсик на 671B параметров, и обучаешь на её входе/выходе модель с 1.5B параметров. А потом пилишь статьи/видосы как ты запускаешь убийцу OpenAI на Raspberry Pi.
>>1042444 Положили рядом deepseek-r1-zero:671b и qwen-2.5:1.5b. На вход подали кучу синтетики, qwen сказали: "будешь отвечать не как r1 - будем пиздить". Повторяли, пока метрики не вышли на плато. По сути они зафайнтюнили хорошую существующую модель на вот это reasoning поведение: "может так может не так, давай ещё раз подумаем с другой стороны".
Примерно как петровичей обучают на заводах кем-то давно придуманной технике работы, и те повторяют как попгуи, ни в хуй не понимая почему нужно делать именно так и если вдруг ситуация требует корректировки - все равно продолжают ебашить по старому, изнашивая оборудование, портя товары и т.д. Ну или студент который готовится к экзамену и может либо вучить все вопросы реально вникнув в суть, а может вызубрить шпору.
>>1042458 > "может так может не так, давай ещё раз подумаем с другой стороны" Я с этого реально прифигел. Довольно медленно у меня, р1 около 1т\с. И вот она высираит кучу тхинк-текста, потом: "да, не, не может быть" и тхинкает в другую сторону. Прогресс, чё.
>>1042491 >русскоязычные, без цензуры модели для 6 ГБ Они кривые все, настоящие ру модели будут если бляндекс в открытый доступ алису про или свои гопоте 3 сольет.
>>1042491 Мультилингва модели не бывают настолько мелкими в хоть сколь то перевариваем варианте. Разве что она иначально онли ру будет, но таких в открытом виде вроде нет. И тебе зачем? Для чата в таверне есть автоперевод, даже кликать ниче не надо.
Посоветуйте ксеон с алиэкспрес под эти ваши дипсики и куины? Не хочу видеокарту. Как я понял нужно по максимуму число потоков и максимум рам? Может у кого-то уже есть варианты на примете?
Ева-квен, хоть залупается не так явно как мистральки, но порой начинает гнать хоть и связный но слабокогерентный текст что бобр курва я пердолил, а базовые сценарии поведения пользователей, инициированные исключительно синтетически, становятся ассоциативно распределены по отраслям
>>1042576 Хуй знает. Я сейчас EVA-Qwen2.5-32B-v0.2-Q5_K_S пробую и чето какой-то кал если честно. Даже магнум 22б лучше генерит ролплей. Ты какую модель юзаешь?
>>1042524 >Бля, да когда уже диджидс в продаже будет? Я уже не могу ждать нахуй, хочу локально запускать 123Б модели бляяя. Ты не торопись волноваться, а дождись хотя бы первых тестов. Вот я например могу локально запускать 123В, поскольку имею 96гб врам, но как говорится есть нюанс. Это раз; а второй момент заключается в том, что даже 123В модели, которые на сегодняшний день максимум для локалок - пока что несколько не то, что хотелось бы. С какой стороны не возьми современную модель, она не дотягивает - хоть код, хоть рп, хоть картинки, хоть голос. Рано ещё суетиться обывателю.
>>1042622 70В в 5 т/с будет, быдло сожрёт. За 3к баксов хорошее предложение, учитывая что собрать на новых GPU сборочку надо в два раза больше, потому что кожаному жиду жалко добавить пару 10-баксовых чипов памяти на карту. Пока китайцы не начнут ебать куртку, так и будут все VRAM покупать за оверпрайс.
>>1042643 >это как называется если прям до упора и пережарки, то дистилляциия (дипсик), если просто на выхлопе, то просто дообучение - есть варианты на тройках запрос - хороший вариант - плохой вариант это варианты PO-алгоритмов, Preference Optimisation.
>>1042288 Просто ахуеть, хромог выебывается и кого-то пытается упрекнуть зондами. Сюрр ебаный. >>1042291 И заводит привычку каждый раз ребутаться после запуска ллмки, естественный отбор. >>1042444 Под этим термином сейчас понимают несколько вещей. Это может быть: изменение весов модели (обучением или модификацией) для достижения определенного паттерна поведения, который даст преимущества (лоботомия как в турбо-моделях диффузии или флакс-шнель, костыли-ускорялки, тот же vpred является дистилляцией); удаление "лишних" весов, оцененных малозначимыми по каким-то критериям, и сбор только наиболее значимых в составе меньшей модели. В случае дипсика это первое, прежде всего дрочили готовые сетки их датасетом с некоторыми нюансами. >>1042619 Рили? Можно ссылочку? Обидно вообще, а ведь хотелось.
>>1042531 Бери любую залупу в зависимости от того, насколько необучаемый. Если открыт к новому и прогрессивен - самое дешевое, чтобы не так обидно было. Если упертый - то что-нибудь подороже, чтобы побольше настрадаться, носясь с этой херней. Правда может переклинить и уверуешь, начав бегать с криками что 1т/с хватит всем, обработка контекста не нужна, а ускоряющий всратые кванты код трапа, который буквально этим хвастается в комментариях - благо.
>>1042524 Да хуита будет очевидная для такой цены, арм говно, непонятный графический чип. За 1.5к денег еще былоб норм. Может китайцы научатся припаивать к этому чипу нормальное количество врам и распаивать его в виде отдельной видеокарты. >>1042638 Летом/осенью с вероятностью 50% будет 5060 либо 5060ти с 24гб гддр6. Так что эти ваши жаренные 3090 будут нахой ненужны.
>>1042694 Щас бы жрать говно половина весов которого забита иероглифами. Вы ебанутые? Любая модель с двукратно меньшим количеством параметров будет такой же по сообразительности. >>1041714 Это не только в таверне. Проблема с их апи, у меня плагин браузере тоже лютую хуиту высирает.
Поясните за размер контекста. У некоторых моделей прямо указан размер. У некоторых мерджей не указано, но наверное предпологается, что контекст как у базовой модели.
Что делать, если не понятно, откуда ростут ноги? В одном из прошлых тредов советовали pathfinder-rp-12b-ru-q8_0. Какой размер контекста у нее? Или можно указывать такой, какой помещается в память?
>>1042478 > 20-30 процентных пунктов бенчей А можно без сраных бенчмарков ради инфоповодов и завлечения нормисов, а просто чтобы девочка в рп вела себя как нужно? >>1042727 > 5060 либо 5060ти с 24гб гддр6 > 5080 с 16 > 5070 с 12 Вероятность считалась по принципу "или будет или не будет, значит одно из двух".
>>1042747 >pathfinder Как и все остальные 12б мистральки - 128К номинально, но фактически стабильно 32К примерно, да и хз где столько врам взять чтобы 128К влезло.
У большинства остальных моделей - 8К, или вообше 4.
Поэтому все на мистральках и сидят. Контекст решает.
>>1042727 >5060ти с 24гб гддр6 0 вероятности. >>1042754 >А можно просто чтобы девочка в рп вела себя как нужно? Нет. >>1042764 >У большинства остальных моделей - 8К, или вообше 4. 128к у всех современных. Llama 3, Qwen2.5, DeepSeek-R1. Некоторые уже в лям могут. На каком кладбище ты 4к откопал?
>>1042733 >Вы ебанутые? Для начала квен не так плох. А потом, в конце концов ну хочется анонам пробовать что то новое, пусть пробуют. А то у нас выбор большой блять. Ехала мистраль через мистраль, да в мистраль глядела.
>>1042801 >А то у нас выбор большой блять Ну, сочетание контекста и количества рп-тюнов, а кстати почему именно мистрали, его как-то удобнее / проще / ещё что было тюнить?
На другие базовые модели или раз и обчёлся (тот же ева-квен), или вообще нет.
>>1042812 >а кстати почему именно мистрали Размер. Мистраль самая адекватная и сильная попенсорс модель. Вот и всё. По сути преимущество мистрали в одном : она есть блять Все остальные модели или лоботомировать или докупать по три видеокарты.
>>1042754 >А можно без сраных бенчмарков ради инфоповодов и завлечения нормисов, а просто чтобы девочка в рп вела себя как нужно? Низзя. Потому что... Ты как деньги зарабатывать будешь, вумник ?
>>1042643 Представь что ты заставил девятиклассника выучить монографию по квантмеху. Он нихуя не понял, но заучил буквы и циферки. А потом он рассказывает то что выучил, тому кто способен понять . Но сможет ли он объяснить ? Так и тут. ТАК НИКТО НЕ ДЕЛАЕТ БЛЯТЬ, ПОТОМУ ЧТО ЭТО ТУПО.
>>1042858 Я из шапки сюда и пришел. Память вот в этом https://rentry.co/llm-models списке это видеопамять или обычная? Что такое Magnum? Без тюнов вообще можно пользоваться?
>>1042870 >Я из шапки сюда и пришел. Ну тогда у тебя не должно быть вопросов. Эхх.. Ладно, смотри. >Миксы от тредовичков с уклоном в русский РП: Тебе сюда. >это видеопамять Да. Врам это база для моделей, потому что на всем остальном они ОЧЕНЬ ОЧЕНЬ ОЧЕНЬ ОЧЕНЬ медленные. И нет, они действительно будут медленные, можешь не пытаться. Тебя хватит на пару сообщений, не больше. >Что такое Magnum? Ебливые тюны чего угодно. Ебливые настолько что во втором сообщении лезут в трусы, чтобы что то там найти. Абсолютно из за этого бесполезны в РП, так как приходится постоянно ебливого пидораса останавливать. >Без тюнов вообще можно пользоваться? Без тюнов это оригинальные модели. Но не с 8гб. Увы, для ЛЛМ гейткип по железу и ты никак его не обойдешь.
>>1042754 > без сраных бенчмарков > чтобы девочка в рп Ну сорян, кабанчикам надо чтобы бенчи росли, чтобы бизнес задачки решались, они бабки для того и заносят. А девочкам в рп никто не заносит.
>>1042870 Если тебе не чисто кум нужен, то смотри в сторону 12b моделей в q4_k_m. Полностью они в видеокарту не влезут, наверное, поэтому скорость генерации будет не такая быстрая, как хотелось бы. Тем не менее, использовать модели меньше 12b уже совсем адская мозгоебка.
Контекст ставь 8к. Если поймёшь, что мало, можешь увеличить его, при этом скорость уменьшится.
Магнум чисто кум-модель, больше ни на что не годится в большинстве случаев. И также учитывай, что модели, которые могут в хороший рп, обычно не могут в хороший кум или могут на среднем уровне.
Нормальный рп без цензуры может дать chronos gold (вроде так называется), mag mell, а также модели автора DavidAU, которые 12b. Модели последнего чувака довольно ебанутые и шизофреничные, их сложно/нудно контролировать, однако впечатления от них более интересные.
>>1042906 >Нормальный рп без цензуры может дать chronos gold (вроде так называется), mag mell, а также модели автора DavidAU, которые 12b. Модели последнего чувака довольно ебанутые и шизофреничные, их сложно/нудно контролировать, однако впечатления от них более интересные.
Увы, нормальный рп начинается с жирных тюнов мистрали. А на жирной ламе или бегемоте ты вообще стены малафьей покроешь. Sad, but true.
Бля, а ведь когда-то локально, на консумер хардвейре можно будет запускать модели типа полноценного дикпика на 671б параметров. Представляю уже, как же это будет охуенно.
Сеньоры, имеет ли смысл переходить на линукс? Есть какой-то стимул? Кто уже перешел или только собирается, на что именно? Если на винде, в принципе, ничего не держит кроме привычек. Но она у меня работает стабильно, т.к. сторонних программ почти нет, я глянул - они есть на линуксе. Единственное, что я боюсь, это потерять стабильность. Винда за много лет почти никогда не приносила проблем в этом плане(источником проблем был всегда я). Как там с этим на линуксе? Ведь нужен нормальный драйвер нвидия cuda. Раньше, помню, баловался и там были проблемы с падением иксов, после обновлений. Потому и ушел, чтоб не разгребать руками эти проблемы. Так как оно сейчас оно, анон?
>>1042941 Если ты не понимаешь и не можешь объяснить - нахуй тебе линукс, то какого ответа ты от нас ждешь ? Сформулируй внятно мысль зачем и что ты хочешь получить.
>>1042959 >написал >хочу перейти на линукс но боюсь ква-ква Ты троллишь меня ? Я задачи для тебя на линуксе должен сам придумать ? Нет не переходи, ты тупой, это вредно.
В треде вижу очень много мистраля, квена и совсем немного ну и слава богу лламы, но при этом ни одного упоминания майковской phi 4, которая вполне себе годная в своих 14В, для рп лучше квена того же, да и в русский могёт. Почему так?
>>1043103 > Хочу разное попробовать. Пробуй. > Какая есть модель лучше чем magnum-v4-22b-Q8_0 Лучше - понятие субъективное. Кроме мистрале тюнов ничего нет. Чуть выше тебя ждет командр и гемма. А еще выше лама и совсем монструозные мержи. Если мистрали - то пантеон и цидония. Если командр - то командр, лол. Его нахуй не надо тюнить. Он и так прекрасно аутичен Еще будет 27 гемма. Но там тебя будет ждать сюрприз, а какой не скажу. Ну и запрягай коней, потому что на средних размерах появляется наконец то альфа и омега среднекума, Лама 70ая во всем её величии.
>>1043134 Ща пробую 34б магнум. Бля, какую же он лютую хуету генерит. Тянам хуи приделывает. За меня реплики и действия пишет. Вообще ебнутый. С 22б такие проблемы раз в 10 реже стреляют, что вообще не заметно. А 34б тупо с вероятностью 50 на 50 хуй приделывает, пиздец.
>>1043146 Ты никогда не задумывался, почему тут аноны так радостно пляшут от цидонии ? Почему именно мистраль ? Потому что мистраль дает пососать порой страшим моделям. Литералли лучшая девочка, но не без недостатков, но мы все равно её любим. Мистральку чмок :3
>>1042828 >>1042889 Нуууу маааам!!! >>1042895 Нахуй ты жопой крутишь, приводя в пример обрезанный выкидыш, дура? Уже все анонсировали, там такие же 8-16. >>1042901 Отличный высокотехнологичный обогреватель на 300-700вт. Если несколько штук в составе норм сервера - можно сдавать в аренду, профит побольше чем от недвижимости, но актив рисковый. >>1042907 > для ЛЛМ Для обучения, инфиренсить на ней на постоянной основе только маразматики или зажравшиеся будут.
изучаем механику работы LLM трансформеров
Аноним06/02/25 Чтв 00:24:05№1043241177
>>1043324 Ну смотри, я довольно долго сидел на пикриле, как посоветовали пару тредов назад, но потом решил поэкспериментировать и поискать более ёмкую и умную модель. Щас буду пробовать пик 2.
Когда дохожу до границы контекста, он начинает пересчитываться (?) после каждого моего сообщения, добавляя задержку перед генерацией, что мне не нравится. Вопрос: можно ли настроить суммарайз таким образом, чтобы он при достижении этой границы (условно 10к контекста) суммировал первые 5к и заменял их (как руками можно убрать сообщение из контекста) на себя (уменьшая контекст до 5.5к)? Использую таверну. В настройках не смог такое найти, но там очень много всего. ньюфаг
>>1043309 До 16 растягиваются, как раз столько в одну карту и поместится. Было бы вообще круто обновленную гемму получить, а не это вот все, с 32б квеном рп уныл как ни крути.
Кстати, внезапно с рекомендуемым шизопромтом (где насрано про "не суй нсфв когда не надо") именно магнум лучше справился с тизинг сценами и кадлингом после продолжительного подстеба slave шутками про то для чего она куплена. Не скатывая в типикал > master make me yours или новые варианты начиная с середины сообщения, а вполне отыграв умеренную невинность и естественную реакцию со смущением и милотой. Даже клодыню обыграл с ее типикал жб.
>>1043383 > промпт А ну, ебало имаджинируй просто, катал мистраля с chatml под квен. И ведь, сука, хорошо работал, только иногда проскакивающий в стриминге eos токен посимвольно смущал. В репе магнума на квен 72 пресет жсоном сразу. > карточку Форк Yuki из пушистого сборника, значения не имеет.
Какие еще интересные варианты на 22B для кум+рп? Что-то интереснее чем Цидония и Пантеон РП-пьюр? Из этих двух Пантеон чуть лучше как по мне. Цидония периодически повторяется, немного медленнее, плохо понимает когда персонаж сфидил и продолжает его чувства, эмоции и т.п. выдавать. Персонажи более простые и понятные, повествование более линейное в этом плюс. Пантеон куда-то больше в мистику тянет, и бывают приступы СДВГ на ровном месте. Хочу еще Магнум посмотреть, чью версию качать чтоб с квантами и .ггуф, но может еще что-то интересное есть на примете?
>>1043362 >>1043370 Я изначально не хотел брать немомикс тяжелее, потому что думал что он как у большинства моделей будет работать медленнее, но он работает с такой же скоростью как средняя модель и ебашит сочнейшие стены текста.
>>1042856 >Что на это ведро можно натянуть для рп без цензуры? Буквально выше кидал анону с 6 гб врам ссылку >>1042512 Разве тебе можно шестой квант взять.
>>1043529 >>1043369 Если быть точнее контекст это вообще ВСЁ что ты подаешь на вход модели, карточки/систем промы/текст в чате, всё, вообще всё. Никакого другого способа взаимодействия с моделью нет. Когда контекст заполнен и ты пишешь новую строчку в чате, чтобы продолжать работу нужно удалить часть старого и пересчитать контекст. И так с каждой новой строчкой. Поэтому любое изменение заполненного контекста = его перерасчет.
Хороших решений этой проблемы пока не существует, из того что есть на выбор 3 варианта: 1)Смарт контекст - ценой половины твоего контекста (поставил 24к станет 12к) делает перерасчет контекста не каждое сообщение, а в зависимости от размера этого контекста(сколько влезет в эту самую откушенную половину), условно при тех же 24к перерасчет будет делаться каждые 12к контекста. Норм вариант когда у тебя дофига врам и ты можешь поставить хоть 100к контекста(т.к для того же рп больше 24к ставить всё равно сомнительно, лучше в лорбук лишнее засунуть) 2)Контекст шифт - крутая штука, работает не за счет полного перерасчёта всей простыни, а делает сдвиг контекста считая только новые строчки. Бочка говна в этой ложке меда в том, что оно несовместимо с любыми свистоперделками(лор буки/заметки и т.д.) той же таверны. Т.е если что-то динамически добавляет строчки куда угодно кроме конца контекста, сдвиг тут не сработает и понадобится полный перерасчет, ещё и модель может зашизить. 3)Ручной труд - при заполнении контекста делаешь суммарайз/ручками заполняешь лорбук/карточку персонажа. После создаешь новый чат и погнали. Думаю тут комментарии не требуются.
>>1043543 >После создаешь новый чат Я гусь и я доебусь. Можно не новый создавать а прожать глазики в чате выключающие сообщения из контекста чтобы потом экспортировать в текстовый файл всё целиком если это для чего-то нужно, например нейрофанфик пишете.
Если у меня одна видеокарта на 8 Гб и я докуплю еще, то память суммироваться не будет? Т.е., чтобы модель работала быстро, нужно иметь одну большую видеокарту или можно несколько с каким-то коэффициентом понижения?
Память суммироваться будет. Но для модели, а не для чипа. Каждый кусок суммарной видеопамяти будет обсчитывать свой чип. Т.е., если у тебя 3080 + 1060 ты не получишь 14 гигов 3080, ты получишь 8 гигов на скорости 3080 и 6 гигов на скорости 1060. Так что, память суммируется, но чипы и тип памяти должны быть все же достаточно быстрыми. Все еще лучше оперативной, конечно, но случайной хуйней занимать порт на материнке не надо. Старайся брать достаточно современную видеокарту с большим объемом памяти.
Давайте уже решим, что нужно покупать для локального запуска для личного использования нейронок.
VRAM или CPU + RAM? Очевидно, что VRAM на 150 ГБ купить для личного использования нереально. Купить мощный CPU и 150 ГБ RAM реально.
Мелкие дистиляты вмещаются в игровые видеокарты, но мелкие дистиляты работают настолько плохо, что можно считать, что они не нужны. Вменяемый результат мы видим от 32b. Результат становится лучше при увеличении размера. То есть 320b будет гораздо лучше чем 32b.
Получается, стратегически, нет смысла покупать новую видеокарту, потому что всё равно туда нормально работающие нейронки не поместятся, а плохо работающие нейронки не нужны.
Я правильно понимаю, что если обновлять компьютер, действительно стоит вложиться в CPU и RAM или я не вижу какиех-то ошибок в суждениях выше?
>>1043617 Мое мнение по опыту использования, я в теме только несколько дней, поэтому считай просто наблюдением. На видюхе скорость обработки 40 токенов в секунду, на проце 3 токена в секунду. Сейчас использую модель, которая часть памяти держит в видюхе, остальное в RAM. Это функционально работает, но качество жизни страдает.
Не могу сказать, какая скорость будет в сравнении 12 Гб + 12 Гб относительно одной видюхи 24 Гб, самому интересно.
>>1043617 Ты не знаешь какая архитектура будет жизнеспособной через год. Может там будет хорошо думающий кирпичик на 7б с нулевой эрудицией, который будет получать всю экспертность из агентов. Может какая-нибудь очередная мамаба выплывет которая с ног на голову перевернёт скейлинг. Может ещё что. Так что покупай то, что запускает существующие модели, что потом в хозяйстве пригодится или продать сможешь. Я для себя выбрал 2 потребительские 4060ти, 32б влазит, качество устраивает, потом продам если что.
Может есть у кого ссыль с пошаговыми действиями для чайников, как дообучить локальную модель, к примеру докинуть ей своих текстов, чтобы в ответах она уже опиралась на них.
>>1042727 Ты забыл про чистую производительность. Ну влезет у тебя 22б в врам только вот все еще будет 1 токен в секунду из за того что карта в 3 раза слабее 3090
>>1043595 Как аноны выше уже ответили, да работать будет, и если ты не покупаешь в слот нечто странное, то будет даже хорошо работать. Я сижу на 3070+4080 с итоговой 24гб и в ус не дую.
>>1043636 Если не срочно надо, то советую курс от гугла по нейронкам. Там всё объясняется теоретически как работает и файнтьюнинг в том числе. Будешь себя гораздо увереннее чувствовать при взаимодействии с нейронками.
>>1043617 Ошибка в том, что скорость совершенно разная. Для домашнего использования в качестве замены ChatGPT-4 подойдет Qwen2.5-Coder-32b и R1-distill-Qwen-32b. Это цельные модельки, и для их работы хватит 36 гигов видеопамяти. Собрать такой объем вполне реально — материнка с 3 слотами и условные 3060@12. И будет хорошая скорость. Ну, либо 4060ti с 16 гигами 2 штучки, если подужаться (ну или 3 штучки, чтобы чувствовать себя хорошо). А вот с оперативной памяти при таком же раскладе скорость будет низкая. 1,6 токена для DDR4 и 3-3,5 токена для DDR5. Готов терпеть? Сомневаюсь. Ультимативный вариант замена o1 — это r1. Даже в кванте IQ1_XSS она занимает 170 гигов (с микро-контекстом). Ее можно запустить на оперативе, НО, ее свойство в том, что она MoE, то есть внутри нее куча мелких моделей, и работают из них только 3 (по умолчанию). В сумме там 37B активных параметров из 671B всего. Итого, мы имеем 37B фактически, да еще и более ужатых, чем маленькие 32B модели. Скорость получается все равно сопоставимая (особенности формата и типа модели), тем не менее, ты имеешь условные 1,7 токена на DDR4 и 3,5-4 токена на DDR5. Чуть получше, модель теоретичеки умнее, хотя из-за кванта (агрессивного ужатия) немного поехавшая. Если же ты хочешь катать менее ужатую модель, тебе понадобится 512 оперативы. Зато там она уже будет очень умная, да. Но на десктопной плате ты столько не соберешь. Придется брать серверную (дорогую). Если просто напихать 512 оперативы в двухканальный режим, то получите очень медленную скорость (модель-то в размере будет большая, памяти надо прочесть больше) и сидеть на 0,7~1,5 токена на огромной модели — мука. Значит берем материнскую плату с 12 или 24 каналами. Вот там уже скорость позволит гонять 5-10 токенов/секунду. Выше анон много раз упоминал какой конфиг для этого нужен.
Ну и получается, что либо ты берешь 36-48 гигов видеопамяти 2-3 видеокартами и крутишь там Квены-32б. Либо ты берешь 256 DDR5 на обычной плате и крутишь шизо-квант r1 медленно. Либо ты берешь дорогущую материнку с двумя дорогущими процессорами и кучей дорогущей оперативной памяти и за сотни тысяч рублей катаешь нормальную r1 с приемлемой памятью.
Если тебе не хватит на третий вариант, то на кой хер тебе много оперативы, скажи мне? У тебя так дохуя времени, что ты готов ждать ответы по 20-40 минут (я не преувеличиваю, это реальной время ответа r1 на обычной памяти)?
Надеюсь, ты понял, почему твоя идея — полная хуйня, на которую даже я не решился. (впрочем, я и так r1 могу гонять, хули я тут выебываюсь)
>>1043659 Файнтюн не годится если ему надо базу знаний. Практически невозможно избавиться от фактических ошибок и галлюцинаций. Если нужна база знаний, то просто вкладывай в контекст часть этой базы знаний по оглавлению, FTS или ещё какому RAG-подобному костылю.
Итого получаем 1 миллион рублей с копейками. Зато 768 памяти и r1 весьма быстро. Можно сэкономить на памяти, я полагаю и добраться до 384 гигов и цены в 800к рублей, если тебе от этого полегчает.
>>1043206 >Для обучения, инфиренсить на ней на постоянной основе только маразматики или зажравшиеся будут Если мы рассмотрим гипотетическую ситуацию, что прилетел волшебник в голубом вертолете и дал мне не пиздюлей, а видеокарту, то нет ни одной причины почему на ней нельзя катать ЛЛМ. Потому что одной мало для кластера. Ну в теории можно еще в графику удариться, причем одновременно. Стоила бы эта видеокарта хотя бы 1млн, то я бы посмотрел без капли иронии в её сторону. Но сейчас ? За 5 млн, я могу собрать блок из 4 4090 и еще на шлюх и корм коту останется.
>>1043617 Врам. Нужна врам - все остальное это деньги на ветер. Тут ситуация как с дальней поездкой : тебе говорят, что зима блять в якутии, -50, а ты такой : но велосипед же едет, вот на нем я и поеду, вместо зимнего вездехода.
Никто не пробовал пропустить допустим 10 рероллов с высокой температурой, а потом, опустив температуру попросить составить из предложенных идей лучший ответ, отформатировать его и вставить в чат?
>>1043706 Нет, но звучит интересно, попробуй запустить на каком-нибудь бенчмарке. Может ты придумал новый способ улучшения качества ответа, напишешь научную статью.
>>1043706 Нет, но пробовали генерить на R1 три реролла, и самый короткий из них оказывался самым умным статистически, значит можно пускать батч, и останавливать генерацию при получении первого же ответа. =D Никакой связи, просто забавный ресерч для работяг.
>>1043707 >>1043710 Я много раз наблюдал, что поднимаешь температуру - дает очень прикольные идеи/ответы, но неряшливо оформленные, с поломанным синтаксисом, с косяками не присущими данной модели, типа повторных трусов. Опустишь температуру - все струсами ок, но «я ебу - ты ебешь».
>>1043709 Естечтвенно в таверне такое не устроишь, нужно через апи дергать ответы и отдельным блоком их в финалный запрос вставлять как «необязательные идеи для вдохновения»
>>1043723 Скриптами можно. Просишь его трижды генерить в разные переменные, потом просишь проанализировать их сожержимое и сгенерить ответ уже в форму ответа
Пытаюсь тут пользоваться пошаговым мышлением из шапки, мне нравится как оно работает, качество отыгрыша заметно повышается. Когда моделька не забивает хуй и действительно следует промпту, а не генерирует EOS токен без нихуя. Это как-то можно вообще пофиксить, забанить токен только на первой позиции?
>>1043598 расскажи что за корпус у тебя чтобы 4090 + 3060 вместить? У меня прост тоже 4090 и сверху через усб райзер 1660 гтх вне корпуса лежит, но там скорость очень низкая передачи данных. Хочу 2080 ти воткнуть вместо 1660, но не знаю как все в корпус норм разместить, места тупо нет.
Посоветуйте, люди добрые, гуфских (лень конвертить) от 8Б до 32Б для кодописания. Генерю через болгарина на ЦПУ, на 70 схлопнусь ждать по 0.4твс. - ллама3 с 8Б уже прошлый век, подучить все равно не выйдет. - пробовал КВЕНю2.5-7Б,32Б, неплох, сейчас как основной стоит. - DeepSeek веселый, особенно как он иероглифы кидает в ответ временами. Раздражает, что он тебя "they" обзывает и под 500 токеном себе под нос бубнит, но конечный выхлоп кажется точнее выходит.
и еще для ролеплея с элементами еротики, хотяб с 130К кнотекста. - что леддит советует типо DarkForest и прочих - какая то порнография бессвязная выходит, большие типа Мику не влезут в мою РАМу. - брал лламу 3Б подобученную, неплохо эротику пишет, но, зараза, валится с мелким ее контекстом очень быстро, да цензуру возвращает, сука.
>>1043709 Неверное сравнение. Правильней сравнивать в таком случае карьерный самосвал и ленточный конвейер. Оба могут руду перебросить, вот только на одном и с пивчанским на рыбалку можно сгонять.
>>1042833 Не согласен. Можно взять узкоспециализированную модель, например для для решения одного типа задач, с которыми она справляется почти со 100% вероятностью и на ее выхлопе тренить большую модель.
>>1043664 Чет я не уверен что даже 24канала позволят гонять 4q дипсик на 5т/с. Хотя хуй знает, там же МоЕ ебаное, разве что за счет него. Но с ламой наверняка бы не проканало.
>>1043799 Не-не, ллама 405б будет овердохуя медленно. Она ж цельная. А вот дипсик попрет вполне. Ну смотри, 1,7 токена имею я на DDR4 для модели в 150 гигов. Модель в 350 гигов будет ~0,7 токена, но это если бы DDR4 3200 в двухканале (псп 50). Если у тебя там 24 канала, да еще и DDR5, то это ~18 раз быстрее в теории. 0,7*18=12,6. Конечно, идеальные условия, вся хуйня, но 5-7 выжмешь точно. А это уже вполне неплохо.
Так чисто, навскидку, Llama 405b q4 должна дать около ~2 токенов в секунду в идеальных условиях. Тут я уже ничего не гарантирую, но все равно, сама модель не суперкрутая, а отдавать 800к рублей ради 2 токенов на ней… Максимально сомнительное удовольствие.
Я дебил мечтающий вкатиться в девопс, мне нужна моментальная справка по линухам и языкам погроммирования, кубернетисам и прочим тулзам, если я установлю её локально, она будет помогать? Откуда она знания брать будет?
Пикрил моя некропека, я так понимаю она нихуя не потянет, потому что мне помимо запущенной нейросетки ещё нужно держать открытыми несколько локальных вм, что бы обучаться и спрашивать её одновременно. Что можете посоветовать по железу? Какие-нибудь оптимальные спеки?
>>1043812 >Что можете посоветовать по железу? Какие-нибудь оптимальные спеки? Посмотри в прошлых тредах, думаю треда 4-5 назад выкладывали конфиг для zaхода в нейросети. Там был относительно удобоваримое железо
>>1043812 Она потянет Qwen2.5-7b в агрессивном кванте. Или 3b в нормальном q8. Знания будет брать из себя, но если ты запилишь RAG — то из того, что ты ей подсунешь. А если поиск по вебу — то и из него.
А вообще, я бы таких девопсов бы конечно топтал, но оффенс, есть профессии, где надо знать, помнить и иметь опыт. Но обучаться может и сойдет для себя, да.
>>1043617 Ещё можно учитывать сколько нужно т/с. Я физически не могу читать быстрее 5 т/с. Никто из двачеров не сможет читать быстрее 10 т/с. Но тем не менее им этого МАЛО. Мне вполне хватает 2-4 т/с и тогда читаю ровно как генерируется.
>>1043866 >Я физически не могу читать быстрее 5 т/с Бывает, чё. >Никто из двачеров не сможет читать быстрее 10 т/с Анон у меня чтение и восприятие русского текста 220-300 слов в минуту (В зависимости от тяжести текста, если это техлитература или матан то я и больше 50 с пониманием не выдам) Английского порядка 250 слов в минуту. К чему я это : все мы разные, взрослей и прекрати ровнять всеъ под свой субъективный опыт.
Может мне кто-то пояснить за системный промпт? Когда выходишь за размер контекста, то оно затирает системный промпт или системный промпт всегда остается висеть над контекстом?
>>1043881 These prompts act as a framework, setting the stage for the AI to operate within specific parameters and generate responses that are coherent, relevant, and aligned with the desired outcome. System prompts play a pivotal role in bridging the gap between the vast knowledge acquired by AI models during training and their application in real-world scenarios.
>>1043767 >расскажи что за корпус у тебя чтобы 4090 + 3060 вместить? Есть большие корпуса, Cougar MX600 например. С соответствующей материнкой две 3-3,5-слотовых карты спокойно влезут.
>>1043543 > Бочка говна в этой ложке меда в том, что оно несовместимо С любым более менее сложным чатом и адекватной моделью, что смотрит дальше нескольких последних постов и самого начала. >>1043591 Вот это плюс хороший суммарайз тех постов.
>>1043617 Запутался в коупинге, жизнь есть только на гпу. Хочешь качество - поупаешь одну-две-... 24гиговых карточки. > стоит вложиться в CPU и RAM Быстрые cpu и ram, которые доступны будут стоить как пара 3090 и это будет лишь 96гб. Есть вариант с 2066 или древним трипаком, рам будет сравнима или чуточку быстрее, но там старые pci-e, а зен1 это вообще мусор. Что-то действительно мощное выйдет оче дорого и все равно покажет ерундовую скоростью. >>1043624 Чтож ты делаешь, содомит! >>1043682 > то нет ни одной причины почему на ней нельзя катать ЛЛМ Как правило, такое железо оказывается у того, кто может найти ему достойное применение. Разумеется, пустить что-нибудь для скриншотов и рофля устроить дорогой кум это одно из первых что будет, но в остальное время она будет загружена каким-нибудь обучением или экспериментами. > я могу собрать блок из 4 4090 Они не смогут сделать то же самое.
>>1043876 В районе 7-10, а что? Мне 5-6 не хватает, на 10 уже дискомфорта не чувствую, збс.
Добавь некоторые модели на синкинге. Учти, что некоторым людям нужен результат, а не дрочить на ерп. Учти, что некоторые читают по диагонали, практикуют скорочтение и тд. А уж глядя на токенизаци, кому-то и 30 токенов/сек не хватит.
Короче, во втором классе 5 токенов хватает, взрослый дядька, который по работе что-то спрашивает вполне себе ждет сотни и тысячи токенов генерации, чтобы за пару секунд пробежаться по ответу и вычленить главное. Все же, речь была о домашнем использовании нейронок, это явно не ограничивается одним лишь ерп.
Господа, а существуют ли локальные модели которые могут выходить в открытый интернет? Ну или какой-нибудь способ, например, по api к сайту подсоединяться. Наигрался со всякими ламами/квенами/геммами в кобольде, теперь хочется попробовать к настоящей работе их присобачить. Автотесты юайные писать, там, или диалог в чате вести.
>>1043866 Смотрим педивикию >Обычная скорость чтения на русском языке у взрослого человека лежит в пределах 120—180 слов в минуту, по опытным исследованиям средняя скорость равняется 201 слову в минуту (при разбросе значений от 60 до 378)
Так как мы все здесь читаем, то по нижней планке считать нельзя. А значит, и средние значения для нас могут быть только нижней планкой. Слово это 2-3 токена, пусть 2.5, 200х2.5 = 500\60 = 8.3. Итого, 8 т\с это нижняя планка, если ты не читаешь по диагонали, не читаешь слишком быстро\активно, не используешь разные техники CoT, синкинга и т.д. Лично для меня нижняя планка 15 т\с, это всё ещё слишком медленно для комфортного чтения, но не слишком медленно, чтобы не дождаться ответа. Посмотрел книгу, которую недавно дочитал, вышло примерно 2 миллиона знаков в день, без учёта пробелов. А ведь пробелы это тоже токены. Естественно, читалось не круглые сутки, но если предположить, что читал я 10 часов в день, что очевидно не так, то получается 3 333 знака в минуту. Опять же, если вообразить, что книга генерировалась бы с такой предполагаемой скоростью чтения, то это чуть больше 22 т\с при условии 2.5 символов на токен. И да, это не было чтением по диагонали, в итоге я обсуждал книгу с другими людьми.
>>1044019 Твои охуительные рассуждения основанные на "я так чувствую" рассыпались примерно вот здесь >Так как мы все здесь читаем, то по нижней планке считать нельзя Зайди в /aicg/ тред и узнаешь сразу же нижнюю планку обычного обывателя там
>>1044033 Здесь всё просто. Если ты читаешь много - ты начинаешь читать быстрее. Если они там читают медленно - они читают мало. Ориентироваться на тех, кто не читает и брать по нижней планке >(при разбросе значений от 60 до 378) никакого смысла нет. А 60 слов в минуту это практически чтение по слогам. Предлагаешь ориентироваться на такое? Или ты сам по слогам читаешь и тебе неприятно? Ну так учись читать. Я уверен, что ИТТ ты с такой проблемой один.
Даю хинт, так сказать от души, чтобы вам хватило скорости чтения даже если нейронка выдает 2т/с Переводите на какую-нибудь латынь или что то из фино-угорской группы языков. Поздравляю, вы нихуя не понимаете и читаете медленно.
>>1044033 Это весьма жалкая попытка отмазаться и перевести стрелки. Изначальный тейк был «тебе/каждому хватит 5», чел привел пример, что ему хватит минимум 22. Факт? Факт. Автор изначального тейка обосрался и уезжает вместе со своим цирком нахуй.
>>1044051 Заебись, согласен, всегда так буду делать. Теперь-то мне 1,7 токена на R1 хватит!.. Лучше сразу на исландском. Svo að jafnvel lesturinn var erfiður og hægur!
>>1044010 для Silly Tavern есть плагин https://github.com/SillyTavern/Extension-WebSearch , гибко настраивается, можно указать триггерные фразы, по которым оно полезет в поиск, будет ли лазать по страницам или только ссылками насрет, сколько кэш хранить, что для поиска использовать и в таком духе.
>>1043812 Используй корпосетки. Например на duck.ai можно бесплатно побазарить с gpt4o mini, llama 3.1 70b и какими-то ещё. Все без регистрации и смс. Это всяко лучше чем мелкие сетки.
>>1044019 > получается 3 333 знака в минуту. Да у нас тут Усейн Болт от мира чтения. При средней длине слова в 7,2 буквы, получается почти 463 слова в минуту. При том, что при повышении скорости чтения неизбежно страдает понимание прочитанного (техника скорочтения = техника прогрева гоев на бабло, нет ни одного исследования, подтверждающего эффективность этой залупы, только обратное), ты либо очень смутно осознал прочитанное, либо проебался в рассчетах.
Что касается скорости генерации, не надо забывать, что в английском токеном может выступать как слово целиком, так и вообще несколько, что на русском не происходит, одна и та же скорость генерации будет ощущаться по разному на разных языках (не смотрел, но очень интересно что там у китайцев с их иероглифами выходит, вот уж на что надо переходить, чтобы максимизировать удовольствие от генерации)
>>1044044 >учись читать Ты агент куртки и пытаешься таким образом ненавязчиво подтолкнуть продажи оверпрайснутого железа? Наоборот же хорошо тем, кто медленно читает, им и 2-3 т/с достаточно для нижней границы комфорта.
Я по совпадению только что из треда, где обсуждалось чтение книг, удивлялся, что там анон осиливает какие-то охуевшие объёмы за день. Потом прикинул по среднестатистическим данным кол-во слов, получилось что-то типа 2 слова в секунду, если читать непрерывно и с равномерной скоростью 14 часов в день, вроде уже и не так страшно. А я читаю в 10 (и иногда больше) раз медленнее его, если брать средние цифры, опять же. И нет, не по слогам. Возможно, сама по себе скорость чтения у меня не очень высока из-за относительно небольшого опыта. Но помимо этого я ещё представляю в голове ситуацию, мысленно рисую картинку происходящего, внешний вид персонажей, локации. Фантазирую, как бы я поступил в той или иной ситуации, иногда даже припоминаю что-то похожее из собственного опыта ирл (обычно это что-то неловкое, от чего я blushes, и потом ещё долго отхожу от смущения, продумываю, как лучше стоило поступить, что сказать в той ситуации). Иногда ещё перечитываю длинные сложноподчинённые предложения, если автор слишком хитро закрутил и с первого раза непонятно. Короче говоря, смакую книгу. И не совсем понимаю тех, кто вот так вот как конвеер прогоняет через себя текст на максимально возможной скорости. Надеюсь, хоть какое-то удовольствие от процесса получает, иначе вообще непонятно, зачем он это делает.
>>1044019 >Смотрим педивикию Зачем все твои (не твои конечно) рассуждения? Когда генерируется текст, то пишется в реальном времени его скорость генерации в единицах токен в секунду, а не в чем попало. Имею 8 врам. Можно поиграть настройками и поподбирать модели, чтобы менять значение т/с. При каком-то подобранном значении т/с скоростью чтения уже отстаёт от генерации. Это настоящая, результативная практика. А теориями и 640 кБт хватит всем.
>>1044113 На фейерверке один бакс после регистрации есть для использования API, на 300к-500к токенов хватит, можно дипсик/405В/yi затестить в рп. Но кроме бесплатного бакса там нечего брать, дипсик бабло жрёт раз в 10 больше чем у китайцев.
>>1044120 >Ты агент куртки и пытаешься таким образом ненавязчиво подтолкнуть продажи оверпрайснутого железа? Мне вообще непонятна их политика встречи новичков. На вопрос "что мне делать с 8врам" всегда следует ответ кушать с пола 7В. Я на 8врам+32рам(об этом никто не спрашивает) читаю квин 32В в 1-2т/с. Я даже молчу о том, что не всем нужно читать ответ в реальном времени прямо в генерации. Хз, что за народ здесь, 🤷
Уважаемые, заясните за поточность в SillyTavern. Сам дебил, руки неизвестно откуда растут, подобных проблем у адекватных людей в тырнете не наблюдается. Не тянет, только и пишет: "Streaming request in progress", да когда кончится "Streaming request finished". Ждать пока тысячи токенов прожуются, надоедает. Бэкенд и фронтенд крутятся на отдельной тачке, к ней подсоединяюсь с локальной через вэб морду. Может другой фронтэнд брать, но ггуф лень перекачивать.
>>1044157 >Мне вообще непонятна их политика встречи новичков. Это тред про локалки, а не ясельная группа. >На вопрос "что мне делать с 8врам" всегда следует ответ кушать с пола 7В. Еще раз, тред про локалки. Нет железа - нет ручек локалок. >Хз, что за народ здесь, Те кто обсуждают генерацию охуительный историй. А для всего остального есть тред чатботов. Общайтесь с вебмордами на здоровье.
>>1044119 >При средней длине слова в 7,2 буквы >Для корпуса русской разговорной речи средняя длина слова обычно составит от 3.9 до 4.9 букв Ну да, конечно, семь букв. Три тысячи в минуту это практически вдумчивое чтение, если читать по диагонали не особо вникая в текст, то можно и до десяти дойти. Но там уже да, проблемы с потерей деталей. >так и вообще несколько Загляни в токенизаторы. Несколько слов одним токеном это настолько редкость, что можно и не учитывать, сентенспис распространения не получил. В лучшем случае слово - токен. При этом не важно, если в токенизаторе есть слово целиком - нет никакой гарантии, что модель сгенерирует его так, а не по слогам.
>>1044120 >Ты агент куртки и пытаешься таким образом ненавязчиво подтолкнуть продажи оверпрайснутого железа? Просто искренне охуеваю, когда люди пишут "5 т\с хватит всем". И ситуация усугубляется тем, что читая книги - получаешь законченный, в каком-то смысле, контент. А нейросети требуют свайпов, как минимум. То есть в рандомные моменты даже если ты читаешь со скоростью генерации - тебе нужна будет двойная скорость. А с синкингом, cot и т.д - умножай на пять. И бейся головой о стену от ttft.
>>1044128 >не твои конечно А чьи это рассуждения, если это мой пост, который я лично написал, не копируя чужих мыслей или высказываний? >При каком-то подобранном значении т/с скоростью чтения уже отстаёт от генерации. А потом тебе нужно свайпнуть. Да комфортные т\с от модели к модели будут отличаться, потому я отдельно указал, что считаю на один токен 2.5 символа.
>>1044213 >А с синкингом, cot и т.д - умножай на пять. Кстати, кто как думает - со всем этим хайпом ризонинг будут встраивать по умолчанию в новые версии моделей? Это не так и плохо, если железо есть - даже хорошо. А если нет...
>>1044202 Понял, а ты значит здесь местных вахтёр. Что ж, ты уж продолжай бдеть, распугивать сообщество и отбивать желание у людей сюда заходить, как это произошло в профильном треде локальной генерации изображений.
>>1044210 llama.cpp в качестве бэка. Переставил с "chat completion" на "text completion" попробовал и koboldcpp, та же шляпа, все пустое. Только если без "Streaming" в первой вкладке, то появится ответ.
>>1044213 >Для корпуса русской разговорной речи средняя длина слова обычно составит от 3.9 до 4.9 букв
Уж не знаю у каких наркоманов ты это взял, эти данные валидны для английского языка, но допустим. Выходит, что 3333 букв в минуту ~ 680-855 слов.
>>1044019 >по опытным исследованиям средняя скорость равняется 201 слову в минуту (при разбросе значений от 60 до 378) Охуительно так получается, обогнать опытные исследования в два раза.
> В соревнованиях на первенство мира по скорочтению особое внимание уделяется пониманию прочитанного. Лучшие участники обычно читают от 1000 до 2000 слов в минуту с пониманием примерно 50% или выше.
> Три тысячи в минуту это практически вдумчивое чтение Вот не обманывай себя
>>1044323 Не, мне наоборот нравится, не скучно читать, когда такие перлы всплывают. товарищ майор, не стукайте, это женжина-дворф, поэтому у неё всё маленькое
>>1044455 Судя по тому, из чего она смержена, красивые перлы это результат скорее качественного промптинга и настроек, чем самой модели. Там по-моему только гутенберг располагает ожидать художественных и творческих слов, а остальное так себе.
>>1044477 И кстати этот Lyra-Gutenberg-mistral-nemo-12B, из которого она смержена, это моя настольная модель на сегодня, одна из немногих. Пишет потрясающие простыни текстов, просто огромные. Это не первый фантьюн от nbeerbower, дающий хорошие результаты.
>>1044240 Вряд ли будут повсеместно встраивать. Нужно больше ебли с датасетами, больше ебли при выводе. Больше ебли везде.
>>1044374 >Уж не знаю у каких наркоманов ты это взял Да по первым ссылкам в гугле. Специально взял примерно полмиллиона символов из текста, подсчитал статистику, 5.2 буквы на слово в среднем. Ну окей, выше среднего. >обогнать опытные исследования в два раза Проблема выборки, очевидно же. Уверен, что есть люди, которые читают как медленнее их нижней планки, как, очевидно, есть и читающие быстрее верхней. Но окей, если тебя смущает - вернёмся к средним значениям. Двести слов, пусть с теми же 5.2 символа на слово, чуть больше тысячи знаков в минуту. Если всё так же считать 2.5 буквы на токен, то это 6.9 т\с. В среднем. Даже это уже выше "5 токенов хватит всем". Хотя эксмо, например, пишут >Педагоги и психологи считают среднюю скорость молчаливого чтения на русском языке равной примерно 200-300 словам в минуту.
>Вот не обманывай себя Тем не менее, я четко улавливаю смысл, запоминаю заинтересовавшие фрагменты, нахожу в тексте неточности и несоответствия предыдущим тезисам и т.д. Серьёзно, мне это напоминает спор по типу "глаз не видит больше 24 фпс". Чем больше т\с - тем лучше. Не нужно ждать, не раздражают свайпы, не приходится ожидать длинных полотнищ или можно скипнуть абзац, где ассистент разъясняет вещи, которые ты и так понимаешь, пишет несущественные вещи, повторяет твои же слова в другой формулировке и т.д. Здесь уже даже не важна скорость чтения. Я не агитирую всех срочно бежать заказывать пачку 5090, но и убеждать в том, что никому не нужна бо ́льшая скорость - просто бессмысленно. Она никому не будет лишней, даже если читать со скоростью 60 слов в минуту.
>>1044477 >гутенберг располагает ожидать художественных и творческих слов Лира говорят вообще кум модель, но она закрытая так что в мержер не запихнёшь. Лиры-гутенберг там 10%, но видимо хватило, пробовал 20%, модель иногда начинала полностью на аглийский переходить.
Wayfarer для приключенчистости и снизить позитивный биас. Она тоже как и лира-гутенберг чисто английская, так что много не добавишь, хотя вроде влияет на вероятность что модельна англ перейдёт меньше чем лира, так что её можно больше добавить.
NevereendingStory, так-то на деле шизомерж, но уже несколько анонов говорили что она годна именно что в сторителлинге.
Ну сайга-анлишед это просто как основа.
Хотя надо перемержить используя именно её как базу, а не оригинальную сайгу, должно шизы и выдуманных слов поуменьшить.
>>1044119 РП-срань от LLM действительно очень быстро читается даже вне кумерских сценариев, там реально хотя бы 10 токенов в секунду надо для, комфортного чтения 20.
Другое дело книги старых писателей, которые описывают двумя страницами как главный герой зашёл в магазин и рассматривает окружающее пространство. Вот от такого охуеть можно, особенно с их слогом. Быстро читать такие книги без опыта и большого словарного запаса не получится. Или медицинские статьи. Если там пишут не то, в чём ты хорошо разбираешься, читать приходится медленно.
Мне, походу, следует уточнить, что я доебался не до скорости генерации токенов, а именно до скорости чтения чела.
Со скоростью генерации пусть все дрочат как хотят, зависит дохуя от чего, от банально "минимально чтобы не уснуть", до "пусть оно мне напечатает простыню а я глазами пробегусь за несколько секунд".
Именно читать какой-то осмысленный текст, просто чтобы его быстро прочитать - это какой-то бред. Вполне можно >четко улавливаю смысл, запоминаю заинтересовавшие фрагменты Но нахуя, если от текста можно получить удовольствие, а не заниматься ебучим спидраном?
Как анон находит хорошие модели? Неужели просто качает все подряд и тестирует? Заебаться же можно.
(Вообще, меня просто интересует какая моделька для рпшки, параметров больше, чем на 12b, которые везде советуют, все прикольно, но хочется затестить что там, пусть и зашакаленное)
>>1044521 >Как анон находит хорошие модели? Неужели просто качает все подряд и тестирует? Заебаться же можно. Качал.Тестировал. Заебался. Не нашёл ничего по вкусу, пошёл мержить сам в сомнамбулическом поиске Невидимого Горизонта.
Я вот хуй знает зачем было так увеличивать жопу ламы. Но прям какого то best experience evar не ощутил. Свайпы чуть сочнее, но по сути то-же самое что на небольших тюнах. Meh~ Никакого откровения.
>>1044477 Я уверен, что подобная шняга вылезает чисто из сайги. Я ещё когда давно её пробовал (именно 12б), она срала этими странными кривыми уменьшительно-ласкательными или чем-то похожим. И недавно тестил магмел, куда залито немножко сайги+вихрь, и там на карточке с тянками-мимиками бот назвал обычного мимика "миметка", а мимика, маскирующегося под мебель, "фурнетка" (в оригинале furniture mimic). На сыром магмеле он просто писал мимик с небольшими искажениями, типа мимiк или мимок.
>>1044557 Ну короче, как я и думал. Выше 70б нихуя нет. Ну как нет, либо какой то совсем абсурдный пиздец в духе дипсика. Или ебучая большая мойшстралька. Ни мержей, ни тюнов. Сам сиди и делай, блять.
>>1044566 Нет там никаких новых версий, по сути. Было два обновления раз в неделю после первого коммита, посмотри в истории. Как была модель трёхмесячной давности, так и лежит. Олсо, если я правильно понимаю, как устроены нормализованные веса, то вот тут >>1044413 50% - это обычная сайга. Потому что у базовой модели к-т веса единица, и остальных на единицу. Да ещё и в две другие модели суммарно на 40% тоже сайгу содержат, так что дофига сайги.
>>1044521 >больше, чем на 12b Так ничего нет. Бояре нахваливают 70+, работяги выискивают хидден-гемы на базе немо. А между этим как будто выжженная пустыня, на 22-32b по паре нейрослоповых тюнов, чуть меняющих используемые обороты (но не общее поведение) моделей, и то чаще всего в пределах первых 4к контекста. На 70+ на самом деле похожая ситуация, как я понимаю, но там даже базовая модель без всяких тюнов может заметно больше, чем мелочь. А в случае 12b - "народный" формат, идущий на среднеклассовом игровом железе с комфортными скоростями, поэтому им не только больше пользуются, но и экспериментируют с тюнами и мержами, и среди этой кучи и правда есть ненулевая вероятность найти годноту.
>>1044582 >так что дофига сайги там не слерп, а бредкрамб тиез, что сбрасывает слишком большие и слишком маленькие отличия моделей при мерже, нормализуя остальное, но в целом да, попробуем тогда поменьше
>>1044276 Сам спросил, сам отвечу. Ебанный насос, огнелис 102 не фурычит, а хромой, 100й между прочим, поехал без проблем! И даже звоночек в конце генерации появился!
>>1044557 А чего еще ты ожидал от франкенштейна? >>1044568 > Выше 70б нихуя нет Мистраль лардж и большой коммандер для тебя чтоли шутка? >>1044573 > расскажите о большой мистрали Что тут рассказывать, небо и земля если умеешь готовить. Буквально. Да, обе могут обосраться, при неудачном файнтюне спамить надоедливыми паттернами и подобное, обе могут давать интересные и приятные ответы. Но с точки зрения качества общения это другой уровень. При продвижении истории будут не волки или бред, а что-то новое в сеттинге мира. Чар тебя понимает полностью, а не хватает буквальные значения слов. Можно делать что-то продолжительное, типа рассказывать части истории постепенно, или как-то подкалывать чара, и он это будет помнить и невзначай обращаться к прошлому, а не начинать прямо цитировать или забывать. Какие-то черты чара будут отыгрываться до конца даже сквозь типичные зашакаленные тренировкой сцены, причем иногда принимать неожиданные проявления и генерировать события, что ломает 4ю стену.
Но ты все равно сильно не грусти, оно точно также может конкретно сфейлить, запутавшись на контексте в мелочах, и не является святым граалем, как и корпы.
>нормальный у меня порт хватит петросянить, да семенить, в этом итити ните-треде собрались сурьезные дяди и обсуждают серъезные вопросики.
Повторю очень важный вопрос: >Посоветуйте, люди добрые, гуфских (лень конвертить) от 8Б до 32Б >для ролеплея с элементами еротики, хотяб с 130К кнотекста. >- что леддит советует типо DarkForest и прочих - какая то порнография бессвязная выходит, большие типа Мику не влезут в мою РАМу. >- брал лламу 3Б подобученную, неплохо эротику пишет, но, зараза, валится с мелким ее контекстом очень быстро, да цензуру возвращает, сука.
>>1044642 >некроебишь Ну нелюбовь у меня к современным реалиям. У меня вообще один комп с вин7 ездит. Эээх, вернуть бы время взад! Даешь Абсолютную Монархию!
>>1044620 >что случилось на знаменитом сквере Спросим у дистилята ДипСнида: "Tiananmen Square is one of the most iconic squares in Beijing, China. It serves as a central landmark and has been the site of various significant historical events and political demonstrations. The square is also known for its connection to the Tiananmen Square protests of 1989, a pro-democracy movement that ended tragically with a military crackdown by the government."
>>1044699 >откуда начать копать? С кубышки, готовь порядка ляма. Потом закажи у нормальных челов (спроси тут у других анонов какие лучше, смотря ещё где живёшь) чтобы всё собрали сами протестировали и привезли в сборе.
Хотя можно настолько и не упарываться, обычная, не сервеная пекарня 2 х 4090 / 3 х 3090 запустит всё кроме дипсика.
>>1044699 Здесь спроси, четко и подробно обозначив свои хотелки, назначение, бюджет и т.д. >>1044739 > Неиронично был когда она лям стоила Не было. Скам и бу на аукционах, без учета конвертации, комиссий, доставки, пошлины в момент, когда курс был около 50, или в завлекающих объявлениях барыг с пометкой "цену уточняйте". A100 еще можно было так взять, но не хоппера. > а не 5-7 Из той же оперы, в магазине с гарантией и доками 4
>>1044699 Xeon e5 26xx 128 gb + 2 шт. 4060Ti (если мало 32gb VRAM то еще 2 шт. 4070TiS) итого менее 400 тыс. руб. с корпусом, б/п и всем прочим в максимальном варианте.
>>1044650 >А чего еще ты ожидал от франкенштейна? Генеральных сражений с прорывами и окружениями в Футабе.
Ну а если серьезно, я ожидал именно жирнейший РП тюн ламы. А по факту, ну та же лама же блять. Почему у драммера получилось сделать из мистрали цидонию и это прям неплохо, а из ламы получилось какое то говно.
>>1044739 >2 часа назад обнова приехала Твоя чтоль? Отравил надеюсь чем-то интересным? Ох, епт! Так эта ж намикшено из той самой: https://huggingface.co/MarinaraSpaghetti/NemoMix-Unleashed-12B Где эти дебилы даже блядь ридми не удосужились прочесть к модели, которую они, блядь, миксуют! Помним, любим и скорбим. Судя по описанию уже через 100 токенов на меня даже неведомая Лавкрафтовская глубоководная херотень запрыгнет, а весь ролеплей сведется к "какой он большой, какая я развратная". Вот как раз такого б и не хотел. Мне подавай романтики, да чтоб за дамой, да за тридесять земель, да и эрпогэ с интересным сюжетом. как в старых DungeonAI. И юморца была, и караваны грабить, и за изнасилование не заставляли объяснительную на имя админов составлять. Секс не особо красивая вещь, предварительные ласки красивей и интересней.
>>1044684 Популярный вариант, к завтраму исследуем. Пока что только 32К токена модель показывает, как-то грустно. Мне б более продолжительных рассказов.
>>1044772 >Xeon e5 26xx 128 gb + 2 шт. 4060Ti (если мало 32gb VRAM то еще 2 шт. 4070TiS) итого менее 400 тыс. руб. с корпусом, б/п и всем прочим в максимальном варианте. Не слушай его, бери за те же деньги 4 3090 со всей обвязкой. На X299 плату с 4 PCIe-слотами за вменяемые деньги ещё можно найти и процы с большим количеством PCIe-линий относительно дешёвые. Если по-богатому, то система будет на 4090-х и минимум на миллион дороже.
Гайс, прошу пояснительную бригаду насчет RAG в LM Studio.
Насколько я понимаю, RAG должен конвертировать текстовый документ, или pdf в embedding - т.е. в вектора и примешивать их к весам модели. До этого работал только с графическим нейросетями и там эмбеддинги это не просто набор промпта.
Но какие бы по размеру документы я не добавлял и с какими бы моделями не работал, даже если текстовый документ по размеру составляет чуть меньше печатной страницы, каждый раз из него берется три рандомных предложения и анализируются в отдельности от контекста всего документа. Причем если книга большая, то отрывками "цитатами" выступают абзацы, а если небольшой текст - то маленькие предложения.
Так допустим я не могу попросить нейросеть коротко пересказать содержимое документа, или составить по нему план, потому что все что видит нейросеть - три сранных предложения.
Как это должно работать из описания того что я читал? Большая книга или документ должны быть разбиты на маленькие чанки, а затем в зависимости от промпта, будет найден самый подходящий чанк и информация будет взята из него. Таким образом нейросеть с малым контекстом может отвечать на любой поставленный вопрос о содержимом книги или документа.
Насколько я понял из рассуждений с реддита - эти эмбеддинги представляют собой самый обыкновенный промпт, который должен влезть в контекст текущей беседы, и если он не влезает - никакой умной системы чанков попросту нет, он берет по идиотски рандомные куски текста и использует их для анализа.
Подскажите как быть? Насколько малым должен быть объем текста в RAG чтобы оно работало не выбирая из текста три рандомных предложения? На кой черт тогда нужен RAG, если я могу настолько малый текст вставить как подсказку или сразу в поле промпта.
>>1044882 > Мне б более продолжительных рассказов Удачи с рп с забитым контекстом. Я даже боюсь имаджинировать твоё ебало, когда нейронка начнет пускать слюни и забывать. К чему я это - используй суммаррайз. Контекст более 16к - если у тебя нет гигабайтов свободных ВРАМ нахуй не нужен.
>>1044772 > 400 тыс. руб. > Xeon e5 26xx 128 gb + 2 шт. 4060Ti Плакать или смеяться? >>1044842 Немо довольно удачно тренится и прощает ошибки. А здесь явно наложилась нехватка бюджетов и опыта, скорее всего была вообще qlora вместо нормальной тренировки, сама склейка штука специфичная, что-то нахимичили с датасетом. У большинства таких моделеделов что-то получается не потому а вопреки, один раз выиграл в казино и потом обратно на дно. >>1044892 Двачую, разве что > с 4 PCIe-слотами Чтобы все профессорные уже сложно. >>1044940 В настройках разреши подключение с других ип и просто зайди на адрес пеки с телефона.
>>1044139 Лама-хуяма. Это все, как нейродичь, как видео генерируют и там люди скачут хоть на голове, потом утекают по реке, сливаясь с пейзажем. Но конечно смехуечки, да.
>>1044511 Ты хочешь сказать что есть упоротые которые кайфуют от самого процесса чтения? Типа каждая новая буква приближает к оргазму?
По мне так единственная полезная и приятная часть любого текста это заложенный в него смысл. Чем быстрее ты читаешь тем быстрее и больше ты получаешь эту "дозу". В худ.литературе я уже машинально скипаю фоновые абзацы не несущие смысловой нагрузки, в стиле того же детального описания чайного сервиза.
>>1045281 >кайфуют от самого процесса чтения? Есть такое. Расслабся, возьми плитку твёрдого горького шоколада, хорошую книгу, можно даже на физическом носителе, и просто наслаждайся заслуженным отдыхом.
(но у меня, к сожалению, рабочий день только начинается)
>>1045318 >школьник переводил английский текст с бумажным словарем Если верхняя половина, то это дипл. Надо вычитать и пересохранить стейт, просто сам не особо обращал внимание, я и хуже тексты читал, намного, например рУссКиЙ пИрИвРОТ ранобе "Re:Monster".
>>1045261 >на русском Зачем для этого было брать английский мерж для уменьшения слопа? И где сравнение с базовой моделью? Хотя скорее всего на русском либо нет отличий, либо только хуже стало.
>>1045342 >Зачем для этого было брать английский мерж для уменьшения слопа? И где сравнение с базовой моделью Это не ко мне ( Aleteian ), но вроде автор сего мержа тоже местный.
>>1045281 чем быстрее ты читаешь, тем меньше смысла вытягиваешь из прочитанного. Это неизбежно никакими техниками, ты можешь только поднять скорость своего чтения только до определенного предела, а дальше начинаются бессмысленные выебоны
>>1045344 >Tested on russian and english, very good on both Не заметил этой строчки в описании. Ну тогда на русском фейл вышел, судя по отзыву. Впрочем, ничего удивительного, в моделях-компонентах, как я понял, фокус на английском был. Русский там от базового мистраля. Но сравнить с базой автор отзыва не удосужился.
>>1045345 >чем быстрее ты читаешь, тем меньше смысла вытягиваешь из прочитанного Не существует линейной зависимости. Иначе человек читающий по слогам получал бы 100500% от смысла текста. Просто есть люди умеющие быстро читать и не умеющие.
>>1045261 >>1045342 >>1045346 >>1045344 Местный, местный. Этот мердж больше из рубрики эээксперименты, посмотреть как мержится новый мистраль. Мне из тестовых 400 реплаев на русском видимо везло. Сейчас пойду ещё помучаю мерджкит, попробую замутить V2, более адекватную и стабильную. Как протестирую достаточно, (1000 реплаев) выкачу ссыль сюда, вдруг кому зайдёт. >Но сравнить с базой Я пока ещё не смешарик новенький в оформлении, сравнение с базой это скрины база\мердж на одних и тех же вводных? Такое можно устроить.
>>1045361 и тем не менее, при достижении определенной скорости падение понимания прочитанного происходит неизбежно для любого человека, иначе на соревнованиях по скорочтению не было бы понимания в районе 50%
>>1045376 >400 реплаев >1000 реплаев Фига ты сурьёзный. Я просто сразу выкатывал, тестируя только на саму работоспособность. Совсем битые из репы удалял, рабочие оставлял для сохранения ямл-конфига и возможных дальнейших мержей.
>>1045381 >тестируя только на саму работоспособность для такого я коллекцию experimental себе создал и скрыл лол, пока там один мой франкен до 18.5б, он рабочий, но у него беды с башкой. Я его делал чтоб с клиффхенгером замерджить, но там русик очень сильно терялся. ещё есть идея удачные 8б с пола раздуть до 12/14б, но идея временно заморожена, самих 8б прям хороших маловато.
>>1045384 Анонче, я вот очень люблю великий и могучий. Нет, серьезно, когда читаешь классиков на русском языке, когда ты наслаждаешься прекрасными оборотами - начинаешь прям любить родной язык. Но и тысячу раз но. Сейчас для кума все таки лучше английский. Он проще, в нем нет проблем с окончаниями, ЕРП книг и фанфиков абсурдное количество на английском. Да и в целом меня так не воротит от cum, pussy, aaah~, чем от русскоязычного перевода. Токены поменьше, проебов меньше.
>>1045386 Все шедевры литературы написаны на русском. Как модно променять русский на английский когда есть такие стихи
Мои панчи сделают вам больно - баттл-рэп. Удлиненная обойма, слышишь это? (пы-пы-пау) Самый лучший в том, чтоб тахать этих тупней. Скажешь "нет"? Но кому ещё заплатят пару лямов за куплет? Е, е! Я залетаю на студийку, Замути мне кофейку или ты сядешь на бутылку. Замути мне жирных бошек, шишек пятого размера. Депутатский, как у мэра, моей маме Panamera (пау, пау!) Только лучшее для всей моей семьи, Панчи в виде txt на 9-10 DVD, CBD, ТГК, клеишь будто ПВА; Мой хй среднего размера, да, по меркам NBA! Ха-ха-ха! Уготовлю вам пулю, брат (wait), ты куришь какулю. Ты тупой, как Акулич! Я крутой, как огурчик. Самый свежий на грядке, кэш не трачу на тряпки. Покупаю то, что дорожает, мой бэнкролл в порядке! Flow TEKKEN, мой flow TEKKEN! Дзин Кодзима, мой flow TEKKEN! Танцую как Эдди, flow TEKKEN. Брайан Фьюри, мой flow TEKKEN! Ёшимитсу, клинки смерти. Flow TEKKEN, Flow TEKKEN! Сергей Драгунов, побал с ног - Flow TEKKEN! Flow TEKKEN, мой flow TEKKEN! Дзин Кодзима, мой flow TEKKEN! Танцую как Эдди, flow TEKKEN. Брайан Фьюри, мой flow TEKKEN. Ёшимитсу, клинки смерти. Flow TEKKEN, Flow TEKKEN! Сергей Драгунов, побал с ног - Flow TEKKEN, Flow TEKKEN! Я на майке, значит МС отлетают только так. Сука, по твоему флоу, репетитор Дональд Дак (Дональд Дак) Петушок, твое место у параши. Жизнь безумней, чем сезон американского папаши. Каждый день (дважды в день) мы ем тебя в очко. Этот толстый лысый хй, можешь звать Альфред Хичкок. Как никто, я умею грязно делать эту грязь. После жопы, мой х чёрный, словно Кондолиза Райс. Отвратительно, ставь это родителям и при подружке. Я хочу чтоб, рэп, все ненавидели, как мои шутки. Эй, shooter game, я создал х*ню, как Оппенгеймер. Я Big Baby Tape, в котором воплатился Гегель.
>>1045384 >Я его делал чтоб с клиффхенгером замерджить, но там русик очень сильно терялся Я вроде тебе же про это и говорил, кидая ссылки на свои passtrough апскейлы =))
Анон, Вихрь намеренно соевизирован или это последствия файнтюна на OpenAI? Отказывается в наотрез со мной виртить, даже с джейлбрейками. Можете какой-то быстрый гайд как её десоевизировать, i.e.: 1) где взять датасет с обратными QA, где она соглашается отвечать вместо визгов "Я не могу на это ответить" 2) чем файнтюнить и как?
>>1045386 Дело не в люблю/не люблю, а в способности качественно рпшить на том или ином языке. К примеру, я очень люблю латынь, но подробно расписать на ней свои действия, вести диалог и так далее, я не могу. также и с англ, как бы ты хорошо его не знал, ты думаешь на русском, а затем, в голове переводишь на язык, из за чего ты а) больше напрягаешь голову, меньше погружаешься в выдуманный мир, б) пишешь в более простых и коротких конструкциях, что хоть и помогает модели лучше понять тебя, но само по себе снижает качество ролеплея. Ну а кум это отдельное, не всё же время дрочить >>1045394 ага ) но справедливости ради, на англе то творение держалось молодцом. но нет русского - нет релиза >>1045409 ща бы график иметь, а не гонять кабанчиком только тогда, когда надо
>>1045426 >на английском надо думать Чтобы это делать, нужно несколько лет прожить с носителями языка. >>1045422 >пишешь в более простых и коротких конструкциях, что хоть и помогает модели лучше понять тебя, но само по себе снижает качество ролеплея. А вот это ты прям в точку попал. Но, как показывает практика, сложные предложения на английском ломают даже всякие цидонии и пантеоны. Я конечно верю что там, на 70бе есть жизнь и РП. Но увы, я не могу себе позволить такое железо.
>>1045433 >Достаточно и в интернете общаться, но да, нужна языковая практика Я конечно рад что тут в треде собрались вундеркинды, но чёт мой жизненный опыт показывает, что даже 5 лет в иностранной среде - это мало, чтобы начать думать на другом языке.
Поясните за MCP. Вот на пике в рамках одного ответа клод дернул его 3 раза для конкретных задач, и что-то думал между этим. А если дипсику в чате разрешить гуглить, он сразу нагуглит ворох какой-то малорелевантной хуйни, потом начинает думать "таааак, надо посмотреть шо за хуйню я нагуглил", и от этого очень сильно тупеет. Можно ли как-то подрубить гугл через МЦП к локальному/апишному дипсику, чтобы он так же гуглил конкретно то что нужно несколько раз?
>>1045441 >Можно ли как-то подрубить гугл через МЦП к локальному/апишному дипсику, чтобы он так же гуглил конкретно то что нужно несколько раз? Поищи в прошлом треде, я точно помню что аноны поднимали вопрос : а как гуглить.
Расскажите как семплеры настраиваете под модель? XTC кто-то щупал хорошенько? Есть ли в таверне семплеры нормальные под Цидонию / Магнум? Я попробовал несколько типа креатива или годлайк кобольда, не зашло. Сейчас сижу с почти дефолтными - "temperature": 1.0, "repetition_penalty": 1.05, "min_p": 0.05
>>1045444 Семплеры это костыль, они только поломать модель могут. Попробуй порпшить с R1, поймёшь насколько мелкие модели всратые по креативности, даже 70В. Тем более в таверне уже есть полная поддержка reasoning-моделей, размышления прячутся под спойлер и длятся 5-10 секунд.
>>1045444 >XTC кто-то щупал хорошенько? As reddit say : работает только на БОЛЬШИХ моделях. >Есть ли в таверне семплеры нормальные под Цидонию / Магнум? Буквально жрут любые настройки. Тыкай и пробуй. >Сейчас сижу с почти дефолтными Я верю, что когда нибудь, анон начнет читать шапку и тогда последний камень, последнего нейрохрама падет на голову последнего нейрожреца и век просвещения настанет. >Пресеты под локальный ролплей в различных форматах:
>>1045445 >Попробуй порпшить с R1 Хватит уже блять советовать ебанный дипсик, вы остоебенили уже. Его диситиляты говно ебанное. >даже 70В Давай сыграем в игру. Возьмем одну карточку персонажа. Ты будешь скрины с R1 тащить, а я с бегемота или большой мистрали. Уже эти сказки про необычайный рп на дипсике доебали.
>>1045455 >А в чем профит 24 гига за 200к через годик, если сейчас есть за 3090 за 70к на лохито? GDDR7, новые технологии, чистой мощи больше чем в 2 раза. Тесты с инференсом должны уже где-то быть.
>>1045448 >Пресеты под локальный ролплей в различных форматах: Там хуйня в целом, которая сводится к: крутите ползунки, пока не понравится результат. Я уже заебался. Добавлять семплеры было ошибкой. Отныне сижу на дефолтных, разве что они указаны на странице с моделью, как например у Пантеона.
>>1045444 >Расскажите как семплеры настраиваете под модель? По наитию, иначе никак. >XTC кто-то щупал хорошенько? Говно без задач, которая кроме "креативности" режет кучу нормальных токенов, высирая шизобред в двух из трех случаях. >Есть ли в таверне семплеры нормальные под Цидонию / Магнум Это мистраль ебаный, хули там настраивать. Он из коробки нормально работает, хотя за магнум не уверен. Мне больше интересно, нахуя ты вообще рассматриваешь этот слоп годовалой давности, когда уже есть куча нормальных тонов. >Я попробовал несколько типа креатива или годлайк кобольда, не зашло. Это копролиты которыми уже никто не пользуется, так что можешь на них забить. > Сейчас сижу с почти дефолтными - "temperature": 1.0, "repetition_penalty": 1.05, "min_p": 0.05 Ничего криминального в этом нет, нормальная связка. Температуру можешь только подкрутить при желании.
>>1045470 >нахуя ты вообще рассматриваешь этот слоп годовалой давности Потому что пантеон и цидонька до сих пор лучшее что есть на мистрали, нэ ? Новая мистраль параша. Мелкие тюны на то и мелкие. А чуть выше гемма и ебанная пустыня.
>>1045470 >Мне больше интересно, нахуя ты вообще рассматриваешь этот слоп годовалой давности, когда уже есть куча нормальных тонов. Я уже спрашивал вот тут >>1043468 мне никто ничего не ответил. Магнум кстати получше цидонии оказался как по мне. Я бы назвал его Цидония+, такие же залупы встречаются, но пишет интереснее, гораздо меньше бреда вроде кондиционера в фэнтези сеттинге.
>Ничего криминального в этом нет, нормальная связка. Температуру можешь только подкрутить при желании. Понял, спасибо.
>>1045482 >мне никто ничего не ответил Не удивительно, тред давно превратился в обнюхивание инфопердежа. Иди на реддит глупой таверны, там каждую неделю мутят отдельный тред, где обсуждают лучшие модели для локалок и стриминга.
Господа, поясните, пожалуйста, про q6 и q8 для 12b моделей - q8 просто плацебо? И второй вопрос - я тупой, ткните меня лицом как заставить в угабуге (или в Кобольде, и то и то меня устроит) сначала полностью забивать слоями/контекстом одну из видеокарт, а потом уже начинать закидывать контекст на другую.
>>1045506 Есть возможность пихать восьмой квант - пихай восьмой квант. Не будешь пихать - много не потеряешь, а разницу будешь искать с лупой. Есть поверие, что те псевдо восемь бит это почти те же самые неквантованные 16 и 32 бита соответственно, по этому некоторые юзают их чтобы точность была максимально возможной.
>>1045506 Смотри. Если кратко (Да я знаю что упрощенно) То : чем больше модель, тем адекватней малый квант. Условный 12b в 5 кванте будет шизить, 27б уже не будет так шизить.
>>1045503 И по сути они обсуждают там тюны мистрали. It's all same shit. Как только появляется что то интересное, то в треде это сразу обсуждают. Да и вообще приноси сам. Я с удовольствием пообсасываю модельки, даже своё кря напишу.
>>1045487 И с какими же задачами он так прекрасно справляется, что с ними не могут справиться другие жирные модели ?
>>1045477 >полноценный /acig/ тред на два квартала ниже boy.
>>1045506 Например, на коротких диалогах с 16 гигами я юзаю 8 квант, потому что контекст просто не нужен и можно вместо 24к-32к забить 12к-16к и его хватит. Но и шестым квантом не гнушаюсь на 12-гиговых видяхах. 12б — не 7б, там не все так страшно, вполне себе юзабельно. Под лупой, да.
>>1045514 >И по сути они обсуждают там тюны мистрали. It's all same shit. Там тред тематический, обсуждаются только модели. У нас всё от трассированного кожака хуанга до самопальных охладов на теслы. >Как только появляется что то интересное, то в треде это сразу обсуждают. Обсуждаются в основном только пуки всхрюки, когда нет новых моделей для обсоса. Но в последние пол года у нас правда ничего нового и интересного не выходит, так что тут да. >Да и вообще приноси сам. Я с удовольствием пообсасываю модельки, даже своё кря напишу. Приношу периодически, только это мало кому интересно видимо.
>>1045470 >ты вообще рассматриваешь этот слоп годовалой давности, когда уже есть куча нормальных тонов. И тут ты конечно вкидываешь пачку примеров... Что? Нет? Боишься что тебя обсосут? Когда уже до вас дойдет что без релевантного примера ваше мнение делится на ноль.
>>1045438 >думать на другом языке Проще чем кажется. Не надо переводить - надо сопоставлять понятия со словами другого языка. Чувствуй, а не думай. Используй свои инстинкты.
>>1045487 Все верно, просто тут в основном кумеры и как ты заметил у них другие критерии оценки сеток Для кумеров не важны мозги сетки если она плохо рпшит Новый мистраль хорош в выполнении инструкций, рабочая лошадка разных агентов, но как ты понял тут он не оценен, так же как и другие модели Просто игнорь долбаебов, вон тут можешь глянуть инфу и новости по локалкам https://www.reddit.com/r/LocalLLaMA/top/
>>1045517 >И за меня крякни! Мужики. Вместе. Сила. Как время пролетело, вроде только вчера в универ поступил. Как мы быстро постарели, анон. KRYA
>>1045520 >Там тред тематический, обсуждаются только модели. У нас всё от трассированного кожака хуанга до самопальных охладов на теслы Лучше так чем выжженная поляна. Я на самом деле уже понимаю анонов из треда чатботов, что приходят с вопросами, потому что в той клоаке обсуждать что то бессмысленно. Вот и варимся тут вместе, хуле. >Приношу периодически, только это мало кому интересно видимо. А вот и нет. Я айю все еще трогаю, но по сути тот же командр. Поэтому и нечего писать. Просто приноси и не жди одобрения. Нормальный анон запомнит и ответит. Вот тут в тредах цидонькошиз бегает и ему норм.
>>1045522 Я пытался. Я в гермашке 3 года прожил, но все равно в голове возникало : ЗАВАЛИ ЕБАЛО, ПРОСТО ЗАВАЛИ, Я ТЕБЯ НЕНАВИЖУ, ТУПОЙ НЕМЕЦКИЙ ДЕГЕНЕРАТ.
>>1045526 Мне 36 лет, я только только смирился с тем кто я есть и принял себя. Начал жить. А ты блять ноешь, что тебе пора умирать ? ARE YOU AHUEL TAM ?
КРЯ! Такое ощущение что нормально интерполируют веса только linear и slerp, остальные считают-считают, а потом берут тензоры целиком, либо от одной модели, либо от другой, в зависимости от того что насчитали. Вот и получается что-где дёрнется, то и вызовется кусок от какой модели в мерже.