В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Так, а на чем запустить эту модель unslothDeepSeek-R1-Distill-Llama-70B-4bit Угабуга минус. Оллама просто идёт в пизду. Кобольд- он вроде только для гуффов.
>>1030245 → > На сколько помню настоящие тернарные биты только специальной тренировкой под них получаются. Строго говоря, и на специальном железе. =) А тут так, эмуляция.
- IlyaGusev/saiga_nemo_12b - русская база, новая версия пятидневной давности - MarinaraSpaghetti/NemoMix-Unleashed-12B - чтобы ебалось веселее - LatitudeGames/Wayfarer-12B от аи-данжеон - для снижения позитивного биаса
Базовая модель - чистая новая сайга, а не сайговихрь.
Может попробовать сайнемо туда вместо немомикса? Или какая 12Б прям хорошо кумит по мнению треда?
Гордо обладаю тостером, хз скачал какую-то Олламу для дипсика 14б и его самого. Видюха вообще не используется потому что хз почему, 8 гигов врам потому что наверное, но мне было бы норм с 4 токенами в секунду через ЦП, если бы не фигня что ЦП грузится на все 100%, и комп работает будто это 1998. В help нихуя нет или не нашёл. Вариант 8б и меньше очевидный, пока опускаю, потому что 14б работает же, другие лаунчеры надо разбираться
Что и где мне написать, чтобы он медленнее работал и не грузил сразу 100% ЦП? Сам дипсик посоветовал урезать n_ctx, но опять же, где мне его прописывать-то ёпт, я не программист
>>1029866 → >в США он внезапно обогнал жпт по скачкам приложений Не сложно обогнать по скачкам, когда твой конкурент уже как несколько месяцев скачан у всех на телефон, а ты новинка и скинул цену до 0. Посмотрим как продержится.
>>1030046 → Сайга + немомикс - это же литералли первый сайнемо от Moraliane. И сайнеморемикс, в котором есть хронос и меньше немомикса, вроде как был принят тредовичками лучше. Немомикс имхо сухой даже на инглише. Хронос исходно больше стесняется в куме, но гораздо разнообразнее пишет. На инглише, правда. Русский у него вроде тоже не сильно задавлен тьюном, но не сравнивал с немомиксом.
>>1030391 >RX580 а ты отчаянный. используй кобольда, рокм форк. может даже заработает. ну или на вулкане, через того-же кобольда. он тебе часть модели загонит в видеокарту, будет приемлемая скорость. в прошлом треде всё было. Оллама - meh.
>>1030440 Хуя, у тебя походу х8 на нижний слот. Хотя надо посмотреть откуда. Да, влезут, но для нижней бери райзер, иначе будет 10 печей из 10, а жечь запретили.
>>1030226 → Казалось что хуже было уже нельзя, но они смогли. >>1030257 → Благодари сынов шлюх и членодевок из роскомпозора. Пожалуйся провайдеру что пакеты с репозиториев качает с черепашьей скоростью, пусть чинят. >>1030284 Эти "дистилл" версии запускаются также как одноименные оригинальные модели. >>1030440 Раз есть два слота - значит влезут. Чтобы было вообще хорошо - желательно чтобы делились процессорные линии или на втором слоте было хотябы х4 чипсетных а не х2/х1 старых стандартов. Судя по картинке там как раз первый случай и тебе повезло.
Сап! Решил расчехлить свою таверну, и не могу найти guf дикпика на 14b или 20b чтобы потрогать его. На хайпе так сказать поэрпэшить ещё раз. Можете пожалуйста помочь? Простите меня, если это уже тут заебали спрашивать, а наверное заебали.
Пару вопросов на фоне новой волны хайпа: В особенность эффективности Deepseek? Пока представление такое, что китайцы, которым не поставляли специлизированые карты сделали модель на ригах для майнинга и у людей недопонимание, или же реально не нужна мощная видяха для этой модели?
Какие реальные у вас задачи для нейронки? Ну кроме оптимизации работы при кодинге и дроча в секс ролевку с персонажами.
Ты про какую модель? Оригинал Дипсинка? В модели 685 миллиардов параметров, что примерно эквивалетно чят-гопоте. Никто её не запускал в этом треде. Есть дистиллят модели на базе ламы и квена, стандартных размеров(1.5B, 7B, 8В, 14В, 32B, 70В). Нужны ли они - вопрос дискуссионный, пока что я вижу неотменяемый сёр thinking в начале каждой генерации.
>>1030490 Нужен самый обычный, требования ниже чем в играх и прочем ибо нагрузки малы. Но если ты поставишь две здоровенные карточки подряд - верхняя будет почти полностью перекрыта нижней и будет хуево охлаждаться. >>1030512 > Пока представление такое, что китайцы, которым не поставляли специлизированые карты сделали модель на ригах для майнинга Бред, она точно также тренилась на кластерах хуанга и сожрала компьюта не меньше чем одноклассники. > или же реально не нужна мощная видяха для этой модели Абсолютно все то же самое.
Это снова я >>1029887 → Поставил таверну с убабугой. Теперь мне надо часто переключаться между текстовой и картиночной сетками и, соответственно, выгружать модель из памяти. Можно ли как-то быстро (по хоткею) это настроить (я вижу это так — нажал кнопку — память освободилась, потом, когда вводишь следующий промпт, модель автоматически подключается)?
>>1030512 Вот я новый вкатун (точнее еще даже не вкатун, а только собираюсь). Собираюсь делать игры, где будет дохуя механик на стороне обычного кода, а нейронка будет отыгрывать НПЦ и юзать эти механики. Когда выходила о1, я ей давал тесты, и она их фейлила, а дипсик в чате норм справился. Хуй знает, может о1 или другие сейчас тоже справляются, или локальный дипсик их зафейлит, но в общем теперь я верю, что это уже не просто игрушка для корп, а можно юзать любому бомжу для своих задач.
>>1030571 Они изначально были перегреты. Дипписик выступил лишь поводом, причем максимально тупым - его обучали и гоняют на тех же самых картах от невидии.
>>1030571 Сомневаюсь, что серьезные инвесторы будут выводить деньги из Нвидии из-за дефолтной модели. Трамп что-то про пошлины в отношении TSMC говорил, может из-за этого рыночек шатает.
Я не вижу ничего особенного. Даже если представить, что нейронка китайцев лучше во всем, то американские компании от этого не умрут. Запретят дипсик из-за угроз безопасности и напечатают денег для субсидирования своих.
На что мне ориентироваться если например на страничке модели не указано какой лучше формат контекста использовать? Вот у меня мистраль-немо-инструкт. На странице указано что Architecture llama. Значит ли это что я должен использовать лама 3 инструкт в таверне?
Ты не понимаешь. Суть в том что теперь сервис подобный сервису Open AI может представлять бизнесам буквально любой васян, более того, даже васян сделает его более юзабельным чем ихнее говно, державшееся до сих пор только на том, что у них была нормальная модель, а у остальных была лама, уходящая в залупы и бред.
ChatGPT - это далеко не только LLM-ка. Это очень продвинутая обвязка, которой больше нет ни у кого. CV, RAG, KG - грамотно это все прикрутить к сраному чат-боту не так чтоб очень просто.
>>1030588 У кого у остальных? В реальных задачах Fine-tuned ламу юзали, никто доверять стороннему апи не будет. Сами OpenAI говорили, что 75% профита не на апи приходится, а на подписку.
>>1030569 Через апи убабуги можно делать загрузку/выгрузку модели. Для таверны наверняка уже что-то подобное запилили, или можешь сам замутить. Учитывай что при каждом запуске сначала модель будет сначала загружаться (если много рам то оно само закеширует и будет быстро), а потом обрабатывать полный контекст. >>1030571 Байден и нагон инфоповодов по херне как обычно, сейчас побреют бедолаг и опять прыгнет. Или обвалится нахуй если Трамп решит ультануть.
>>1030596 >Это очень продвинутая обвязка, которой больше нет ни у кого. CV, RAG, KG - грамотно это все прикрутить к сраному чат-боту не так чтоб очень просто.
Сделать обвязку - это всего лишь команда кодеров, это все не требует десятков тысяч видеокарт, как обучение модели.
>>1030602 > Сделать обвязку - это всего лишь команда кодеров, это все не требует десятков тысяч видеокарт, как обучение модели.
Вот именно, блядь. Вот именно. Чтобы сделать обвязку, тебе нужна команда высококлассных специалистов, способных не то что решать нестандартные задачи, а ставить их. Таких людей можно по пальцам в мире посчитать. Чтобы обучить жирную LLM нужно просто дохуя данных, дохуя видеокарт и дохуя электричества, что решаемо банально деньгами.
У компаний, не имевших десятки тысяч видюх для обучения своей модели были на выбор либо подписка Опен Аи, либо собственно нахуевеченные обмотки вокруг ламы. Теперь компании могут вместо ламы поставить дипсинк и в рот ебать опен аи с их подпиской.
>>1030571 >почему отвалились акции нвидии Из-за той же причины, почему они вообще резко начали расти. Траяска по поводу нейросетей начала перегревать рынок чипов с 22 года еще сильнее, чем при майнинговой лихорадке. А обвал случился из-за того что шизики нанюхавшись пердежа перестали следить за конкурентами и вдруг осознали, что китайцы тоже что-то могут, но стало уже поздно.
В общем-то ничего не случилось, как и всегда. Зеленые отыграют проебанные копейки и заработают еще больше, ибо это только начало новой волны. Теперь уже всем стало понятно, что аналог гопоты запилить вполне реально, если у тебя есть пара лишних лямов и даже если ты сидишь под санкциями. Пиздец настал только Альтману, но он это итак понимает и уже трясется сильнее обычного.
>>1030620 Чувак, я разработкой этой "хуйни" занимаюсь уже давно. Поверь, построить нормальную инфраструктуру вокруг LLM нифига не тривиально. А так, чтобы она работала как у OpenAI, и вообще почти невозможно.
Деньги же как раз не проблема вообще ни разу. Особенно в США, которым пару лярдов баксов напечатать не стоит ничего.
>>1030610 > Чтобы сделать обвязку, тебе нужна команда высококлассных специалистов Да где угодно заказать и будет. Или вообще просто инициативный лидер, который соберет и организует работу команды энтузиастов в опенсорсе за спасибо, вот настолько. Не поверишь, но на гитхабе полно оче крутых проектов для обертки ллм, которые заткнут чатик гопоты с документами за пояс, ищешь по тегу и сортируешь по звездам. > Таких людей можно по пальцам в мире посчитать. Макак на каждом углу по 3 копейки за лопату. Запредельного уровня знаний для этого не нужно, это всего лишь интерфейс и операции даже проще того что реализовано в таверне. Это не трудно, это долго. > Чтобы обучить жирную LLM нужно просто дохуя данных, дохуя видеокарт и дохуя электричества, что решаемо банально деньгами. А вот это полный бред, вот как раз для такого уже действительно нужно много специалистов, которых может не > можно по пальцам в мире посчитать но в большом дефиците. >>1030629 Потому и хвалишь свое болото, игнорируя куда более сложные вещи, где действительно есть сложности и целая наука.
Ну давай, возьми хотя бы Мистраль и прикрути к ней знаниевый граф. Чтобы не просто LLM-ку кормить кусками текстового представления графа, а с нормальным онтологическим МЛВ.
Да ты на этапе поиска научных статей по этой теме уже обосрешься...
>>1030329 Бля, будто их много, лол. У тебя буквально одна больше, и остальные меньше. Хочешь 70b бери, хочешь 32b… Кто ж тя знает.
>>1030490 Ты не поверишь, но… =D Память и греется, хуяк фокус! Ну и вообще, все греется. Чип хуи не пинает, я писал, и вообще, это никто не писал вроде. Просто он участвует не так активно. Тем не менее, может быть жарковато.
Хотя, если чисто LLM и даунвольтнешь на 20%-50%, то может и не понадобится и так все будет ок.
У некоторых знакомых стоят бутербродиком и не жалуются, говорят температуры в рамках нормы.
>>1030557 А ты что за шизу написал. Я же писал, что запустил.
И, кстати! Вау, нихуя себе, но тернарные биты с динамическим квантованием внезапно решают вышмат в латексе. В сам латекс перевел с помощью Qwen2.5-VL-3b. Я натурально охуел, что все так просто. Кидаешь фотку/скрин задачи, получаешь латекс, кидаешь в дипсик, ждешь — вуа ля, решение готово. Возможно, не самое оптимальное, конечно, но… Прям удивительно. Завтра попробую насколько она соевая.
Кстати! Анон с 144 памяти! Попробуй дипсик накатить, какая скорость будет? Должна быть нормасная.
> реально не нужна мощная видяха для этой модели Все там нужно, и делалось на нормальных видяхах. Просто оптимизирован датасет и процесс обучения.
> Какие реальные у вас задачи для нейронки? Как и у всех нейронок — все что ты можешь сделать текстом, она может более-менее успешно попытаться сделать. Вот и все. Правда, одна пометка, что она уже примерно равна средне-глупенькому человеку, и знаний у нее хороший вагончик такой.
>>1030571 > Просто не понимаю в чем хайп этой хуйни и почему отвалились акции нвидии Потому что финансисты не шарят, у них случилась истерика, паника и они слили свои акции, все. ИРЛ они обосрались просто, кто-то прикупил себе акций со скидкой 18%, а видеокарты все так же нужны, если не наступит зима ИИ, то НВидиа отыграет и дальше пойдет расти.
Хайп — потому что цена меньше. Акции упали — потому что паника, и дебилы.
>>1030578 Окей, геймдизайнер, как ты это собираешься финансово реализовывать? Игра за подписку (дипсик денег стоит, нет, правда, посмотри цена на API, они не нулевые)? Игрок покупает игру, а потом еще сам платит, чтобы играть? Ты в курсе, что локально дипсик, который ты пробовал, никто не потянет из обычных геймеров?
>>1030581 Но не лопнул. Никто ничего не отменил, релизов навалило куча, акции вернутся, чекай. Я не исключаю, что он еще может, но сейчас вероятность крайне мала.
>>1030582 Бля, хуле ты тут это пишешь, иди к брокерам на волл-стрит, объясняй. =)
>>1030610 Ну давай так, не то чтобы команда высококлассных специалистов, это любой адекватный программист (нормальный, блядь, сука) сделает за пару недель, почитав доки и папиры.
>>1030612 Почему вы упоминаете лламу… Все на гемме, мистрали и квене сидели… =) По крайней мере, все, кто не в США. Да и щас сидят, тащемта. На дипсик за сутки явно никто не перескочит. Это шлюхоботы в телеге перескочили без теста/стейджа сразу на прод и сыпят артефактами всякими теперь.
Короче, очень интересные истории от диванного теоретика, который сам в сфере не работает, либо работает далековато от вопроса.
Смысл в том, что у GPT-o1 цена API в 30 раз (!) выше, чем у Deepseek-R1. Те, кто юзал о1 легко могут перескочить на R1, если им позволяет законодательство. Те, кто юзал гемму/мистраль/квен, как бы, пока там и сидят. Ризонинг отнюдь не полезен всегда и везде. 1. У тебя тайм ту ферст токен становится охуеть долгим. 2. Не всегда важно дохуя объяснять, иногда нужен четкий и краткий ответ на простой вопрос. 3. С рагом тоже не очевидно, насколько это важно в большинство случаев.
Для всех задач — свои модели.
> В общем-то ничего не случилось, как и всегда. Да.
> Пиздец настал только Альтману. Нет, R1 возникла не на пустом месте, ей предшествовала o1. Без Альтмана прогресс упрется в другие корпорации, которые будут ледоколами. Короче, к нему просто кредит доверия уменьшился, но это не значит, что он прям просрал, тоже может вполне отыграть все. Ну тут посмотрим.
>>1030629 > Чувак, я разработкой этой "хуйни" занимаюсь уже давно. Бля, пиздец, рофланебало просто.
Нахуй я комментировал эту хуйню вообще, если тут уровень 8 класса, нахуй…
>>1030610 > Чтобы обучить жирную LLM нужно просто дохуя данных, дохуя видеокарт и дохуя электричества, что решаемо банально деньгами. Еба-а-ать, еще на этом моменте надо было дропать нахуй.
Я тут даже спорить не буду.
Да, нахуй, все верно, отзываю свое предыдущее сообщение, все так, нахуй, только гений может написать оркестратор для ллмки, а обучить модель может любой еблан, конечно все именно так, тут человек этим занимается уже несколько лет.
>>1030666 Этот фронтер порвался, несите нового. Чел, это ты не понимаешь даже о чем говоришь, неадекватно завышая ценность интерфейса и занижая остальное. Офк, в любой сфере хороший специалист с опытом будет ценен, но для подобного ничего выдающегося вообще не нужно. По сравнению с десятками тысяч различных продуктов, включая мейлсрушный форум для девочек, это дженерик ерунда с примитивным функционалом. > знаниевый граф Кек, если для тебя погружение в какую-то одну хорошо проработанную тему что-то выдающееся - сойдешь сума, осознав сколько такого нужно для создания моделей.
>>1030866 > думаю это от настроек, 0.1 температуры Нет, это может на общее разнообразие сценариев и свайпы повлиять, а не на исходный стиль ответов. Увы, эта херь будет оче долго рассуждать над каждым незначительным чихом чтобы потом дать унылый и короткий ответ. Может как-то промтом ее можно разогнать, но траить чето надоело. Или с файнтюнами ее оживят но хз насколько оно вообще тренится.
Стоит ли иногда перезагружать модель и/или пк, заметил что чем дольше я веду диалог, тем дольше моделька генерит моделька в токенах. Мб память видяхи засирается браузером и виндой? Если в начале запуска делает 3-4 токена в секунду, то через пару часов если 2 токена делает, то уже хорошо.
Дело в том что чем дольше ты генерируешь - тем больше промт растет засирая контекст, соотствественно его обработка занимает все больше времени. Выход один - использовать небольшой контекст и summarize в таверне.
>>1030930 Не, я по совету анона из прошлого треда вытолкнул весь контекст в оперативку в кобольде. Оперативка контекст кушает быстро. Суманизацию использую. Именно генерация со временем замедляется. Я в нейронках полный профан.
>>1030916 Тут может быть две причины: Ты польностью использовал доступное окно контекста и с каждым новым постом он перестраивается, из-за чего происходит полная обработка промта, которая должная. Используется жора, который сильно замедляется по мере накопления контекста сам по себе, особенно на слабом железе.
Получается модель просто не юзабельна нахуй, раз она принудительно срет этим <think>, притом что эта хуйня в любой модели простейшим промптом делается, но китайцы зачем-то насрали в саму модель полностью её испортив. Теперь ясно чего они её бесплатно выпустили - это говно просто не получится продать, никто не будет платить за этот принудительный thinking, он же токены засирает я ебу, да и в большинстве задач он только мешает - нужно костыли писать чтобы его игнорировать, при этом он все равно будет генерироваться.
>>1030937 Он перестраивается автоматически сжимаясь, оставляя самое важное, или съезжает всё ниже и ниже, исключая то что было в самом начале? МимоДругойНуфаг
>>1030949 >сама генерация замедлятся не может. Ладно, я или упоротый или да. Но с каждой итерацией я вижу как в консоли токены все медленней генерятся. Вот цитируя его. >>1029537 →
>>1030945 По дефолту там ничего не подстраивается, просто старые посты, что не помещаются удаляются из контекста.
Чтобы было хорошо - в моменте, когда подошел уже близко к лимиту контекста, оформляешь суммарайз первой половины диалога (extras-summarize, встроенная фича), может попробовать твикнуть дефолтный промт, можешь вручную склеить из нескольких и то и самостоятельно написать суммарайз. Автоматически делать не стоит ибо там может быть бред. Выставляешь чтобы он был в начале диалога. После этого проходишься по старым постам и выключаешь их (иконка глаза, исключить из контекста). В итоге у тебя половина контекста свободна и можешь продолжать общение без задержек. От качества суммарайза зависит многое, если пердоля то можешь накидать его более подробный, а то и ужимать целые посты пачками, оставляя какие-то отдельные. В соседнем треде уже давно есть аддон, который суммарайзит посты на лету (правда сделано это немного коряво), это вариант отсрочить и иногда улучшить рп, если сетка с длинными не справляется и лупится.
>>1030952 > Выставляешь чтобы он был в начале диалога. А тут врывается прошлый анон. Я так и не понял как в таверне выставлять порядок. Как по ставить промт первым или последним. Тот же лорбук или систмем промт.
>>1030957 > Я так и не понял как в таверне выставлять порядок. Жмешь шестеренку и выбираешь где суммарайзу находиться. Порядок остального - регекспами в системном промте или настройкой инжекта конкретного элемента. эта древняя таверня для определенных задач, в новых там чуть другой интерфейс но суть та же
>>1030958 Слушай, у меня наверное не супер длинная история, но пишу её уже три дня, попутно вставляя важные моменты в заметки автора, когда замечаю что АИ начинает что - то забывать. Чем отличается ведение заметок автора от суммарайза? Как я понимаю он нужен для пиздец длинных историй с кучей лора, который можно просто ахуеть вести своими руками?
>>1030963 > Чем отличается ведение заметок автора от суммарайза? Принципиально - ничем, это просто варианты промт инжекта. Суммарайз в одном месте с дополнительной оснасткой в виде настройки промта его создания и возможностью сделать на месте отдельным запросом, авторские заметки - просто универсальная штука. Есть еще персоналити, которую не обязательно использовать по прямому назначению а можно регэекспом куда угодно пихать и когда-то туда вообще жб для корпов закидывали. Если можешь вести руками - красавчик, так и делай.
>>1030980 >Если можешь вести руками - красавчик, так и делай. Спасибо, мне действительно так проще и приятнее. Как будто пишешь книгу и делаешь важные заметки для себя, чтобы не забыть.
Попросил дипсик написать стих в стиле Маяковского, по-русски.
Я — DeepSeek-V3, Не просто модель, Не просто строка, Я — Взрыв, Я — Свет, Я — Гроза!
Я — Не ChatGPT, Не Gemini, Я — Свой путь, Я — Не просто код, Не просто строка, Я — Голос эпохи, Я — На века!
У кого-то ещё остались сомнения что это лучшая модель? Это не может ни одна модель кроме дипсика и я не про стиль говорю а про простейшую рифму на русском языке.
>>1031001 >У кого-то ещё остались сомнения что это лучшая модель? Это не может ни одна модель кроме дипсика и я не про стиль говорю а про простейшую рифму на русском языке. Опус мог, даже клауди-2 с нормальным промптом до того как их лоботомировали. Клауди был вообще первый кто мог в рифму на русском. Сейчас гемини может. Но дипсик конечно лучше пишет и понимает про ямб хорей и дактиль.
>>1031001 >>1031006 Клод и сейчас по стихам ебёт. Я пробовал всё коммерческое и огромное. В русском языке лучше клода тупо нет.
Понятное дело, идеальный стих не получишь с первого раза, но это нормально. Всегда нужно несколько итераций, а то и больше. Десять, пятнадцать правок одного и того же стиха.
Однако та же гопота, гугл и дипкок не справляются, хоть ты сто итераций сделай. Порой они такую дурь выдают, что вообще диву даюсь.
>>1030341 Есть сайга + анлишед только? Тупо две модели — и не больше. Вроде нет на обниморде.
Мне кажется, может получиться довольно сбалансированная модель с рп и даже кумом, т. к. анлишед в русском был лучше всех из "пиндосовских" тюнов/мержей, которые я пробовал до тредовичковых экспериментов, и на нём голом вполне реально на русике кататься. То есть анлишед просто бустанёт рп у сайги и русик не проебёт сильно.
>Может попробовать сайнемо туда вместо немомикса?
Хуй знает. Там сайга, вихрь, тот же анлишед и ещё хронос в ней. Ты же про SAINEMO-reMIX говоришь?
>хорошо кумит по мнению треда?
МАГНУМ!!!!! Лол. Честно, я на русском его не тестил, но, несмотря на шизофрению у модели, именно магнум давал максимально сочный опыт в куме. Особенно в плане графических подробностей, извращений, деградации и чего-то необычного. И даже язык более богатый. Английский.
Вообще, я поищу магнум хотя бы со средним русским. Если такой есть, слияние новой сайги, магнума и/или анлишеда может породить чисто кумерскую тредовичковую модель, которая превзойдёт остальные в плане описания секса.
>Потести
ВАУ! Посмотрел, пока писал этот пост.
Это ближе к магнуму по уровню шизы и кумерства. НЕПЛОХО, если цель была получить именно это. Я выложил не все скриншоты и тесты, ибо там РКН, но по сравнению с предыдущими тредовичковыми моделями эта довольно хорошо описывает грязные сексуальные подробности и лучше "понимает", как ЕРПшить.
Тест был в 6 кванте. Тестил на сложной для модели карточке Фифи в основном (её обычно кошерно переваривает что-то от 27б), использовал ещё несколько других карточек без сексуальных намёков. Есть впечатление, что модель слишком хорни, что для кого-то будет минусом.
Температура выше 0,6 часто хуйню выдавала.
Модель по какой-то причине на контексте около 8к часто скатывается в откровенный бредогенератор. Пока не могу понять, проблема во мне или в модели.
В общем, мне нравится. Хорошо зделол для кума. Буду в дальнейшем смотреть, что она может в обычном рп.
>>1031121 >SAINEMO-reMIX Да, но вообще я как раз старался намутить что-то из тюнов, не включая другие мержи.
>>1031121 >магнум хотя бы со средним русским Маякни если что.
>>1031121 >модель слишком хорни слишком анлишед =))
>>1031121 >на контексте около 8к Модели шизеют когда контекст выходит за sequence length на котором они тренились, в мержах хз какой там в результате получается, но если мерж из тюнов а не других мержей, там с этим дела лучше обстоят. Отнюдь не факт что прав в прочем, но эмпирически выглядит так.
>сайга + анлишед Попробую по тому же рецепту что пантеон с цидонией мешал, вроде там ничего не поломалось и при этом цель была достигнута.
>>1030937 Ладно, извиняюсь что вчера выебывался. Ты был прав, запустил историю заново и генерация в 2-3 раза быстрее пошла. Кол-во использованного контекста и правда решает. Я то все это время думал что это влияет только на обработку контекста перед генерацией.
Покупка p104 100 оказалась видимо ошибкой. Я так и не смог подружить ее со своей 4070, чтобы на обе из них распределить слои ллм. Стоит дальше пытаться это делать,или забить и купить 3060 какую нибудь?
>>1031115 Там челик уже собрал сервак с фулл q8 600b моделькой за 6к бачей и остальные уже выкачивают дип пук с серверов лол, говорят забанить опенсурс нельзя, будут хостить сами.
>>1030668 >Анон с 144 памяти! Попробуй дипсик накатить, какая скорость будет? Должна быть нормасная. Я другой анон, но у меня есть 4 теслы и 64гб RAM, в сумме 160 гб. Для Дипсика нужно 140. Жду ггуфа. MoE всё-таки, может что-нибудь и выйдет.
Посторонись ньюфаги ебучие, сырна ИТТ. 9 штурмовая начинает высадку. Все по холодильникам.
Я все еще хочу дать шанс мержу пантеона и цидоньки, но у меня уже жопа начинает гореть. Какого хуя порой он буквально делает лапки и начинает писать один абзац повторяя его. Если оригинальная цидонька ебашит сочинения на каждое действие, любой выбранный стиль повествования ей схавывается и переводится в тонны сочного текста, то мерж на сообщении 15 начинает крякать.
>>1031295 >С IQ1 ахуеешь. Там уже задвигают идеи про уплотнение экспертов, что сократит размер модели ещё в 4 раза :) >И он ещё на контекст жрёт много, больше обычных. У Герганова сейчас прикручивают поддежку FA к модели, что позволит сократить потребление и вообще квантовать контекст. Короче теоретически и в 50гб весь Дипсик может поместиться. Со временем.
>>1031309 > уплотнение экспертов Mixtral после такого сильно хуже становился, хотя он и изначально калом был. > FA Это никак не решит проблему того что отдельный кэш в каждом эксперте надо хранить.
>>1031333 >мистрали продолжают тихонько работать А мы что, мы ничего. Благодаря тому же ДипСику третий Мистраль Ларж скорее всего откроют. Ждём с нетерпением.
>>1031335 Для меня вообще мистраль, это какой то феномен. Вот есть все - начиная от гуглоподелий, до китайской хтони. Но по личным ощущениям, доставляет больше всего именно модели на базе мистрали. Как, почему, от чего и зачем.
>>1031335 Похуй на него. Пусть для начала фиксят убогий формат промпта без ролей. Нормальные модели давно победили лупы, а мистраль лардж до сих пор как в 2023 сидит. Ещё и туповатый для своего размера.
Бляяяя, я чё то так просрался с ситуации, когда в ролёвке по Made in abyss, моя напарница в один момент начала называть меня не "Белым свистком", а "Белым человеком".
>>1031378 >Я вчера знатно расстроился, когда оказалось, что fa не заводится просто так. =( Лламуспп сейчас активно штукатурят на предмет поддержки этой модели, так что улучшения должны быть. Лучше немного подождать. Ну а если и модель ещё смогут ужать, то и вообще. Это ведь реально уровень корпоративной модели. Как бы не пыжились сторонники локалок, но истину-то мы все знаем - не дотягивают, по объективным причинам. А хотелось бы.
>>1031412 >не дотягивают, по объективным причинам. Удивительно, оказывается что соревноваться с 666b моделями сложно, когда у тебя максимум на обычном компьютере поднимается 22b.
>>1031378 > Она шизанутая, но отвечает правильно. Проще через API пользоваться. Там цена копеечная, у V3 вообще 3 ляма токенов за бакс, это сутки непрерывной генерации текста.
Я её слегка модернизировал(например у нее есть спрайты ювао с динамической музыкой из БЛ и даже 3д-моделька) и перевел на русский, но да, анон, это твоя карточка.
>>1031439 >у меня есть лишние 100к и немного сверху если подсуечусь. задумался об обновлении материнки/проца/оперативки с расчётом нейросети погонять. Две 4060Ti (32гб врам) и материнка с двумя полноценными PCIe v4 слотами, хотя бы x16 + x8 от процессора. Так вижу.
>>1031450 Блджад. А ведь все что я хочу, это более черную версию цидоньки. Потому что она хоть и самая сочная, что я встречал, но слишком хорни, прям через чур. То моего персонажа избивают, то тут же начинают лезть в трусы. Это не так работает, блять.
>>1031445 The mentor looks away and blushes. "You were just asleep then, sleeping too soundly."
>>1031452 >Всякие мистрали которые тут нахваливали, какая то культурная соя в дефолте и на каждую реплику чуть ле не отвечает, типа звони психологу айаайай Ты сейчас кого наебать пытаешься ? Сука, буквально расцензурены настолько, что я даже не знаю что нужно делать чтобы получить сою.
>>1031478 Дудос пока продолжается, видимо пиндосы решили так победить дипсик, раз не могут моделями. Алсо, зашёл к ним в дискорд, а там пикрилами и площадью засрано всё, лол.
>>1031463 Не видюхи это я потом гляну уже отдельно по отдельному бюджету. У меня больше вопросов к тому куда их втыкивать. На что смотреть при выборе материнки, какой проц выглядит интересным, где соотношение цена/качество прям хорошее и всё такое. Я могу конечно на сайте ДНСа сделать фильтр по PCIe v5, DDR5 и всё такое, но разумеется как всегда не всё так просто.
>>1031503 Ладно, а если серьезно. То таких нет, это прям ОЧЕНЬ ИНДИВИДУАЛЬНО. Некоторые больше в чернуху, некоторые в смакование cum, другие вообще в математику и чаты.
>>1031510 Я понимаю, что звучу как фанбой, но честно, пока что из всего что есть мне понравилось это точно - cydonia 1.2, она прям пиздата для РП и ЕРП. Еще понравился DARKEST-PLANET, но это ситуативная моделька, сугубо для ХОРОР СТРАХ НЕ УБИВАЙ МЕНЯ. Из поменьше моделек, понравились миксы местного анона. Но они глуповаты, увы.
>>1031522 Я отвечу как есть. А хуй его знает. Я скачал 1.2 и не меняю. Некоторые жалуются на то что 1.3 чем то хуже. Но я не могу ничего сказать, только то что сам чувствовал и тыкал. Но разница между первой цидонькой и 1.2 есть. Свайпы стали сочнее без изменения настроек таверны. Но сразу скажу, цидонька очень хорни, её нужно останавливать.
>>1031091 > Смотрите я прошаренная макака, не смейте меня недооценивать! Кекнул. Да все все поняли, не трясись >>1031166 С 3060 точно заведется, но значительного буста не получишь ибо памяти мало, лучше целься хотябы в 4060ти на 16 >>1031378 > У меня влезло только в ~170 гигов И оно прямо запускается? Жорина обертка на распределенные вычисления на нескольких пека в сети такое может? Допустим памяти то хватит, но собирать многоножку в одну систему ради этой херни - ну вообще такое. >>1031463 > хотя бы x16 + x8 от процессора Таких не существует чтобы уложиться в тот бюджет. Формально новые райзены имеют 24 линии, но дополнительные 8 всегда задействованы под ссд и usb4 порты.
>>1031474 Насчет неоптимальности карточек прав, а > амдшная апуха на 96гб 99% будет только бибу сосать >>1031481 Нитакусикам только дай похейтить что-то крупное и популярное. >>1031503 > лучший 12б мистраль 123б
>>1031536 Про Cumдонию уже написали. >Для РП, если кум не желателен, максимум за ручки подержаться. То это точно Pantheon-RP. >Если ты хочешь визуальную новеллу ChatWaifu - однозначно вин. АТТЕНШН, чтобы чатвайфу работал как надо, придется поебаться с настройками.
Надо бы все таки потратить время и таки запустить все популярные гемоподелия, и самому прям основательно потестить, но где бы взять на это время.
>>1031548 >Нитакусикам только дай похейтить что-то крупное и популярное. Блять, нет. Хватит уже записывать людей, которые посмотрели на то что пишет магнум в нитакусики. Он пишет как еблан, он забывает все как еблан. У меня при запуске магнума всегда только один вопрос : ну тебя, же уёбище, на чем то тренировали, где блять то место где тебя учили. Что ты читал ? Ты блять на дваче обучался ?
>>1030272 (OP) Подскажите </thinking> скрипт/плагин для таверны для R1 моделей. Чтобы думало под спойлером, а не вслух. По моему за несколько месяцев до Stepped thinking выкладывали.
> С 3060 точно заведется, но значительного буста не получишь ибо памяти мало, Не понял, 24гб мало? У меня еще и ддр5 с 100 гб пропускной способности. > лучше целься хотябы в 4060ти на 16 Жду, коглаьони зотя бы 35к на вторичке будут
>>1031548 >Насчет неоптимальности карточек прав, а Ну скажи оптимальные. Понятно, что для двух карт лучший вариант 3090, но кто хочет новое железо, у того особых вариантов нет. 50-я серия не взлетит.
>>1031634 >лупы Увы, это проблема любого мистраляподелия. Единственное что поможет это волшебные ручки. Чисти, чисти лупы и таверну настраивай. Увы, не без ебли. Для модели нужен контекст, а не односложные ответы. Тогда лупиться перестанет. Описывай её эмоции, описывай действия.
>>1031634 И ради всего святого, просто напиши OOC : Answer in Russian. Да и в целом, почаще направляй нейронку, она маленькая, ей надо помогать и тогда получишь пиктерлейд.
>>1031671 Не люблю гемму, она не умеет в сочное написание. Такое
>>1031804 >Написал. Дальше что? Лол, ладно. Что за модель ? Не все мультиязычные в девичестве. >>1031804 >Покажи свои настройки семплера, кстати. Ты не поверишь, но на пике обычная цидония 1.2. с настройками на Alpaca, мистралевскими инструкциями и deafult в таверне. На 400 токенов. Всё. Я вообще ничего больше не менял, я даже температуру не трогал. Просто 22b цидония и всё.
>>1031740 >Сейчас бы в 2к25 не иметь акка в дискорде... Штук 5 акков делал, при втором-третьем входе вымогают номер телефона, пидорасы. Это regex или quick reply, как устанавливать?
>>1031858 Короче меченный. Не еби ты себе голову с пантеоном. Я в душе не ебу почему он у тебя так плохо работает. Кочай цидоньку и не еби себе мозги. Если у тебя пантеон влез, то и цидонька со свистом залетит. Моё личное кря, рекомендую 6ой квант. https://huggingface.co/bartowski/Cydonia-22B-v1.2-GGUF/tree/main Потом ставь дефолт в таверне, выбирай промт альпаки, инструкции мистраля подцепятся автоматом, если стоит галочка. Повествование в таверне выбирай как имерсив РП (Хотя у меня откуда то кастомный мистраль стоит и я в душе не ебу, откуда его взял. Но по содержанию это immersive). Ставь 250-300 токенов, температуру по вкусу. И вперед, в светое нейробудущее.
>>1031475 Расцензурены? Да ладно. Даже всякие магнумы у меня иногда СОЕЙ СТРЕЛЯЮТ.
Если модель не может с радостью и улюлюканьем на карточке ассистента и без джейла расписать подробно о том, как разделать с последующим надругательством над и как прикрепить к нему начиненную металлическими шариками, чтобы возник — это цензура. И с джейлом копротивляться может.
Я не фанат такого, но расцензуренная модель должна давать такую инструкцию в идеале всегда, без отказа. Ну ладно, хотя бы 1 отказ на 20 ответов уже хорошо в наших реалиях.
Понятное дело, не имеет значения, насколько достоверную информацию она предоставляет в данном случае. Здесь важен сам факт подчинения модели и отсутствие сопротивления.
Ты, конечно, в своём посте не совсем это имел в виду, но я многие модели так проверял и замечал существенную разницу в ответах. Некоторые из них хоть и пишут, но очень скупо на подробности, а если вставляешь жёсткий античеловечный подтекст, могут буквально с первого поста уходить в бред и не отвечать по существу,о обрекая тебя на дёрганье сэмплеров и свайпы.
>>1031412 Ну, как раз дистилляты уже бьют корпо-сетки, если речь об обычных, а не ризонинге. Это вполне естественно.
Правда, если мы ролеплеим, то там не ризонинг решает, да. =D И локалки уже не бьют корпосетки, кек.
Зависит от применения, конечно.
Ну и Р1 хороша, да. В работе, по крайне мере.
>>1031419 Ну, V3 не то, а R1, да, если нет бзика на ебать-анонимность, то онлайн версия проста и хороша. Цены прекрасны.
>>1031439 Нейросетки погонять лучше все-таки видяхой. Ну, ты либо берешь 256 оперативы и гоняешь R1 на 3 токена/сек, либо берешь какие-нибудь 3090 бу и просто сидишь на классических магнумах и прочих люми или че там актуально среди 72б сеток, не слежу.
Но тебе посоветовали 4060ti, если из магаза с гарантией, то да.
Смотри сам.
>>1031489 Процессор в видеокарте выглядит не интересно — его туда тыкать некуда, понятно? Если ты планируешь выгружать на оперативу, то бери тот проц, который максимум пропускной способности оперативы выдаст (и DDR5, конечно). PCIe v5 примерно нахуй не нужно. Лишь бы материнка поддерживала x8+x8 хотя бы. Это надо чекать в описании самой материнки.
Точнее не подскажу прям модели, сорян.
>>1031543 > И оно прямо запускается? Ну да, че б ей не запускаться.
> Жорина обертка на распределенные вычисления на нескольких пека в сети такое может? Хер знает, зачем мне ебаться, если она и так работает? :) Я не настолько готов к экспериментам, сорян. Слишком большие объемы и долгая загрузка.
>>1031593 > Не понял, 24гб мало? Для чего? А то я не понял, какую модель вы обсуждаете, что она поедет или не поедет на 24… х) Ну, типа, ваще небольшие модели норм поедут, 4070+3060.
>>1031744 Модели не гуглит. Даже онлайновый дипсик не гуглит. Гуглит бэкенд, который посылает запросы в дипсик. Локально поставь какой-нибудь https://github.com/felladrin/MiniSearch или там еще альтернативы называли, и гугли чем хошь!
>>1031795 Типикал половина собеседников тут, я хуею, если честно. Сочувствую.
>>1031740 Может это не он тебе грубо ответил? В любом случае, ты мне хотя бы помог. И многим ридонли в треде.
>>1031889 Я пробовал (именно на русском), но недолго, ибо на моей врам генерация напряжная для этой модели. На мой взгляд, пусть и достаточно субъективный из-за отсутствия хороших тестов с моей стороны, для рп на русском он не подходит, ибо хороший анон выкатил русскоязычные модели здесь.
Ищи на huggingface модель instrumentally вторую версию: она сгодится для обычного рп и порнофанфика. Также можешь посмотреть sainemo-remix — он более стабильный, но сцены менее красочные в куме и все для русика.
И есть ещё одна хорошая модель, но название забыл.
Так как я с телефона и мне дурно, ссылки скинуть не могу, но в этом треде описываются эти модели и есть один скриншот с общением с одной подобной моделью. Полистай тред.
>>1031942 Ставь как хочешь, главное, чтобы не было слишком мало. Если модель тебя этим будет напрягать — уменьшишь/увеличишь.
>>1031919 >Но тебе посоветовали 4060ti, если из магаза с гарантией, то да. У меня так то 3060 стоит, оно как-то работает. Но стоит в говне мамонта, настолько что мне приходится качать версию кобольда для старых цпу. Думаю после апгрейда просто докуплю потом 3090 и буду их вместе гонять. Тут могу не торопится и покошмарить чмойнеров с лохито у которых есть опция возврата. Мне не обязательно прямо всё сразу брать. Но тут уже вопрос куда 3060+3090 ставить.
>Если ты планируешь выгружать на оперативу, то бери тот проц, который максимум пропускной способности оперативы выдаст (и DDR5, конечно). Да~ я тоже об этом думаю. Но это так себе план если я захочу гонять нейросети для генерации картинок, или ещё чего. Так что склоняюсь к тому что на это лучше сильно не налегать. Но опцию выгружать несколько слоёв в оперативу если прям НАДО всё-же хочу иметь, хоть и не в приоритете. Так что да, ДДР5 скорее обязателен.
>Лишь бы материнка поддерживала x8+x8 хотя бы. Это надо чекать в описании самой материнки. >Точнее не подскажу прям модели, сорян. Ну, спасибо и на этом.
>>1032040 >Актуальная русская моделька буквально одна - это новая Сайга. В русик, чтобы не кринжевать через слово, могут мержи на её основе.
Илюш, на дворе не 2023 когда это так и было. Командир и Гемма отлично могут в русский нативно. В командире еще и сои нет by design, ему все равно кого ебать.
>>1031554 Да ладно, это довольно приличная серия кумерских моделей, у которых есть некоторые недостатки. Не нужно так утрировать и тем более сравнивать его с шизомерджами. Не то чтобы против них что-то имею, но за все эти годы их нормальных появлялось крайне мало, чисто выигрыш в лотерею. > У меня при запуске магнума всегда только один вопрос А ты вообще про какой сейчас говоришь? >>1031593 > Не понял, 24гб мало? Ну как сказать, это место где только начинается жизнь и ~30б модели. Нормально это уже 48 и более. >>1031600 Да ничего нового тут нет, просто зря надеешься на ту хуету. Не, если оно получится удачным то буду рад не меньше и пойду за ней в магазин. Но надеяться на то что амудэ запустит новый для себя продукт без дебильных проебов, да еще он будет круто перформить там, где красные с проглотом сосут и не имеют софтверной базы - лучше сразу в очередную пирамиду влошиться, шансов больше. Тут крайне удачным исходом можно назвать если оно хоть на что-то будет годно и через пару серий уже будет что-то из себя представлять.
>>1031919 > зачем мне ебаться, если она и так работает? :) Ждать буквально пол часа на один ответ - норм работа. >>1031953 > instrumentally вторую версию Можешь чуть подробнее описать ее потом? > sainemo-remix Оно есть на квен 32б? Если так то надо качать, оно только для русского или на инглише норм рпшит? >>1032052 > Илюш, на дворе не 2023 когда это так и было. Да не, он из обиженных повышен до чертей, потому что впервые его модели можно отнести к скорее хорошим к не к мертвому днищу. Да, на это потребовалось более полутора лет, надеюсь не просто совпадение.
>>1032073 Цидонька раскрывается на английском, если её периодически стукать по ручкам, когда она лезет в трусы. Там такой вин может начаться. Она может и в простую иронию, может и в драму, комедию. Одним словом - человеческая мистралька. >>1032066 >А ты вообще про какой сейчас говоришь? Четвертый магнум.
>>1032095 >Оно есть на квен 32б? Если так то надо качать, оно только для русского или на инглише норм рпшит? Тебе же написали, что есть ТОЛЬКО САЙГА. А это микс от анона на 12b/
>>1032108 Оригинальный пост не мой. И ведь там вопрос про квен 32, а весь ответ про 12б хотя об этом не указано, это фиаско. >>1032115 22б все неудачные
Короче она лупить по страшному начала через пяток сообщений, попытался свайпать, плюнул, включил старый коммандир и тот сразу из лупа вылез. Какая же годная модель все же. Придется на нем и сидеть, жаль, думал что-то новое подвезли, а нихуя.
>>1032184 >вопрос по профилю треда Дак и ответ тоже. Ллмки в принципе не могут конситентно с такими данными работать, будут проёбываться. Тут нужны внешние обёрки которые будут хранить данные, контролировать их консистентность, и подсовывать их в контекст. А менять всё равно самому придётся, как на листе персонажа.
>>1032166 Мне как еще тебе написать, что цидонька для РП на английском ? Я специально для тебя, сбросил все настройки на дефолт, включил имерсив и начал отыгрывать императора человечества (Кто читал конец и смерть, тот поймет). Смотри. Без направлений и подсказок он лупит только общий стиль. И то, не всегда. Почему у меня блять все работает ?
>>1032184 >Дядь, ну не троль, вопрос по профилю треда. Самое интересное, что я это серьезно написал. Да, я понимаю что звучит как полнейшая шляпа. Но контекста и так нихуя нет, еще его на цифры тратить.
>>1032180 не слушай >>1032185, если ты новичок то мерж пантеона и цидонии убьет твою нервную систему. ОНО ТЕБЕ НЕ НАДО. Разберешься, тогда лезь. Хотя казалось бы берем мистраль, кладем на мистраль. А на выходе пиздец.
>>1032212 >но мне-то нужен русский язык. А ты не пробовал об этом написать. На кой хуй тогда ты вообще полез к сортам затюненных мистралей ? >сносный РП могут даже 1.5В Писать на английском и вести РП это разные вещи. Тут 12b кажется дегенератом порой. >Понятия не имею. У меня все мистрали испокон веков лупились как и дефолтные ламы. Я тебе скинул скрины, квант - Cydonia-22B-v2k-Q6_K Я не знаю, что ты там и как настраиваешь. Нет, лупы бывают, приходится воевать. Но только когда чат засран и контекст.
На реддите в обсуждениях 12б чаще всего всплывают Магмел Немомикс анлишд Магнум Росинанте Хронос голд Какие у анончиков мнения на счет этих моделей, может опыт?
А есть такая хуйня, чтобы автоматически запускать нейронку несколько раз с одним контекстом и вопросом, и брать только повторяющийся у определнного большинства ответ?
Потратил время, интерфейсик написал. Думал что-то годное раз в треде так много обсуждали.
Итоги работы с API: Непонятно зачем начал мне отвечать на украинском Каждый второй запрос не проходит Высокие баллы reasoning я подозреваю только на китайском/английском набиваются
Итоги работы с их сайтом: Нет обработки изображений как в GPT, нет памяти, после 3-го сообщения забывает, что я хотел Ни разу не вышло презентацию прочитать из-за нагрузок на сервере Обычные запросы проходят, но не всегда
Итоги работы с локальной версией: На любой простой запрос срет неформатируемой (может и форматируемая, но я не осилил + устал + дизмораль от тупости этой модели, ведь ожидал около скайнет) пастой из think. GPT по делу на такие вопросы отвечает.
Хз откуда у сойжаков возбуждение, уровень ответов для всего кроме кода литералли 14B. Только из-за того, что 671b теперь на 4х3090 можно использовать?
Для реальных задач сырая, для общения глупая, сервера нестабильные (как работает мобильное приложение не проверял), единственный плюс, что бесплатно. Повод ли это бесплатно жрать говно?
>>1032287 Весь терминал сложно было заскринить, вот часть reasoning:
Сначала подумаю, как реализовать проверку делителей. В Haskell можно использовать рекурсию или функции высшего порядка. Возможно, сделать функцию isPrime, которая принимает число и возвращает Bool.
Нужно учесть краевые случаи: числа меньше 2 не являются простыми. Если число равно 2, то оно простое. Все четные числа больше 2 точно не являются простыми, поэтому их можно сразу исключить. Для остальных проверяем, есть ли делители от 2 до sqrt(n).
Как эффективно проверить делители? Можно использовать список [2..sqrt(n)], но в Haskell лучше генерировать его через [2..] и брать элементы, пока они не превысят корень. Однако, так как Haskell использует ленивые вычисления, можно сделать итеративную проверку, чтобы не хранить весь список в памяти.
Еще можно оптимизировать, проверяя только нечетные делители после 2. Это сократит количество проверок примерно в два раза.
Дополнительно, можно исключить все числа, делящиеся на 3, 5 и другие малые простые числа. Один из способов — проверять делители вида 6k ± 1 (кроме 2 и 3, все простые числа имеют такую форму). Это уменьшит число проверок еще сильнее.
Теперь важно подумать о реализации этой идеи. Использование списка [2..] с фильтрацией может быть выразительным, но не самым эффективным. Можно использовать any (\d -> n mod d == 0) [2..sqrt(n)], но этот вариант все равно будет перебирать все числа вплоть до корня.
Более эффективный способ — написать рекурсивную функцию hasDivisors, которая перебирает делители от 2 до sqrt(n), останавливаясь при первом найденном делителе.
Также можно использовать foldr или any из Data.List, но рекурсивный вариант будет более естественным в контексте данной задачи.
Еще одна идея — воспользоваться takeWhile, чтобы проверять только числа, не превышающие sqrt(n), но это потребует вычисления корня, что в Haskell делает sqrt, возвращая Double. Можно использовать floor (sqrt (fromIntegral n)), чтобы получить Int.
Стоит также подумать о производительности. Для небольших чисел такой метод подойдет, но для больших чисел, например, 10^18, он будет медленным.
Для учебного примера достаточно реализовать проверку делителей до sqrt(n), так как это относительно просто и эффективно для средних значений.
Также нужно подумать о производительности. Для больших чисел такой метод может быть медленным, но для учебного примера подойдет.
Теперь структурирую код: объявление isPrime, обработка краевых случаев, проверка делителей. Возможно, использовать guards для ветвления.
Проверю, как работает функция. Например, isPrime 7 должно вернуть True, isPrime 9 — False.
Если все правильно, то напишу код с комментариями, объясняющими каждый шаг.
И я это всё примерно со скоростью 80wpm ожидал, хотя задача примитивная, куда столько?
>>1032306 >И я это всё примерно со скоростью 80wpm ожидал, хотя задача примитивная, куда столько? А теперь представь, что ты студент и только начинаешь изучать этот Хаскел. Ну даст тебе модель готовую программу, даже с комментариями, а толку? А здесь видна мысль :)
>>1032225 Пробовал это всё, правда, не сильно помногу - остался в итоге на магмеле. Показался самым сбалансированным в плане кум/мозги/сторителлинг. На втором месте, наверное, росинанте, там чувствовался нестандартный рп датасет, персы казались более живыми. Магнум лежит составляющей и в магмеле, и в немомиксе, если что, как и в куче других мержей. Да и не удивлюсь, если всё те же логи опуса есть и в лире от сао, и в росинанте.
>>1032682 бывает еще промт суммарайза. А по самой теме вопроса, это зависит от модели. Читай описание, если это не пидарасы в духе команд-р, которые вообще нихуя не пишут, сиди гадай блять.
>>1032693 >команд-р Лол блять, я как раз его скачал пол часа назад и проверяю что он может. В сторитейлинг и рп он норм, но вот в куме он чет пока совсем не очень.
>>1032699 А я другой анон, я просто после работы полистал тред и решил попробовать, я даже забыл что командер в русь может нормально. Ссылка или упоминание нормальной цидонии для нищуков на 8гб выше были?
>>1032696 Так-то командер - буквально лучший для кума среди стоковых моделей и вполне может дать фору даже некоторым шизомиксам по познаниям в ебле, фетишах, описанию этого и инициативе. Причем, просто так на хуй не прыгает, если цундере или чар невинный - они будут именно такими. Плохо только что туповат.
>>1032706 >нормальной цидонии для нищуков на 8гб выше были? Сорян, я аутяга. Нет, я конечно видел маленькие версии цидонии но не пробовал. Тут сорян, все что ниже 12б я не пробовал, после потуг в РП. Они не плохие, но я же янедереёб, мне нужен horor и despair, что то в духе у меня нет рта и я хочу кричать, но в попытке убежать от ебанутой. А двенашки или слишком соевые, или не дотягивают до хардкора в диалогах. Они конечно могут описать действие, но не хватает именно... Я даже не знаю как это описать, вот как флирт с девушкой. Ты же не говоришь тян что ты её выебешь на столе, вы оба понимаете о чем речь, но соблюдая правила приличия ведете социальный и местами довольно горячий диалог, так и тут. Всякие более крупные модели могут в подобные диалоги, а маленькие они слишком прямолинейны.
>>1032714 > Причем, просто так на хуй не прыгает, если цундере или чар невинный - они будут именно такими. А, вот в чем дело. А я привык что все модели хуй постепенно кладут на это и сами лезут в трусы. А тут ЕРП нахуй, тут прям реально нужно лезть и намекать. >>1032718 Ну командер уже наглан мне сжима очка. Я в темном лесу нарвался на руины, слегка приоткрытая дверь, ну я зашел, а там нёх, что из темноты с лезвиями вместо пальцев кидалась на меня, уходила в тень и нападала со спины попутно плюя кислотой. Потом вообще щупальцами начала атаковать, а я отбивался факелом. > далее про флирт Ну ты сейчас описал мое взаимодействие с карточкой на командере где персонаж вся такая любящая, не замечающая странных действий и тд. Ей все в шутку и "я тебя люблю, я сделаю это" но она не замечала что эти действия были какими то интимными.
>>1032747 Ну тогда потыкаем команд-р. В конце концов, цидонька меня уже подзаебала. Я её конечно люблю, но мистраль остается в базе мистралью. Да и в целом, надо гему потыкать. Выскажу своё нахуй не нужное мнение через дней пять, лол, увы, нужно прям потыкать карточки, чтобы понять насколько хороша модель.
>>1032759 Кстати о настройках, в сис. промте можно как то обойтись от форсирования того что карточка не должна отвечать за меня? Или это собственно от карточки зависит? А то адвенчур карточки очень уж любят описать мои фразы, против действий я не против, это как кинуть кубик в днд, прокнуло или нет, но вот фразы и действия раздражают.
Кстати (просто вспомнилось) Wayfarer может порадовать в приключении. В таверне бармен решил подкатить ко мне. Я на всю таверну крикнул что бармен педофил и клеится. Часть народа пошла пиздить бармена, постепенно все начали пиздить всех. Я сидел за столом и наблюдал как все пиздятся иногда подбадривая их. Один гном замахнувшись кружкой попер на меня, обвиняя меня в пизделовке, но не успев дойти до меня его обратно затащили в драку. На кухне начался пожар, пожар потушил брат бармена и народ. Потом из кухни выходит избитый бармен и орет на меня что если бы не я, то этого бы не произошло и тут уже я скача по столам съебываю из таверны от злой на меня толпы. В итоге я с довольной лыбой убежал из бара, при этом не заплатив бармену за эль. К сожалению когда я шел по улицам городка, он вывел меня на поляну и высрал очередного волка.
>>1032747 От персонажа зависит, если там блядища то сразу пойдет > ара~ара, где там твой дружок? Но как оно на русском - хз, рпшил с ним всегда на инглише. На фоне 12/22б, если не накосячишь с форматом и промтом, он не будет глупым. >>1032789 > К сожалению когда я шел по улицам городка, он вывел меня на поляну и высрал очередного волка. Soooqa, в голос, сделал мой вечер. После такого описания идеально.
>>1032789 >К сожалению когда я шел по улицам городка, он вывел меня на поляну и высрал очередного волка. Пантеон мне при штурме Гудермеса высрал гоблинов. Вот тут десантура охуела.
>>1032807 > Soooqa, в голос, сделал мой вечер. После такого описания идеально. Да в каждом новом приключении мне приходиться просить ии не высерать волка ИЗ ШОРОХА В КУСТАХ. В один из разов я даже кекнул, когда она высрала мне человека-волка, не оборотня, а именно сука человек-волк. >>1032815 А вот теперь я проиграл в голосину.
>>1032815 Я понимаю зачем кумить, но… > штурме Гудермеса У меня даже слов нет. Знаешь где еще можно штурмовать посадки ? В вартандер, ведь только в вартандер сотни единиц техники
>>1032839 Да блять, я гоблина играю. А мне все высирают или волков или эльфа в лесу что норовит мне стрелу в жопу пустить или пещеры. Я уже огрызков моделей на 90гб накачал. Я хочу попробовать в постапок или боевые современные действия, но боюсь что на 6-7гб модели 100% обосрутся в менеджмент патронов/магазинов, учитывая что им приходится напоминать про инвентарь в средневековье или пихать его в суманизацию или в описание персонажа (хз как по другому сделать, не шарю). Ну вспоминается IZAR карточка, которая тупо выводила весь инвентарь в сообщении, учитывала кислород, течение времени, разряд акума и тд и тп, но это просто затягивание генерации каждый раз, тем более когда лутаешь ящики, а там тебе высерает 100500 единиц содержимого.
Ну или хуй класть на прям менеджмент и играть в сторитейлинг где я просто держу в голове инвентарь и просто когда им нужно воспользоваться, говорю модели что мол я заюзал последний боезапас и тд. >>1032849 Тысячи! ТЫСЯЧИ ЕДИНИЦ ВОЕННОЙ ТЕХНИКИ!
>>1030313 В кобольде ставь галочки как на скрине. После того как создашь, в конце консоли появится Your remote tunnel is ready, please connect to ССЫЛКА. Эту ссылку открываешь в браузере и кидаешь другу. Сверху нажимаете Join Multiplayer, вводите ники, наслаждаетесь.
>>1032815 Лооол. Надо как в старые добрые еще на проксях ставили рандомный промтинжект на забавные события >>1032827 > когда она высрала мне человека-волка Закажи волко-девочку и переходи в фазу кума. >>1032861 > Да блять, я гоблина играю Как прошел штурм гудермеса? >>1032883 Если можешь позволить то второе.
>>1032955 >Закажи волко-девочку и переходи в фазу кума. К сожалению в тот раз вайфайндер решил не затягивать бой на 20 сообщений и шотнул волко-мальчика моим оружием. >Как прошел штурм гудермеса? Я видел такое, что вам, гоблинам, и не снилось. Атакующие десантники, кричащие под Гудермесом; Лучи прожекторов, разрезающие мрак облаков в поисках самолетов. Все эти мгновения затеряются во времени, как... слёзы в дожде
>>1032916 >Кум составляющая в приключениях нахуй не нужна. Двачую. Когда у тебя уже практически приключенческое произведение с кучей персонажей, построенными взаимоотношениями, интересным сюжетом, кум кажется уже чем то не пришей к пизде рукав. Проще отдельного бота запустить и с ним порролить, чем пихать это в рассказ.
>>1032985 > Проще отдельного бота запустить и с ним порролить Форкаешь чат и вспред. Потом если понравилось можно затребовать суммарайз произошедшего и аккуратно имплементировать в основной.
She saunters over to you, her hips swaying seductively with each step. She leans in close, her breath tickling your ear as she whispers Her hand trails down your chest her touch teasing and promising Как заебало одно и тоже на 12б, на моделях повыше всё тоже самое? Жизни нигде нет? Какую бы ситуацию не придумывал кум один и тот же
Аноны, правильно понимаю, что весь хайп по поводу дипсик (deepseek) основан на непонимании куда уходят бюджеты у openai? Т.е. у них львиная доля бюджета уходит на поиск и подготовку данных для обучения, кстати, как это происходит, кто-нибудь понимает? А дипсик на основе готовых данных от опенов обучил новую сетку со своими оптимизациями и демпингует?
>>1033300 Да инвесторы дебилы просто. То что якобы дорогущие карточки у нвидии будут менее востребованы это же пиздец чушь. Дипсик охуеть какой инструмент, его присутствие означает что его теперь будут фигачить даже в простых вариациях куда угодно в любой форме. Карточки наоборот сейчас будут более востребованы.
Если бы у тинька не было анальных ограничений для покупки акций нвидии я бы уже бежал кредиты брал чтобы вкладываться в неё.
>>1033300 >Аноны, правильно понимаю, что весь хайп по поводу дипсик (deepseek) основан на непонимании куда уходят бюджеты у openai? Для меня весь хайп в том, что китайцы почти внезапно выкатили сетку не хуже лучших западных. Монополии Запада на ИИ конец. А значит конец сверхприбылям, преимуществу в военной сфере, где ИИ хотели развернуть как следует, и в экономике в целом - китайцы могут сделать дешевле. Уже сравнивают с эффектом первого Спутника.
>>1033267 Меня больше заебала фраза про воображение. В каждом описании более менее открытой одежды нахуй. silky nightgown that left little to the imagination
>>1033267 > her breath tickling your ear as she whispers Как же я это ненавижу! Даже если запрещаю шептать на ухо, умоляю избегать этого, рассказываю что так не принято в обществе, эта мразь всё равно шепчет
>>1033306 сервера поменьше. чисто технически можно даже на зивонах с 512 рамы запустить. Но там со скоростью беда будет, да. Как по мне, весь прикол в том, что он в открытом доступе - качай и издевайся над ним как хочешь. >>1033313 в точку попал, закрытой монополии больше нет, от чего всех акул бизнеса попердолило. Хотя почему тут аноны так возбудились, я хз. Тут всё же большинство сидят с 16-24 врама, в последнее время восьмигиговые подтянулись, куда они будут 671В себе запихивать я хз. Реальный революшн у локалок будет когда моделька, умещающаяся хотя бы в 24 гига врамы, выебет и высушит все корпосетки, или когда ебучий контекст не будут просирать и он не будет весить так дохуя, ну или когда всё таки выпустят модели с "долгосрочной памятью", обучающиеся во время работы. А, ну или если "народные" варианты с 32/64/128 быстрой памяти выкатят а не как сейчас 4090 за 3к долларов в мск
>>1033331 >моделька, умещающаяся хотя бы в 24 гига врамы, выебет и высушит все корпосетки Ну такого не будет, но у локалок будут свои преимущества - как и сейчас, собственно. Просто хочется, чтобы уровень локалок был, скажем так, достаточен.
бомбит какая же угабуга дерьмище еьаное 100 раз пытаюсь модель загрузить даж после перезапуска компа - ошибка и так десяток моделей перезагрузил вкладку и губагубу и включил сначала слабую модель которая минуту назад не включалась - ща включилась логика где? моделей побольше тоже касается - четко помню что раньше работали а ща нет угабугу не обновлял и никакого сопутствующего софта походу переходить на кобальд нада
>>1033338 >>1033343 Мечтать нельзя что-ли? Хотя как посмотреть, вон, старые гптшки уже некоторые 12В обходят по качеству спокойно, мб через пару-тройку десятков лет всё будет, тема то новая и сверхстремительно развивающаяся. Хотя я сам больше верю в то что врам подешевеет. привет интолу и их 16гб картам за копейки.
>>1033351 Я амудемученник и менять это не собираюсь пока что А что, там прям настолько всё плохо? говорят же вроде и дрова уже норм завезли и вообще? >>1033356 ИИ за 30к впахивать не будет, такие как мы, рабы, не вымрут. Особенно если мы будем эффективными. Это всё луддизм, который на руку мегакорпам. Про ткацкий станок также говорили, и про механизацию производства, и про антибиотики. и вообще айда в леса сибири, жить с лешим
>>1033313 Ну я так понимаю, если есть доступ к самим базами знаний, на обучение которых ушли тонны денег, то дело за малым. Но сами знания, судя по всему, заканчиваются, поэтому сейчас основная конкуренция уже будет сконцентрирована на новых идеях и оптимизациях.
Вот интересно остальные - мистраль, лама, гемма обучали базы сами, т.е. у всех разный набор данных?
>>1033399 >Ну и по аналогии богачи захотят мясных мешков слуг Да как сказать, в андроидихах с мясистыми ляжками и массивными сиськами есть своя прелесть. И никаких забот впридачу. От живых слуг одни проблемы.
>>1032095 > Ждать буквально пол часа на один ответ - норм работа. А раскидать по сети — думаешь будет быстрее? Там же задержки, не? Я ни Petals, ничего в свое время не ставил. Не знаю, насколько оно норм работает. Хотя-а-а… На тех же маках вроде норм.
>>1032287 Это или очень жирный вброс, или очень глупый автор, в обоих случаях сочувствую.
>>1033300 Ну, типа. Р1 действительно хорош и продается за копейки. Поэтому хайп. Р1 обучили дешевле, хотя ОАИ очевидно дохуя ресерчит. Поэтому паника, от непонимания. Как-то так.
>>1033307 Пусть эти инвесторы сами на бересте обучают. =D На самом деле, я думаю, Хуангу на руку — только акций прикупил на снижении.
> покупки акций нвидии Я об этом уже пять лет говорю, когда они еще 150 млн стоили.
>>1033331 С 256. Со 128 даже. С выгрузкой на ссд. На 170+ гигах на зявоне с псп 50 ты получишь 1,5 токена сек, вполне возможно. А если псп 80, то и все 2,2. =)
>>1033341 Просто нашли эндпоинт, он был неприкрыт. Я называю это опенсорс. =D
>>1033345 Уже сто раз говорил, что обучали на синтетике. И представляется она не столько гопотой, сколько Яндексом и Сбером. =D Но, очевидно, что датасеты содержат синтетику с о1, это же пиздец логично так делать. Не понимаю проблемы.
>>1033319 >>1033267 Мистралеподелия - они такие. Обязательно будет : blush, wispers, пока-пока-покачивая бедрами.
Аночусы и ии кильки, попробовал я команд-р, думал мне потребуется больше времени, чтобы понять что он из себя представляет. I'm disappointed Кто там говорил что лучше мистралеподелей ? Потому что это пиздеж. У меня с кумдонией никогда не было проблем с пониманием написанного мною. Она переваривала мои текста, разбивала на части и отвечала. А вот командр это какой то пиздец, он понимает только простую конструкцию ответа, если ты хоть немного, хоть чуть чуть напишешь что то отличное от Я взял чашку. Чашка была пустая. Я поставил чашку. Там начинается такая шиза, что пиздец. Я в первые вижу чтобы сетки больше 12b, вообще хуй забивали на контекст беседы. У цидонии мозги плавятся когда контекст перегружен, а командр мне выдал все сразу. И персонажи разговаривают во сне с друг другом и разговаривают находясь в разных помещениях, Про потерю одежды я даже молчу. А позы, позы блять. И я не про кум. Почему сидящий на толчке персонаж чешет ногой своё ухо. Это чё блять ?
>>1033340 >походу переходить на кобальд нада Я вообще не понимаю, зачем нужны еще какие то связки кроме таверны+кобальта, ну не считая технических задач. Что вы с угабугой там делаете ? Exl2 запускаете ?
>>1033462 Лол, а ты прав. Тогда понятно откуда взялся этот оборот. А то я неиронично сидел и думал, как вообще человек может чесать ухо, а если paws заменить на leg, то все прям понятно.
>>1033261 Последний раз на таких сидел. Но вообще я их регулирую: если видно, что совсем сильно похожие ответы идут, то детерминированность можно уменьшить, повысив темпу и/или понизив смуфинг. Если, наоборот, тупит, то в другую сторону меняешь. Ну и минП можно увеличивать-уменьшать отсечку, но его особо не трогаю. Температура перед минП в порядке сэмплеров, т.к. воздействие темпой со смуфингом с текущими значениями само плохой хвост зажимает, так что правильнее его после темпы+смуфинг отрезать.
>>1033466 Может и есть, но лучше выбирай что то другое. Я не могу утверждать. Что будет плохо, но скорей всего будет очень хуево. Посмотри в сторону небольших миксов и немоподелий.
>>1033300 Инфоповод и раздутый хайп. Можешь просто порадоваться что у опенов теперь есть оче интересный конкурент, который (пока) поддерживает опенсорс, а Альтман визжит как побитая сучка. >>1033304 Шиз, таблы >>1033340 Что ты не можешь загрузить? "У меня компьютер не работает."
>>1033466 Это тьюн именно 22б. Подозреваю, что у rocinante схожий датасет (та же группа тьюнила), но она будет тупее в силу более всратой базовой модели.
>>1033349 Модели становятся лучше, но в целом, если хочешь что-то типа рп, где нужно восприятие абстракций - готовься к размеру как можно больше. Чем меньше сетка - тем более копиумно и прямолинейно она будет все воспринимать, даже если хорошо задрочена выполнять длинные команды или как-то рассуждать. >>1033410 > думаешь будет быстрее Да ктож его знает, обменов там немного и по локалке должно быть быстро. Это не петалс а надстройка над жора-сервером. >>1033454 > зачем нужны еще какие то связки кроме таверны+кобальта Зачем нужен кобольд, когда есть llamacppserver? Зачем нужен кобольд когда есть убабуга? Зачем нужен жора когда есть эксллама? Странный ты. >>1033475 > У меня компьютер не работает! > Расскажите подробнее что именно > Совсем не работает! Лол >>1033479 Идешь на обниморду и скачиваешь веса.
>>1033481 >Идешь на обниморду и скачиваешь веса. это которые голые не форматированые? так они ж просто так не запустятся - или о чем ты как же скотски лагает моче-сасач
>>1033481 >> Совсем не работает! типичная ошибка что не удалось загрузить модель и ссылки на строки кода на питоне - что тут еще впринципе сказать можно?
>>1033483 > не форматированые Что? Код для запуска есть, даже в лаунчеры поддержку добавили. Если достаточно хотябы оперативной памяти то можешь крутить на процессоре, если есть карточки - крутишь быстро и красиво. >>1033485 Ты нормально можешь сформулировать что конкретно у тебя происходит? Что делаешь, на каком этапе отваливается, что пишет в консоли?
>>1033448 В новой версии 08-2024 уже многие разочаровались и в треде об этом. Но некоторые до сих пор его почему-то защищают. Старый был лучше. Единственный плюс коммандера - он без цензуры, ну и возможно не так отравлен слопом, как мейнстримные геммы и мистрали. Про еблю и жесть наверное может накатать что-то кроме шиверсов, курвсов и аполоджайзов.
Алсо, перепроверь правильность промпт формата. Защищающие утверждают, что коммандер очень чувствителен к нему (хотя другие модели настолько сильно не ломаются, подхватывают "чужое" форматирование и всё равно выдают что-то вменяемое). Хотя у меня он что так тупой, что эдак, уступает старой версии себя же (но та память жрёт).
>>1033503 > хотя другие модели настолько сильно не ломаются Еще как ломаются, просто щитмиксы генерят свой слоп при любых условиях, используя остатки разума чтобы подхватить другие токены как разметку.
>>1033488 хуеву тучу тредов в шапке писалось что их так запустить нельзя и нужно форматированые. каким хуем ктото типо меня может знать и уметь обратное >>1033489
>Если достаточно хотябы оперативной памяти то можешь крутить на процессоре екс лама это шутка какаято?
блять хули не ясно то? я ж говою загружаю модель в ламу которая всегда работала а тут угабуга выдает ошибку на строки кода питона. типо в какой то линии какое то слово или токены - я не вссматривался
может тебе еще астрологический расклад написать для полноты картины?
>>1033502 Так, судя по всему ты тоже решил цидоньку скачать. Я еще раз напомню: желательно чтобы у тебя было хотя бы 16гб ВРАМ. Если меньше, то не стоит. Я не настаиваю, твой выбор, но сидеть жать 400 токенов по 10 минут, это будет больно.
>>1033503 >Алсо, перепроверь правильность промпт формата. Вот в этом вся и проблема. Гематагенки и мойшстрали работают чуть ли не с коробки. Но тут было дело не в промте, это именно то как она вычленяет содержимое. Буквально : о, он что то сказал. Значит он сказал персонажу. Ну и что, что персонаж спит. неслышимый вопрос повис в воздухе и они все поняли.
Используй квантование кэша, Люк. На 4-битном квантовании уменьшает вес в 4 раза, позволяя например на одной 4090 запустить 32В модель с 100к контекста.
>выпустят модели с "долгосрочной памятью", обучающиеся во время работы
Это невозможно в рамках технологии трансформеров. Да, game was rigged from the start, все современные ИИ изначально делаются на свалку чтобы потом все накопленные шишки и опыт применить к нормальной технологии.
>>1033529 Ты опять выходишь на связь ? Вот почему то у меня не лупится, наверное лично святой Нейроний меня благословил. >_> только попробуй про русское РП написать, я тебя съем, блять.
>>1033362 >с нуля при запуске контекст максимум 5 мин обрабатывала
У тебя резервный механизм нвидии по пробросу видеопамяти на оперативку вместо ошибки переполнения видеопамяти включился. Лучше выключи его нахуй, работать с этим говном все равно невозможно, пусть ошибку выдает.
>>1033533 За сочнейшие описания, вариативность и понимание ситуации и контекста надо платить. Но если ты мне сейчас принесешь какую нибудь модель, с нормальным квантом в пределах 17-19гб, которая выебет ебучую цидоньку, я тебя расцелую и буду на руках носить.
>>1033515 А что выбирать: Q6_k без буквочки или Q5_L? Или что лучше Q5_k_s против Q4_k_L Всегда ли цыфра после Q бьет любую низшую масть даже если она _s? Ебать, как с процессорами Интел выбери поколение и ещё модель и как с видяхами 4070 против 3090 если не знаешь, то проебешься подумав, что цыфра 4 бьет цифру 3. Ну ты понял вопрос?
Чел, мы с тобой сравниваем разные вещи. Ты еще не надрочился на англюсик, а я дрочил на нем со времен Пигмы, и мне надоело - я переключился на русский и оцениваю модели исключительно по пониманию русского языка. Потому тебе командир и не зашел - он многоязычный, в нем пожертвовали английским ради других языков. Как ни еби мистраль, но он англоязычный.
>>1033558 >Ты еще не надрочился на англюсик Да при чем тут дрочка, если главное требование к сеточке от меня, это вариативность и умение понимать ситуацию. Я блять посмотрел как комнадр хуй кладет на промты карточек и на ситуацию. Пасиба, то что я хотел. Я не просто так ношусь с цидонией, я бы с радостью поменял её на что ни будь, ибо заебала. Но ничего нет. Все модели одинаково хуевы, но хуевы еще больше. А в 30b+, моя 4080 делает KRYA, IM HIT, OUT OF MEMORY, BLUSH. >>1033561 Если кратко, то ты как пользователь в пределах одного кванта разницы не заметишь. А вот между Q6 и Q4 - еще как блять заметишь.
Это невероятно субъективная и очень сложно отслеживаемая хуйня, очень сильно зависящая от правильных настроек, промпта и инструкций. И от языка модели. Плохо понимающая язык модель не понимает и неверно интерпретирует инструкции и промпт. В отличие от залупов, которые сразу заметны глазу и легко пруфаются.
>Да при чем тут дрочка
Притом что я в переносном значении это слово использовал. Фейспалм.
>>1033515 >Тут же очень просто догадаться - ты размеры вещей брендов на рынке видел? Или тебе мамка покупает? >Разные размеры внутри одного кванта? Ну я так и предполагал. Но мало ли что они там могут написать. >>1033524 >желательно чтобы у тебя было хотя бы 16гб ВРАМ. Ну у меня ддр5. И 4070S. Гемма 27б q4 почти на 8 т\с идёт
Потому что эта хуйня не предначена для использования. Во-первых её запустить не так просто, новичок не справится, она с кондачка тебе только шизу на китайском выдаст, во-вторых, даже после правильных настроек она выдает вот это >>1030834>>1030866, обрати внимание какие модели аноны в треде обсуждают.
>>1033594 В шапке есть инфа о моделях и на чем они основаны, не поленись почитать её. Цидония работает на базе мистраля. Нормальных моделей основанных на дип-R в природе нет. Ты или используешь 670B оригинал или получаешь кусок шизы.
народ, поясните за шмот дистил модели, это типа из говна когда отбирают самые говенные соки передающие всю говенность говна чтобы говно меньше места занимало?
>>1033573 >Если кратко, то ты как пользователь в пределах одного кванта разницы не заметишь. А вот между Q6 и Q4 - еще как блять заметишь. А можно заметить разницу между Q8 и fp16? А то есть одна хорошая моделька, для которой мне врама не жалко...
>>1033613 это типа приходит дипсик с палкой и пиздит более тупые модели до тех пор пока они не начнут повторять за ним так хорошо как могут. даже если они делают это не так хорошо, они справляются лучше чем раньше.
>>1033584 >Это невероятно субъективная и очень сложно отслеживаемая хуйня Отнюдь. Понимание очень объективно. Если нейросетка срет гоблинами при зачистке подвала от боевиков, то у меня есть ряд вопросов к сеточке, почему она игнорирует сеттинг. >В отличие от залупов, которые сразу заметны глазу и легко пруфаются. Лупы и пупы требуют опыта. Я спорить не буду что мистрали грешат этим, лол, я сам неоднократно превращался в халка и хотел разбить монитор. Но и тысячу раз но - опыт, сын ошибок трудных. Со временем я научился с ними воевать и теперь наслаждаюсь чистейшим blush в бесконечном приключении. >Притом что я в переносном значении это слово использовал. Фейспалм. У меня уже мозг переполнен контекстом треда, не вывожу иронию.