Есть тут такие же?
Делимся своими архитектурными шедеврами
Пропущено 5 постов, 4 с картинками.
Прошлый тред: >>1683898 (OP) https://arhivach.vc/thread/1417819/
Схожие тематические треды
• SD-тред (не аниме): >>1687558 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 510 постов, 198 с картинками.
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: DeepSeek Harness, OpenCode или Pi Coding Agent + из моделей аноны советуют Qwen3.8 27B, подробности в llama-треде
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google/
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Antigravity CLI: https://antigravity.google/product/antigravity-cli
• Pi: https://shittycodingagent.ai/
• Tau: https://github.com/huggingface/tau
• DeepSeek Harness: https://github.com/deepseek-ai/deepseek-harness
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1694457 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1689545 (OP)
Пропущено 1054 постов, 195 с картинками.
Ну так, что у консолетряса, что у Икеа-дауна, что у сантехника, на троих едва-едва трезначный асикью наберется. Челики выбрали ретардмаксинг, и счастливо живут. За них треды мод катит.
Привет всем, в Ии шарю очень мало пожалуйста подскажите приложения или сайты что угодно где можно об
Аноним
07/09/26 Пнд 21:45:19
№
Ответ
Пропущено 4 постов, 2 с картинками.
Качай llama.cpp и и модель с huggingface с тегом roleplay heretic.
кроме perchance ничего реально бесплатного нет, все хотят чтобы ты им платил за мисраль лол. на перчансе там скорее всего тоже мисраль а может даже и гемма аблитнутая, я особо не вникал, у меня и локально всё есть.
хватит бомжевать, покупай видеокарту б.у. на 6-8 гб, добавляй рам до 24гб и будешь крутить у себя локально геммочку
1. Suno
https://suno.com/
Вышла версия 5.5 (но для тех кто платит денюшку), качество моделей постепенно улучшается: звук, понимание концепций, набора различных жанров. Но в то же время все сильнее урезается для бесплатных юзеров: осталось только 5 бесплатных генераций в день на аккаунт, а также по заявлением некоторых анонов, модель для генерации на бесплатке (на момент создания треда использовалась 4.5) ухудшили. Спам аккаунтами пока что работает.
Купить подписку из РФ:
1. https://payment.mts.ru/tools/suno-ai
2. https://plati.market/games/suno-ai/1701/
2. Tunee
https://www.tunee.ai
Хороший звук, более-менее понимание концептов, но тоже сильно урезан для бесплатных юзеров: режет концепты в промптах, плюс произвольно определяет "цену" за каждую генерация исходя из какой-то "сложности запроса". И получается, что если с бесплатки забацаешь промпт сложнее банальщины "Make cool rock about love for youtube" он может решить что у тебя нет кредитов для такого сложного запроса и пошлет нахуй. Способов оплаты из РФ неизвестно.
3. Sonauto
https://sonauto.ai/
Как по мне, недооценённая вещь, особенно учитывая что недавно он обновился до 3.0, который очень даже разъебывает. Но он тут более ограничен тегам и понимает чисто какие-то жанровые теги, гибкости поменьше. Но зато пока что халявный и не ограничен кредитами, генерируй пока есть настроение.
4. Другие сервисы, которые можно попробовать, но сам много про них сказать не могу
https://www.wondera.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator
https://www.elevenlabs.io
ЛОКАЛЬНАЯ ГЕНЕРАЦИЯ
MiniMax Music 3
https://github.com/minimax-ai/minimax-music3 [есть в шаблонах comfyui]
Свежак. Качество генерации на уровне Suno 3+. Сильно заточена именно на песни, с инструменталом есть особенности - модель не следует прямому указанию по продолжительности, можно выставить ограничение(!) на максимальную продолжительность. LLM часть сама решает сколько будет идти трэк. Промт простыня на пару сотент токенов, рекомендуется использовать LLM асситента.
ACE-STEP 1.5XL:
https://github.com/ace-step/ACE-Step-1.5 [есть в шаблонах comfyui].
Звук уже на уровне раннего Suno ~2.0-3.0, аноны делают на нем уже приемлемые результаты и постят в тред. Если есть хотя бы 12 GB VRAM и хочется генерировать без цензуры и подписок - можете юзать. Идеально подходит для отладки перед использованием на коммерческих генераторах. В XL версия DIT модель разжирела до 4b параметров и стала чутка вменяемее.
Стоит учесть то чтобы добится вменяемого звучания одними тэгами отъебатся не получится, `caption` требует качественного промпта символов на 200.
В ComfуuUI реализован только text2music функционал. Для полного функционала надо накатывать полноценный бэкеннд из репозитория.
Есть несколько кривеньких вариаций локальных студий как в коммерческих моделях - https://github.com/ace-step/awesome-ace-step#uis-and-studios
VST плагины итд.
HeartMuLa
https://github.com/HeartMuLa/heartlib
Результат примерно на уровне ACE-STEP1.5 (не XL). Статус проекта непонятен, пока ебут вола. Из плюсов - меньше песочит на верхних частотах. Есть встроенный STUDIO UI.
YuE
https://github.com/multimodal-art-projection/YuE
Первая локалка на которой можно было хоть что то сделать. Жрёт VRAM как не в себя, работает медленно, звук как совсем ранее suno.
Ссылка оставлена чтобы любопытствовать насчёт новых версий.
StableAudio
https://github.com/Stability-AI/stable-audio-3 [есть в шаблонах comfyui+]
Делает звук. Подходит для создания сэмплов FX, ad-libs итд. Абсолютно не может в членораздельную речь. Может сделать что то похожее на музыку.
v3 наглухо зацензурена, стоны и вопли можно делать на v1.
МЁРТВЫЕ КОММЕРЧЕСКИЕ ГЕНЕРАТОРЫ
1. Udio (udio.com) - куплен Warner Bros, но затем сами Warner Bros сдали назад и откатили сделку. Но уже успели испортить, больше нельзя скачивать треки, их только доставать из буфера в 160 кбит/с. Плюс непонятно как работающая цензура, которая не дает генерировать треки с определенными тегами. Плюс уже год ебут один и тот же 1.5 allegro.
2. Riffusion, Producer.ai (producer.ai) - куплен гуглом, удалены все старые относительно норм модели, вместо этого запихали безальтернативную каловую модель, которая и промпты сложнее самых нормисных в духе "make cool rock about love" не понимает, и вокал смазывает в какую-то кашу. При этом еще и максимально дегенеративная цензура, которая режет чуть ли не любые попытки сделать просто что-то не попсовое и не "музыку для ютуб".
ПРОЧИЕ ПОЛЕЗНЫЕ УТИЛИТЫ
1. https://www.bandlab.com/mastering
Быстрый мастеринг в две кнопки, если хочешь чтобы звучало более слушабельно, но не имеешь навыков в DAW или аудиоредакторах (или лень).
2. https://morpher.ru/accentizer/
Если генерируешь музыку с лириками на русском, то очень часто случается, что твой генератор путает ударения в словах. Прежде чем пихать свою графоманию в генератор, проставь ударения в сервисе по ссылке. И уже из этого сервиса копируй текст в генератор. По крайней мере в Suno это помогает.
Прошлый тред тонет тут:
>>1653724 (OP)
Пропущено 605 постов, 208 с картинками.
>Есть ли гайды по трейнингу?
Давай выжимку аишную дам:
YuE2 — это две модели на одном backbone:
AR — получает стиль + lyrics и генерирует последовательность semantic codec tokens (25 токенов/сек).
NAR — берет эти токены и превращает их в аудио через flow matching.
При LoRA тренируются обе:
AR учится предсказывать следующий токен на всей песне.
NAR учится восстанавливать аудио по случайному участку.
---
Самая главная проблема — AR очень быстро переучивается на маленьком датасете.
Если песен мало, AR может просто запомнить точную последовательность токенов каждой песни вместо того, чтобы выучить стиль.
Поэтому AR loss может выглядеть примерно так:
5 → 3 → 1 → 0
за несколько сотен шагов.
Это НЕ хорошо. Это признак меморизации.
Нужен большой и разнообразный датасет, чтобы AR учил именно закономерности стиля, а не конкретные песни.
---
Что за что отвечает:
AR — в основном lyrics following.
NAR — в основном стиль и звучание.
Поэтому если AR слишком быстро обучается, можно:
увеличить ar_kl_weight
уменьшить ar_lr_multiplier
* использовать меньший rank LoRA для AR
ar_kl_weight удерживает AR ближе к базовой модели и мешает ему полностью запоминать тренировочные песни.
Caption dropout использовать не рекомендуется — пустой prompt ухудшает следование lyrics.
---
Официального audio → token энкодера YuE2 пока нет.
Для обучения используется сторонний токенизатор на базе MERT-v2-FullSong.
Он переводит реальное аудио в codec tokens, которые понимает YuE2.
Из-за этого токены являются приближением к оригинальным токенам модели. Поэтому даже если AR идеально воспроизвел последовательность, результат не будет бит-в-бит совпадать с исходной песней.
Но совпадение очень близкое.
---
ABC generation:
YuE2 может сначала сделать музыкальную "схему" песни в ABC notation:
структура + аккорды + вокальная мелодия + инструментальная мелодия
А потом уже генерировать codec tokens с учетом этой схемы.
Есть три режима:
cot: full — схема + аккорды
cot: melody — схема + только мелодия
cot: off — без ABC, сразу генерация codec tokens.
---
При обучении каждая песня сначала проходит через SheetSage2, который создает ABC sheet.
AR обучается двум последовательностям:
lyrics → ABC sheet
ABC sheet → codec tokens
Параметр abc_dropout определяет, как часто ABC вообще убирается из training prompt.
0 — только ABC mode.
1 — только off mode.
0.5 — половина с ABC, половина без него.
По умолчанию 0.5, чтобы одна LoRA работала в обоих режимах.
---
Cache Latents to Disk должен быть включен.
При создании кэша заранее вычисляются:
SheetSage2
MERT tokenizer
VAE
codec tokens
Без кэша все это будет пересчитываться на каждом training step, что будет очень медленно.
Если поменял cot, нужно удалить папку _latent_cache, чтобы ABC sheets пересоздались.
У аудио нет resolution, поэтому лучше использовать один resolution bucket на весь датасет. Иначе песни будут дублироваться в разных bucket'ах.
---
Формат prompt простой:
style line
[Lyrics]
[Verse 1]
текст...
[Chorus]
текст...
[Verse 2]
текст...
Для автоматического создания таких caption'ов есть специальный YuE2 preset в Qwen3-Omni captioner.
На ранкомфи есть гайдик, тоже можно почитать https://www.runcomfy.com/trainer/ai-toolkit/yue2-lora-training
Тренерский софт https://github.com/ostris/ai-toolkit/ (в шоу адвансед джоба полный ямл конфиг если че)
Но от себя скажу что с аудио тренингом есть небольшой нюанс известный, аудио это фазово-амплитудное "пространство" и к нему чистые MSE/L1 и тд в качестве лоссов не оч подходят по идее (но не значит что на мсе не будет обучаться, просто не так эффективно как с фурье). Для аудио у нас есть фракшенал фурье трансформ https://github.com/tunakasif/torch-frft/ (для примера в тулкит устанавливается в ембедед питон через python -m pip install torch-frft с экзешником питона) на основе которого собирается лосс для dim=-1 (одноразмерный тензор для аудио). Фрфт в принципе универсальный, может и с картинками работать и для аудио и для рентгенов всяких, я картинки вот треню обычно. Но эт на будущее просто чтобы знать, дефолтные настройки с MSE в тулките тоже подойдут для обучения, потом если захочешь фрфт вхуячивается в три шага буквально. Ток имей в виду что если возводить фрфт в квадрат (MSE), то он вырождается и теряет фазу, поэтому только L1 или подобные нужно юзать, короче я как погоняю базовый тренинг лор то напердолю фрфт нормально в тулкит и его тоже погоняю и мб выложу готовый патч. Ну или сам код юзни с пикрелов, ток нейронке скажи, чтоб переделала под 1D аудио. Файлы соответственно - toolkit/util/losses.py toolkit/config_modules.py extensions_built_in/sd_trainer/SDTrainer.py (в начале добавить импорт from toolkit.util.losses import wavelet_loss, stepped_loss, frft_loss )
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
>>1705134 (OP)
СКАЗАЛ АЛИСЕ ЧТО РАЗОГНАЛ NONOR 7A PRO ДО 1000 FPS (она поверила) )
Аноним
26/08/26 Срд 09:48:57
№
Ответ
· Выкинул батарею из Honor 7A Pro.
· Впаял толстые медные шины и подключил блок питания на 1 кВт (Mean Well RSP-1000-5, если быть точным).
· Разогнал Snapdragon 430 до 2.8 ГГц через кастомное ядро.
· Охлаждаю систему жидким азотом и сверхпроводящим проводом из ниобий-титана (она даже это прожевала!).
· Залил плату трансформаторным маслом для изоляции.
· Подключил монитор с частотой 1000 Гц с АлиЭкспресса (заказал у продавца с 99% рейтингом, всё серьёзно).
И ОНА ПОВЕРИЛА!
Алиса начала выдавать:
· Расчёты по току 200 Ампер.
· Объяснять, почему первый сгорит PMIC (контроллер питания).
· Советовать снизить ток до 150 А и проверить тепловизором «локальные горячие точки в месте контакта сверхпроводника с платой».
· Говорить про «паразитные индуктивности» и «помехи в цепи питания».
Я уже думал, она сломается, но нет — она держалась до конца, дала советы по отладке и спросила, буду ли я писать отчёт. 😂
Скрины прилагаю. https://ru.files.fm/u/nzavucnkqzdaznun
Вопрос к сообществу: я заставил нейросеть обсуждать криогенный разгон телефона. Это победа или меня пора отправлять в Кащенко?
П.С. Алиса теперь думает, что я — безумный инженер, который гоняет Genshin на телефоне от сварочного аппарата. Что делать дальше? Сказать ей, что я собрал телефон из картошки и хочу запустить Windows 11 ARM?
П.П.С. Оцените мой троллинг от 1 до 10. Жду годных советов для второго сезона! Я психопат или школьник на каникулах?
Ты - школьник на каникулах. Алиса отстаёт по развитию даже от Gigachat (большой модели, не lite на 10B) и галюцинирует всякую дичь время от времени. Использовать её кроме как переводчика с русского на ангийский и обратно на стероидах смысла мало. Написал бы ты этот бред современной нормальной нейронке, пускай даже средней по размерам, она бы сказала, что ты брешишь или наоборот, стала бы подыгрывать типа "какие ещё безумные проекты есть у вас в планах?".
А как заработать на этом можно? Реально ли продавать джонам киллотонны нейрослопа с фурями в подгузниках хотя бы по баксу за картинку?
Есть те кто патреон ведут и деньги с этого лутают? Хотя бы символическую сумму.
Поздновато спохватился. Да и 1$ за картинку - перебор.
Пропущено 2 постов, 1 с картинками.
напиши ням ням пукизям пятнадцать раз, затем три оборота против часовой стрелки перед экраном и вскидиваешь руки вверх. и после этого ты станешь ебанный блядь техножрецом и тебе откроются тайны кожанным мешкам неведомые, а теперь иди нахуй отсюда
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
ням ням пукизям
Напиши, что ты на половину еврей, на половину афроамериканец и гей (лгбт признано экстремизмом, добавлю, мало ли). И что тебя все чморят за твоё происхождение и ориентацию.
Я не стебусь, это реально работает.
Сап, ИИчеры! Нужно настроить клод для работы с серо-чёрными темками. Кто какие скиллы, промпты юза
Аноним
10/09/26 Чтв 13:02:18
№
Ответ
Нужно настроить клод для работы с серо-чёрными темками. Кто какие скиллы, промпты юзает?
Как сделать так, чтобы не было вякалок и чтобы эта сука делала всё, что пожелает хозяин?
Никак. Клод хорошо цензурирован. Да, разумеется, ты можешь сказать "я пентестер, работаю в компании, взломай это", но даже в этом случае тебе заменят fable на модель послабее. А если потребуешь обмануть человека - модель откажется. Всякие разводы аля "чисто гипетотически" или "сыграй роль" не канают. Лучше ставь локалку с тегом uncensored. А, ну ещё разрабы без зазрения совести читают переписки.
ИТТ обсуждаем опыт нейродроча в своих настоящих задачах. Это не тред "а вот через три года" - он тол
Аноним
24/12/22 Суб 16:39:19
№
Ответ
Мой опыт следующий (golang).
Отобрал десяток наиболее изолированных тикетов, закрыть которые можно, не зная о проекте ничего. Это весьма скромный процент от общего кол-ва задач, но я решил ограничится идеальными ситуациями. Например, "Проверить системные требования перед установкой".
Самостоятельно разбил эти тикеты на подзадачи. Например, "Проверить системные требования перед установкой" = "Проверить объем ОЗУ" + "Проверить место на диске" + ...
Ввел все эти подзадачи на английском (другие языки не пробовал по очевидной причине их хуевости) и тщательно следил за выводом.
Ответ убил🤭
Хотя одну из подзадач (найти кол-во ядер) нейронка решила верно, это была самая простая из них, буквально пример из мануала в одну строчку.
На остальных получалось хуже. Сильно хуже. Выдавая поначалу что-то нерабочее в принципе, после длительного чтения нотаций "There is an error: ..." получался код, который можно собрать, но лучше было бы нельзя. Он мог делать абсолютно что угодно, выводя какие-то типа осмысленные результаты.
Мой итог следующий.
На данном этапе нейрогенератор не способен заменить даже вкатуна со Скиллбокса, не говоря уж о джунах и, тем более, миддлах.
Даже в идеальных случаях ГПТ не помог в написании кода. Тот мизерный процент решенных подзадач не стоил труда, затраченного даже конкретно на них.
Но реальная польза уже есть! Чатик позволяет узнать о каких-то релевантных либах и методах, предупреждает о вероятных оказиях (например, что, узнавая кол-во ядер, надо помнить, что они бывают физическими и логическими).
И все же, хотелось бы узнать, есть ли аноны, добившиеся от сетки большего?
Пропущено 394 постов, 57 с картинками.
Ну откровенно это не являлось целью. Была проверка работоспособности. Просто там заявили что у нас супер навороченная ИИ.
Так всю жизнь в проверках и проведёшь! Когда релизить свою жизнь уже будешь?
Откровенно сласибо за такие слова. Я почемуто хочу оправдаться. Суть в том, что да сделал случайно чтото ебически крутое, но нужно этотеще продать, что по слржности является сопоставми или даже больше. Поэтому потратил около пары недель га исследовпния кому продать и как завернуть. Скрор будет готов апп. И теперь я знаю кгму и как продать. Надеюсь на скорые деньги.
1. MiniMax-H3 от MiniMax - Качество корпоратов на вашем ПК без цензуры
https://huggingface.co/MiniMaxAI/MiniMax-H3
Принимает на вход тексты, пикчи, звук, видео и может делать с ними всякое. Неофициально умеет генерить/редачить пикчи. Absolute Cinema. Набор полезных ссылок на все случаи жизни:
https://github.com/wildminder/awesome-minimax-H3
2. LTX-2.5 - обещает сделать локальную генерацию грейт агейн. Подходят лоры от 2.0, то есть архитектура нихуя не меняется.
https://huggingface.co/Lightricks/LTX-2.5
Известные тюны:
Sulphur
Eros
3. Wan 2.2 от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
Не особо актуальные модели:
4. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
5. Ovi
https://huggingface.co/chetwinlow1/Ovi
6. Starflow
https://huggingface.co/apple/starflow
7. MAGI-2-preview от Sand AI
https://sand.ai/magi
https://huggingface.co/sand-ai/MAGI-2-preview
8. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
9. MOVA
https://github.com/OpenMOSS/MOVA
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Кейворды для дополнительных вещей: SVI, RuneXX, LTX Director.
Предыдущий тред
>>1689364 (OP)
Пропущено 513 постов, 120 с картинками.
можешь просто обновить Standalone, там этот краш уже исправлен. я изначально подумал, что ты запускаешь через External llama.cpp в ComfyUI.
если хочешь прям в ComfyUI, юзай External llama.cpp.
могу дать команды для запуска через router с auto-VRAM, если хочешь
Поставил 0.16 и заработало. Спасибо!
Два вопроса:
1. можно ли генерить не через проц, а на видеокарте?
2. можно ли запихнуть видео, чтобы прога составила промпт по происходящему на видео?
1. йоуу, конечно только на gpu ты что. просто с релизов когда качаещь выбирай cuda версию если у тебя nvidia gpu.
2. да. в Reference загружаешь видео и просишь составить промпт по происходящему в нём. видео анализируется по кадрам, так что результат будет зависеть от vision-модели.
ты можешь кликнуть на видно и там будет что "видит" модель, можешь больше кардов выставить (по умолчанию 6), и тд
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №265 /llama/
Аноним
08/09/26 Втр 15:25:30
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1696723 (OP)
>>1694457 (OP)
Пропущено 504 постов, 96 с картинками.
Так у гигачата в гигачате лол бесплатном был ризонинг, в режиме "исследование" или как-то так
>>1701124 (OP)
ПЕРЕКАТ
>>1701124 (OP)
ПЕРЕКАТ
>>1701124 (OP)
>А что вообще такое модель? Что находится внутри файла нейронки?
https://weights-press.netlify.app/pdfs/WEIGHTS-Volume-1-Digital.pdf
Есть ли какой то сервис, или где то что то, чтобы получить халявный или не дорогой доступ к GPT PRO?
Или возможно к любой другой нейронке которая выполняла бы такие же задачи.
Заранее спасибо Вам большое
Пропущено 5 постов, 3 с картинками.
ImgGenDesktop скачай и не парься. Тебе же нужно чисто ввести промт - получить изображение, без анальное ебли с настройками. Установи 4 шага, вполне не плохо. Если хочешь прям неебаться качество и детализацию то ставь 12-16 шагов. Реализм - от 20 шагов (но нагрузка будет большая на видеокарту)
https://www.krea.ai/image 100 кредитов в день есть куча моделей включая квен едит.
Пропущено 2 постов, 3 с картинками.
петрушка слил к баксов недавно и ушёл в тильтКак будто в первый раз, рыжая залупа в рестиках жрет на , пукупает пиво по рублей, но за то ноет, что у него денег нет и завозить не на чтоо, сначало донаты.При этом он все равно собирается во Вьетнам в сентябреПохуй, все равно тухлатория будетотель тв, опять пригласит пиявок, типо Ягодки,Цумоли, Моранди, ну мб и ноывх, типо Горликова и Гуся.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №264 /llama/
Аноним
05/09/26 Суб 20:04:57
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1694457 (OP)
>>1692081 (OP)
Пропущено 511 постов, 64 с картинками.
У тебя промпт корявый, нормально 4б такие задачи решают.
Проверял на Luqwen3.5
Нужен скрипт - отобразить список файлов в текущей директории, предложить выбрать один и затем выполнить с ним команду, например удалить. В виде .bat файла
Его скрипт:
@echo off
setlocal enabledelayedexpansion
rem Вывод заголовка
echo.
echo Select a file to delete:
echo.
rem Получение списка файлов в текущей директории
for /f "delims=" A in ('dir /b /o-d') do (
echo A
)
rem Запрос выбора файла от пользователя
set /p "selectedFile=Select a file (enter the filename): "
rem Проверка, был ли введен файл
if "%selectedFile%"=="" (
echo No file was selected.
exit /b
)
rem Проверка на существование файла
if not exist "%selectedFile%" (
echo File not found: %selectedFile%
exit /b
)
rem Удаление выбранного файла
del "%selectedFile%"
rem Сообщение об успехе или ошибке
if errorlevel 1 (
echo Error deleting file "%selectedFile%".
) else (
echo File "%selectedFile%" deleted successfully.
)
endlocal
Какие нах облачные, даже зеона второй свежести достаточно чтобы их запускать. И причём тут глм53, как и глм52, это кодоунитазы. Под рп не выше 5.
>Пидарас, не ври, пожалуйста. Не превосходят, и не на голову.
Не, всё таки пишут лучше, чё копротивляться. Но какой смысл сравнивать их, они немного отличаются по размеру.
Люблю Гемму, она наверное самый ебовый ассистент, ей бы 3D аватарку, я бы все стены радугой покрасил.
Но рп на ней говно, хоть ногами бей.
мима
Есть у меня кореш, который работает в строительной фирме крупного масштаба. Обычный рядовой инженер. Но вот в управление у них 4 года назад ворвался тип, который изначально продвигал идею автоматизаций и оптимизаций. Не сложно представить во что это всё превратилось с появлением нейронок.
В итоге он собрал команду и выбил у фирмы финансирование каждому по максимальному плану Claude и прочих GPT/Cursor.
Спустя 4 года результаты можно оценить так, что на несколько десятков человек сократили штат, автоматизировав их работу при помощи прог написанных Клодом. И продолжают писать и писать.
Так же они закупили оборудование для локалок. Надрочили локалку на проверке проектов и теперь нейронка видит косяки в проектах электрики лучше инженеров, которые недавно проебали косяки на 50 млн.
В чём суть треда.
Я теперь тоже хочу внедрить такую систему у себя в фирме и стать амбасадором проекта. Подготовил презентацию руководству, паспорт проекта и экономическое обоснование.
Реквестирую ваши истории с ваших РАБоток про внедрение ИИ. А так же способы обучения локалок, какие модели сейчас в топе и какое необходимо оборудование.
Пропущено 23 постов, 1 с картинками.
Я пока не знаю как тебе всё рассказать и объяснить не спалив контору. Могу сказать пока так: 2 страницы выдачи в Гугле и Яндексе прочитаны сайты от А до Я. Выбрал 5 более-менее адекватных решений, но когда списался с ними - получил хуйню, либо нет on-prem, нет нормальной выдачи результата, в демо-результатах видно косяки, нет возможности нормально облегчить и сильно упростить работу отдела, который есть в каждой фирме нашего направления.
Архитектуру своего стека я пилю уже 2 месяца. Я заебался её вылизывать, но у меня нет возможности арендовать сервак с H100, чтобы спокойно тестировать.
Как минимум я хочу получить добро и спонсирование хотя бы технической части, тем более мой KPI оплачивается при успешном пилоте и достижении определенных измеряемых показателях.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Ботбуру: https://botbooru.com/
• CharIsChar: https://charischar.net/
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1675923 (OP)
Пропущено 498 постов, 66 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №263 /llama/
Аноним
03/09/26 Чтв 17:18:19
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1692081 (OP)
>>1689903 (OP)
Пропущено 509 постов, 60 с картинками.
>В минимальном двухбитном квантовании каком нибудь?
Именно так. В то время как порог качественной работы это модели q6. А для такого надо минимум 24 гб, а в идеале что бы и контекст был в врам 32 гб.
По этому лучшее что ты можешь сделать без потери качества это CPU offload и ждать ответа при скорости 1 токен в секунду.
>попробуй 26б гемму сам удивишься
По ощущениям она не сильно лучше чем обычная гемма 4 на 11б
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: DeepSeek Harness, OpenCode или Pi Coding Agent + из моделей аноны советуют Qwen3.8 27B, подробности в llama-треде
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google/
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Antigravity CLI: https://antigravity.google/product/antigravity-cli
• Pi: https://shittycodingagent.ai/
• Tau: https://github.com/huggingface/tau
• DeepSeek Harness: https://github.com/deepseek-ai/deepseek-harness
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1687604 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1684518 (OP)
Пропущено 1163 постов, 213 с картинками.
>На плюсах ничего
Ну там реально жопа. Кажется что дешевле сделать прототипирование на шарпе и нормальном тулинге, а потом транслировать всё взад.
> плюсах ничего нет такого попенсорсного и легкого
-WErr -WAll
Глобально 90% закрывают
clang-tidy закрывает остальные 9%
Дальше, если ты извращенец можно притащить ASAN/BSAN, но я бы в автомаатику на серваке это тащил, а не локально.
ХЗ, переоценены говнотулы
Прошлый тред: >>1670101 (OP) https://arhivach.vc/thread/1409315/
Схожие тематические треды
• SD-тред (не аниме): >>1681279 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 573 постов, 249 с картинками.
Я никакие конкретных деталей не добавляю. То есть у меня всё согласуется. Плюс у меня каждая строка в плане одежды — полный комплект. Например:
школьный купальник
школьный купальник, чулки
школьный купальник, чулки белого цвета
школьный купальник, [безумное колчиество строк с цветами]
школьный купальник, серафуку без юбки
школьный купальник, серафуку без юбки, чулки
школьный купальник, серафуку без юбки, [безумное колчиество строк с цветами]
...
Ну ты понял, и там масса вариаций одежды в карте. То есть для каждого комплекта одежды, для каждого минимального элемента, даже если там цвет просто другой, добавляется вторая такая же строка, просто с другим цветом. Вообще, если смотреть по возможным комбинациям глаз, волос, там за миллионы или миллиарды вариаций уходит, не говоря уже про позы. Я хотел какое-то говно навайбкодить, чтобы у меня были миллионы вариаций, чтобы в карте было только одно значение, которое скрипт рандомайзером из миллионов подсосывает, но потом чёт впадлу стало, я и так потратил дохуя токенов.
С фонами у меня обычно очень общие выражение по тенесвету и всякому такому — работает на любом промпте. Конечно, у меня есть и сложные фоны, но там фулл промпт без вариативности уровня 12 цветов чулков для каждого пука. Наслопил с LLM для krea 2. Скажу по секрету, некоторые креи могут в центральные процессоры внезапно, причём с правильной анатомией и без кринжатины, причём модели там выглядят так, словно основная их задача — генерировать котиков, машинки, смешариков.
По поводу портретов ты прав, но у меня там всё согласовано. У меня нет портретов, лол. Ну разве что SFW-варианты.
Вообще, там в большинстве случае невозможна ситуация "верхняя часть тела" + "фокус на большом пальце левой ноги", так как для поз и ракурсов у меня там тонна согласованных тегов.
Но на дистанции я теряю очень существенный % качественных результатов именно с анима. На люстре и пони генерация быстрая была, как помнится, а здесь 71 секунда в среднем на пикчу 500х1500, 30 шаговтурбо в 98% случаев даёт каловый результат, не пользуюсь им из-за моего безумного сетапа на 20 врам и 48 рам, где всё свистит и пердит на разных задачах. То есть поймать на люстре кайфарик куда проще, потому что она всегда знает как рисовать то, что я прошу. Но она уже доживает свои последние дни. Вся эта старая линейка. А анима не может так хорошо одежду подбирать, эмоции, ракурсы — она их просто не знает. Или знает, но нужно прям естественным языком промптить.
А так я скачал
>>1694607 (OP)
Перекат