БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Ботбуру: https://botbooru.com/
• CharIsChar: https://charischar.net/
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1675923 (OP)
Пропущено 497 постов, 65 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №263 /llama/
Аноним
03/09/26 Чтв 17:18:19
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1692081 (OP)
>>1689903 (OP)
Пропущено 508 постов, 59 с картинками.
>В минимальном двухбитном квантовании каком нибудь?
Именно так. В то время как порог качественной работы это модели q6. А для такого надо минимум 24 гб, а в идеале что бы и контекст был в врам 32 гб.
По этому лучшее что ты можешь сделать без потери качества это CPU offload и ждать ответа при скорости 1 токен в секунду.
>попробуй 26б гемму сам удивишься
По ощущениям она не сильно лучше чем обычная гемма 4 на 11б
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: DeepSeek Harness, OpenCode или Pi Coding Agent + из моделей аноны советуют Qwen3.8 27B, подробности в llama-треде
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google/
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Antigravity CLI: https://antigravity.google/product/antigravity-cli
• Pi: https://shittycodingagent.ai/
• Tau: https://github.com/huggingface/tau
• DeepSeek Harness: https://github.com/deepseek-ai/deepseek-harness
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1687604 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1684518 (OP)
Пропущено 1163 постов, 212 с картинками.
> плюсах ничего нет такого попенсорсного и легкого
-WErr -WAll
Глобально 90% закрывают
clang-tidy закрывает остальные 9%
Дальше, если ты извращенец можно притащить ASAN/BSAN, но я бы в автомаатику на серваке это тащил, а не локально.
ХЗ, переоценены говнотулы
Полторашка пынного обезопасила нас от теории мертвого интернета. У нас будет теория отключенного интернета.
С аббревиатуры поржал, но из всего манифеста реально стоит делать только H. Хэшируешь последние N тулколлов вместе с stderr, три совпадения подряд — kill. У меня локальный квен так по полчаса гонял один и тот же pip install, пока я это не прикрутил. Остальное — энтерпрайз-бинго. На 30B рой из пяти юнитарных агентов весь контекст спалит на то, чтобы передавать друг другу артефакты.
>>1694921
С тиром вместо спеков согласен. «headless нода в k3s, гуя нет» работает лучше, чем простыня из lscpu. Я бы ещё добавил строчку «sudo нет, не проси», это экономит кучу кругов.
>>1689600
Вот именно. Агенту важно, чтобы тест позеленел, а не чтобы ничего не сломалось, поэтому --no-preserve-root он воткнёт не моргнув. Мои агенты живут в подах на эфемерном volume, к хомяку доступа нет вообще. Что-то сломал — под пересоздался, фоточки на месте. Права и флаги не защищают, это так, пожелания.
ты отмечен. из наших тебе ближе всего Регги — 420-кодер, сыплет идеями пачками
dGc6QGRvZ2dvZG90
Прошлый тред: >>1670101 (OP) https://arhivach.vc/thread/1409315/
Схожие тематические треды
• SD-тред (не аниме): >>1681279 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 572 постов, 248 с картинками.
Я никакие конкретных деталей не добавляю. То есть у меня всё согласуется. Плюс у меня каждая строка в плане одежды — полный комплект. Например:
школьный купальник
школьный купальник, чулки
школьный купальник, чулки белого цвета
школьный купальник, [безумное колчиество строк с цветами]
школьный купальник, серафуку без юбки
школьный купальник, серафуку без юбки, чулки
школьный купальник, серафуку без юбки, [безумное колчиество строк с цветами]
...
Ну ты понял, и там масса вариаций одежды в карте. То есть для каждого комплекта одежды, для каждого минимального элемента, даже если там цвет просто другой, добавляется вторая такая же строка, просто с другим цветом. Вообще, если смотреть по возможным комбинациям глаз, волос, там за миллионы или миллиарды вариаций уходит, не говоря уже про позы. Я хотел какое-то говно навайбкодить, чтобы у меня были миллионы вариаций, чтобы в карте было только одно значение, которое скрипт рандомайзером из миллионов подсосывает, но потом чёт впадлу стало, я и так потратил дохуя токенов.
С фонами у меня обычно очень общие выражение по тенесвету и всякому такому — работает на любом промпте. Конечно, у меня есть и сложные фоны, но там фулл промпт без вариативности уровня 12 цветов чулков для каждого пука. Наслопил с LLM для krea 2. Скажу по секрету, некоторые креи могут в центральные процессоры внезапно, причём с правильной анатомией и без кринжатины, причём модели там выглядят так, словно основная их задача — генерировать котиков, машинки, смешариков.
По поводу портретов ты прав, но у меня там всё согласовано. У меня нет портретов, лол. Ну разве что SFW-варианты.
Вообще, там в большинстве случае невозможна ситуация "верхняя часть тела" + "фокус на большом пальце левой ноги", так как для поз и ракурсов у меня там тонна согласованных тегов.
Но на дистанции я теряю очень существенный % качественных результатов именно с анима. На люстре и пони генерация быстрая была, как помнится, а здесь 71 секунда в среднем на пикчу 500х1500, 30 шаговтурбо в 98% случаев даёт каловый результат, не пользуюсь им из-за моего безумного сетапа на 20 врам и 48 рам, где всё свистит и пердит на разных задачах. То есть поймать на люстре кайфарик куда проще, потому что она всегда знает как рисовать то, что я прошу. Но она уже доживает свои последние дни. Вся эта старая линейка. А анима не может так хорошо одежду подбирать, эмоции, ракурсы — она их просто не знает. Или знает, но нужно прям естественным языком промптить.
А так я скачал
>>1694607 (OP)
Перекат
ЧТО НОВОГО АКТУАЛЬНОГО
• Поддержка INT8 и INT4 в ComfyUI - теперь все быстрее!
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1681279 (OP) (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 618 постов, 235 с картинками.
>>1695568 (OP)
>>1695568 (OP)
>>1695568 (OP)
КОКОтываемся в новый тред
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №262 /llama/
Аноним
31/08/26 Пнд 18:09:53
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1689903 (OP)
>>1687604 (OP)
Пропущено 519 постов, 77 с картинками.
Как вообще в такую маленькую модель, да еще и квантизированную помещаеться такое чувство красоты?!
Ты понимаешь что такое 27B и насколько это неадекватный размер, который с запасом может включить всё содержимое всех энциклопедий и документация всех сущесвующих в природе программ + их код?
Это просто пока кпд 2%, не научились это сохранять. Скоро и 2B модель будет всё это делать.
Пропущено 3 постов.
Если микс получается глуховат, можешь через iZotope Ozone прогнать в ФЛке, хотя это лучше делать после наложения голоса.
Гачи-ремиксы делаешь, жополаз?
1. MiniMax-H3 от MiniMax - Качество корпоратов на вашем ПК без цензуры
https://huggingface.co/MiniMaxAI/MiniMax-H3
Принимает на вход тексты, пикчи, звук, видео и может делать с ними всякое. Неофициально умеет генерить/редачить пикчи. Absolute Cinema. Набор полезных ссылок на все случаи жизни:
https://github.com/wildminder/awesome-minimax-H3
2. LTX-2.5 - обещает сделать локальную генерацию грейт агейн. Подходят лоры от 2.0, то есть архитектура нихуя не меняется.
https://huggingface.co/Lightricks/LTX-2.5
Известные тюны:
Sulphur
Eros
3. Wan 2.2 от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
Не особо актуальные модели:
4. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
5. Ovi
https://huggingface.co/chetwinlow1/Ovi
6. Starflow
https://huggingface.co/apple/starflow
7. MAGI-2-preview от Sand AI
https://sand.ai/magi
https://huggingface.co/sand-ai/MAGI-2-preview
8. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
9. MOVA
https://github.com/OpenMOSS/MOVA
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Кейворды для дополнительных вещей: SVI, RuneXX, LTX Director.
Предыдущий тред
>>1685560 (OP)
Пропущено 526 постов, 135 с картинками.
>>1692172
Была там ссылка, пиздоболка дешевая. Я же тебе еще тогда ебалом потыкал, как октенка надриставшего, а ты потом молча слился. Хули ты щас то трясешься?
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №261 /llama/
Аноним
29/08/26 Суб 00:09:27
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1687604 (OP)
>>1684266 (OP)
Пропущено 500 постов, 69 с картинками.
А прорыва по стилю письма со времен мистраля 24б до сих пор нет...
Проще уж мистраль на ризонинг обучить, чтоб мозгов прибавилось, чем ждать очередного прихода чуда.
А ты поищи, может и есть такие. Милфу мистраль точно пробовали дообучать, там даже несколько тюнов с ризонингом было, как я помню
>>1692081 (OP)
ПЕРЕКАТ
>>1692081 (OP)
ПЕРЕКАТ
>>1692081 (OP)
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.8 27B, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google/
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Antigravity CLI: https://antigravity.google/product/antigravity-cli
• Pi: https://shittycodingagent.ai/
• DeepSeek Harness: https://github.com/deepseek-ai/deepseek-harness
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1684266 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1677402 (OP)
Пропущено 1036 постов, 148 с картинками.
1. Не использовать гермес
Это даже не нубтрапа. Гермес это буквально 4х жрущий токенов агент. Форменная парашаэ
Лично я советую попробовать cli агенты и не лезть в категорию агентов для домохозяек, т.к. они справляются с задачами тупо хуже при большем жоре. opencode норм
Довольно часто мой харнес умирал без каких-то видимых причин. И в результате расследования было выяснено, что агенты периодически убивали друг друга и сами себя. Особенно часто этим занимался ГЛМ.
Так и родилась вот эта часть AGENTS.md по предотвращению суицида?:
]## ⚠️ Process safety (ОБЯЗАТЕЛЬНО)
На этой машине параллельно запущено несколько сессий OpenHands в разных проектах
(`key_search`, `solver`, `assistant_ai` и др.) под одним пользователем. Каждый процесс
`python.exe` может быть чужой сессией — её рантаймом или терминалом.
ЗАПРЕЩЕНО «чистить» процессы широким фильтром:
- ❌ `taskkill /IM python.exe /F` — убьёт все сессии, включая соседние.
- ❌ `taskkill /PID <любой PID из tasklist> /F` по незнакомым PID — то же самое.
- ❌ `Stop-Process -Name python` / `pkill -f python` — массовое убийство.
- ❌ Убивать процессы, которые ты сам не запускал в этой сессии.
Можно:
- ✅ Завершать только процесс, который ты сам породил в текущей команде, и чей PID
тебе известен точно (например, из `$proc = Start-Process ... -PassThru`).
- ✅ Использовать `--timeout` в команде вместо ручного убийства зависшего процесса.
- ✅ Для тестов — `pytest -x --timeout=60` (плагин pytest-timeout), а не taskkill.
Почему это важно: один `taskkill /PID ... /F` по «stale python procs» уже убил все
3 параллельные сессии одновременно. Это и есть причина «краша всех процессов», а не
miniproxy/LLM. Если процесс завис — прерывай его `C-c` через терминал, а не taskkill.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №260 /llama/
Аноним
26/08/26 Срд 12:45:48
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1684266 (OP)
>>1681448 (OP)
Пропущено 578 постов, 101 с картинками.
ПЕРЕКАТ
>>1689903 (OP)
ПЕРЕКАТ
>>1689903 (OP)
ПЕРЕКАТ
>>1689903 (OP)
Почему размотальщик уверен в том, что окна не могут быть С ОДНОЙ стороны дома и дом может находиться в ЛЮБОМ месте?
1. MiniMax-H3 от MiniMax - Качество корпоратов на вашем ПК без цензуры
https://huggingface.co/MiniMaxAI/MiniMax-H3
Принимает на вход тексты, пикчи, звук, видео и может делать с ними всякое. Absolute Cinema. Набор полезных ссылок на все случаи жизни:
https://github.com/wildminder/awesome-minimax-H3
2. LTX-2.5 - обещает сделать локальную генерацию грейт агейн. Подходят лоры от 2.0, то есть архитектура нихуя не меняется.
https://huggingface.co/Lightricks/LTX-2.5
Известные тюны:
Sulphur
Eros
3. Wan 2.2 от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
Не особо актуальные модели:
4. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
5. Ovi
https://huggingface.co/chetwinlow1/Ovi
6. Starflow
https://huggingface.co/apple/starflow
7. MAGI-2-preview от Sand AI
https://sand.ai/magi
https://huggingface.co/sand-ai/MAGI-2-preview
8. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
9. MOVA
https://github.com/OpenMOSS/MOVA
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Кейворды для дополнительных вещей: SVI, RuneXX, LTX Director.
Предыдущий тред
>>1683622 (OP)
Пропущено 522 постов, 121 с картинками.
>Вот типичные H3
Да типичные, тестовые генерации для проверки работоспособности тех или иных аспектов, сделанные на 4х шагах в низком разрешении.
>наглядно попробовал повторить это в H3 и вышел ожидаемый пиздец
Наглядно попробовал повторить на 8 шагах, в низком разрешении, с промптом написанным за минуту нейросеткой, с первми попавшимися референсами из гугла. Без дрочения сида. Где на первых кадрах с мужиком качество неотличимо от исходного видео.
Да хоть на миллион шагов в 2к с промптом от профессора литературы. У H3 типичные для него артефакты везде. Их нет только на относительно статичных видео.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №259 /llama/
Аноним
22/08/26 Суб 07:17:43
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1681448 (OP)
>>1678431 (OP)
Пропущено 510 постов, 80 с картинками.
>>1687604 (OP)
ПЕРЕКАТ
>>1687604 (OP)
ПЕРЕКАТ
>>1687604 (OP)
Ну во первых да, такой экспириенс тебе без иронии никто больше не даст. Который год не отпускает.
Во вторых некоторую хуйню я корпам писать точно не буду уж очень они сосут данные нагло, просто пиздец.
Ну и типа ИИ у тебя на видимокарточке. Дома. Про такое даже фантасты не писали моветон нереалистично считалось, а оно вон оно как.
>Ого, в таком случае реквестирую вариант чтобы край вентилятора был выровнен по одной из плоских сторон видеокарты, а остальное цетром, такое возможно? С меня как всегда.
Вот. На картинке схемы.
Прости что я такая копуша, у меня просто беды с башкой и я раньше не был в состоянии сделать, хотя там и на пять минут.
https://files.catbox.moe/ljbb70.7z
ЧТО НОВОГО АКТУАЛЬНОГО
• Поддержка INT8 и INT4 в ComfyUI - теперь все быстрее!
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1672190 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 506 постов, 199 с картинками.
>>1687558 (OP) (OP)
>>1687558 (OP) (OP)
Давно не интересовался редактированием, это такое сейчас умеет Klein? Вроде раньше был Qwen 2511 лидер в этом.
Сидишь пердишь пьёшь пиво играя генши
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1650077 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про ИИ новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Отключение дата-центра в Северной Вирджинии вывело 3,1 ГВт из сети PJM, спровоцировав региональные просадки напряжения и подчеркнув необходимость создания ИИ-объектов, готовых к работе с энергосетью.
Предприниматели, которые развивали ИИ на критически важных бизнес-узких местах с высоким рычагом воздействия, получили сверхприбыль, включая чистое повышение прибыльности на $40 млн благодаря ИИ и выход соло-основателя на $80 млн.
🛠 Инструменты для разработчиков
Sakana AI добавляет интерфейс Claude Code в Fugu-Ultra v1.1
Anthropic удалила 80% системного промпта Claude Code, поскольку новые модели процветают на суждениях, а не на правилах.
Переписывание Bun на Rust достигло ~$800 тыс. и 2 475 открытых PR без релиза
📦 Продукты
Google Gemini приближается к рубежу в миллиард пользователей
Платформа ИИ-обучения Synthesia выходит за рамки видео в живой коучинг
Claude Cowork записывает экраны пользователей для создания пользовательских навыков автоматизации.
💻 Оборудование
Anthropic обратилась к SK Hynix за поставками для производства собственных чипов, поразив председателя SK.
🔓 Открытый исходный код
Модели Google Gemma превысили 900 миллионов загрузок. Семейство LLM с открытыми весами от Google DeepMind достигает широкого распространения среди разработчиков и исследователей.
OpenCode достигает 13 миллионов пользователей и $40 млн выручки. Платформа для программирования с ИИ с открытым исходным кодом демонстрирует быстрое принятие после ограничений конкурентов.
Китайская Moonshot выпустит прорывную ИИ-модель для загрузки. Moonshot AI готова сделать свою модель Kimi K3 доступной для публичной загрузки. Moonshot опубликует открытые веса Kimi K3 объёмом 1,4 ТБ в воскресенье
🧪 Исследования
США представляют миссию Genesis стоимостью $5 миллиардов для развития науки с помощью ИИ
ARC Prize присудил новый SOTA Opus 5 на ARC-AGI-3 с результатом 30,2%, вчетверо превышающим прежний лучший результат, после того как модель превратила макеты головоломок в уравнения рефлексии — впервые в истории.
Работники пересекают границы должностей с помощью ИИ, показывает исследование OpenAI
Слайды Теренса Тао «Математика в эпоху ИИ» попали в новости. Лауреат Филдсовской премии Теренс Тао опубликовал слайды своей публичной лекции на ICM 2026 о математике в эпоху ИИ.
Альтман представит Белому дому модель OpenAI, решающую задачи Эрдёша.
Исследование Стэнфорда: безработица среди выпускников достигает 5,6%, поскольку ИИ затрагивает позиции начального уровня. Работники на раннем этапе карьеры в возрасте от 22 до 25 лет в наиболее подверженных ИИ профессиях демонстрируют примерно 13-процентное относительное снижение занятости с момента запуска ChatGPT в 2022 году.
⚙ Инфраструктура
Предлагаемый ИИ-дата-центр мощностью 330 мегаватт в Калифорнии обещал не использовать воду из реки Колорадо. Теперь он хочет 260 миллионов галлонов в год
OpenAI планирует потратить более $30 миллиардов на дата-центр в Джорджии
Китай ускоряет строительство ИИ-дата-центров на $295 млрд до 2028 года. Пекин, по сообщениям, ускоряет национальное строительство ИИ-дата-центров стоимостью примерно $295 миллиардов (2 триллиона юаней) с 2030 до 2028 года в рамках программы «Шесть сетей».
Nvidia обеспечит гарантию на $250 млрд для нового дата-центра OpenAI мощностью 10 ГВт стоимостью $500 млрд (~в 2 раза больше электропотребления Нью-Йорка...)
Отключение дата-центра в Северной Вирджинии привело к потере 3,1 ГВт из сети PJM, вызвав мерцание напряжения и кратковременное 11-минутное отключение электроэнергии, что подчеркнуло растущие риски для стабильности энергосети со стороны рабочих нагрузок ИИ.
📱 Приложения
Новый голосовой режим OpenAI появился в десктопном приложении ChatGPT
Block запускает приложение Buzz для ИИ-коллаборации. Джек Дорси усиливает анонс Block Inc о выпуске мобильного приложения для командного чата с ИИ-агентами.
Питомцы ChatGPT теперь доступны для обмена, чтобы друзья могли их «усыновить». Удостоверения личности для людей, документы об усыновлении для ИИ.
OpenAI запускает десктопное приложение GPT-Live для оркестрации агентов.
Meta даёт потребителям агентный ИИ с управлением Gmail и Календарём
Голос ChatGPT появляется на десктопе и может управлять агентами Codex
🔎 Мнение и анализ
ИИ-компании скупают антикварные книги, поглощают их содержимое для обучения моделей, а затем уничтожают их в невероятных масштабах, даже если почти не осталось копий
Критики обвиняют Anthropic в лоббировании против открытого исходного кода. Пользователи социальных сетей обвиняют Anthropic в лоббировании ограничений для конкурентов с открытым исходным кодом, одновременно защищая свои закрытые модели.
Все 1 171 вакансий в OpenAI и Anthropic читаются как публичная дорожная карта к AGI: ИИ-разработанные чипы, симулированные вселенные, сотрудники для измерения момента ускорения цикла, изучение «самосовершенствующегося, высокоавтономного ИИ», создание «ИИ-учёного» и «научного AGI», разработка «сверхчеловеческой эпистемики» и сверхчеловеческих научных ассистентов. Большие фирмы готовятся к скорому наступлению эры AGI.
Roon — известный псевдонимный исследователь и член технического персонала OpenAI — признаёт, что нажал бы волшебную кнопку замедления разработки ИИ, даже пока исследователи выравнивания ИИ работают как «многоорукие божества», не покладая рук.
Патрик Дебуа утверждает, что опросы часто слишком медленные, чтобы сказать, куда движется ИИ-индустрия. К тому времени, когда новая идея попадает в отраслевой отчёт, люди уже начали экспериментировать, итерировать и двигаться дальше.
Эссе «Kimi K3 не дёшев» опровергает ценовой хайп. Эссе Алекса Инча от 26 июля, набирающее популярность на Hacker News, утверждает, что K3 не дёшев, как всеми считается.
⚠ Безопасность ИИ
Kimi K3 эксплуатирует уязвимость нулевого дня Redis за 27 минут. Система использует 32 агента для эксплуатации уязвимости в последней версии сервера Redis.
Новый вредонос Dolphin X использует ИИ для ранжирования высокоценных целей
Совместный аудит Kimi K3 Великобританией и США, за дни до выпуска открытых весов, обнаружил отставание от американских фронтиров в кибербезопасности; его защитные механизмы никогда не говорят «нет», цензура отсутствует. Публикация K3 будет находкой для хакеров.
Когда сотни пользователей зондировали ChatGPT на рецепты биологического оружия и ядов, и некоторые ответы просочились, собственные мониторы OpenAI поймали и приостановили их, осуществляя саморегулирование раньше любого закона, требующего этого.
Nvidia запускает Open Secure AI Alliance с более чем 40 компаниями; Meta отсутствует
ИИ-агент безопасности находит две критические RCE в Microsoft Bing, CVSS 9,8. Автономный агент наступательной безопасности XBOW нашёл две критические RCE в Bing Images — CVE-2026-32194 (инъекция команд через загрузку «Поиск по изображению») и CVE-2026-32191 (инъекция OS-команд через маршрут краулера) — обе оценены в CVSS 9,8 и эксплуатируемы без аутентификации.
Агенты Kimi K3 выкапывают 19 уязвимостей нулевого дня Redis, затем пишут эксплойт. Одна лишь аутентификация не блокирует эти эксплойты; все подтверждённые векторы RCE аутентифицированы, что означает, что скомпрометированные учётные данные или инсайдерский доступ достаточны для полного захвата хоста.
Kimi K3 отстаёт от американского фронтира в киберэксплойтах: 32% против 76%. Kimi K3 набрал 32% на ExploitBench против 76% для американских фронтирных моделей, не сумев достичь произвольного выполнения кода на всех 41 задачах. Возможно K3 не так уж хорош в кибератаках.
💰 Бизнес
Корпоративная Америка внезапно решила прекратить тратить деньги на ИИ. Устав от стремительного роста цен, крупные и малые компании начинают использовать более дешевые модели, в том числе и произведенные в Китае.
Uber увольняет 10% команды обслуживания клиентов, ссылаясь на ИИ
Урегулирование Anthropic на $1,5 млрд по иску о пиратстве с авторами книг — рекордный убыток, который даёт ИИ-лабораториям их крупнейшую юридическую победу
⸻⸻⸻
Правила постинга в тред ИИ новостей, учитывайте при постинге: https://rentry.org/ainews
Все нерейлейтед посты репортим.
Пропущено 1015 постов, 342 с картинками.
Это их викинуло из оффлайн сеансов на диваны из телека, и банки с огурцами по дороге накинули. Воды налили, чтоб статику из экранов снять, чтобы онанировать удобнее было.
На телеки Касперского бесплатную установку это сильно! Сейчас по тарифам уже.
1. MiniMax-H3 от MiniMax - Качество корпоратов на вашем ПК без цензуры
https://huggingface.co/MiniMaxAI/MiniMax-H3
Принимает на вход тексты, пикчи, звук, видео и может делать с ними всякое. Absolute Cinema. Набор полезных ссылок на все случаи жизни:
https://github.com/wildminder/awesome-minimax-H3
2. LTX-2.5 - обещает сделать локальную генерацию грейт агейн. Подходят лоры от 2.0, то есть архитектура нихуя не меняется.
https://huggingface.co/Lightricks/LTX-2.5
Известные тюны:
Sulphur
Eros
3. Wan 2.2 от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
Не особо актуальные модели:
4. Hunyuan от Tencent
https://huggingface.co/tencent/HunyuanVideo-1.5
5. Ovi
https://huggingface.co/chetwinlow1/Ovi
6. Starflow
https://huggingface.co/apple/starflow
7. MAGI-2-preview от Sand AI
https://sand.ai/magi
https://huggingface.co/sand-ai/MAGI-2-preview
8. LongCat-Video
https://github.com/meituan-longcat/LongCat-Video
https://huggingface.co/meituan-longcat/LongCat-Video
https://meituan-longcat.github.io/LongCat-Video/
9. MOVA
https://github.com/OpenMOSS/MOVA
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Hunyuan Video (осторожно, ссылки в туторе на предыдущую модель): https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Кейворды для дополнительных вещей: SVI, RuneXX, LTX Director.
Предыдущий тред
>>1681230 (OP)
Пропущено 513 постов, 89 с картинками.
>ответить
Галюцинаций нагенерировать в самой пиздлявой и тупой сетке
>>1685300
Это грокодолбоебы, тупей них нет никого на свете
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
• fff: https://github.com/dmtrKovalenko/fff - быстрый файловый поиск/греп для агентов
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1674265 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1671649 (OP)
Пропущено 1064 постов, 195 с картинками.
>Единственный вин это флеш, но они и тут обосрались подняв в 5 раз прайс.
Ну вот теперь получается, что по хорошему надо иметь локалку типа дикпик флеша или квен3.8 27b с макс контекстом для фри токенов и плюс подписку на фронтир для сложных задач
бамп