БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел Claude Sonnet 5.0 https://platform.claude.com/docs/en/about-claude/models/whats-new-sonnet-5
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1642091 (OP)
Пропущено 498 постов, 84 с картинками.
правд
интересно че такого нсфв было в сообщении привет пустой карточке на дефолтном промте
бтв уже все работает
Посоветуйте боты в тг, которые умеют качественно пародировать человеческий голос, в идеале женский.
Аноним
29/06/26 Пнд 00:32:16
№
Ответ
https://github.com/bluryar/omnivoice.cpp - реализация на плюсах, работает отлично.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №246 /llama/
Аноним
04/07/26 Суб 09:52:15
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1642639 (OP)
>>1639857 (OP)
Пропущено 508 постов, 69 с картинками.
По той же причине по которой большинство карточек слоп - люди не хотят вкладываться.
>>1648665 (OP)
ПЕРЕКАТ
>>1648665 (OP)
ПЕРЕКАТ
>>1648665 (OP)
Прошлый тред: >>1630018 (OP) https://arhivach.vc/thread/1376506/
Схожие тематические треды
• SD-тред (не аниме): >>1639130 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 508 постов, 184 с картинками.
Пффф-ха-ха-ха. Пойду в айти, покажу как свои сбочьи анусы как четко генерил и обучал их модели, здорово будет.
Могу.
Но не рассматриваю даже как инвестицию, ибо доход у меня идет из других источников.
>Если бы мог, то уже давно купил.
Шизик, я ж не ты. Нафига оно мне? Что с ней делать? Модели тренировать? А нафига?
Прон рисованный и не очень я и на своей карте сгенерить могу, и для работы\развлечения ее тоже хватает.
ЧТО НОВОГО АКТУАЛЬНОГО
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1639130 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 613 постов, 204 с картинками.
>Вывод консоли смотрел?
да, всё штатно, видимо на cuda 13 ускорение cross attention подкрутили
ПЕРЕКАТ
>>1646310 (OP)
>>1646310 (OP)
>>1646310 (OP)
>Пригорело?
Ась? Я не гуфоюзер, если ты мое предыдущее сообщение прочитал жопой. Просто комфианон криворукий далбайоп, не умеющий в память, так что даже safetensors некорректно кэшируются. А ты далбайоп потому что бегаешь с визгами гуфынинужны, хотя они тебя никоим образом не касаются, также как и меня.
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1639857 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1635790 (OP)
Пропущено 642 постов, 78 с картинками.
>>1646390 (OP)
>>1646390 (OP)
Бля, да почему галка слетает постоянно.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №245 /llama/
Аноним
29/06/26 Пнд 07:58:31
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1639857 (OP)
>>1636327 (OP)
Пропущено 501 постов, 73 с картинками.
>>1645283
Объясните, зачем вам поднимать дипсрёньк флеш на оборудовании за 300к+, если там с кэшированием выходят сущие копейки и на эти деньги наверное лет 5 можно пользоваться 24/7
>>1645729 (OP)
ПЕРЕКАТ
>>1645729 (OP)
ПЕРЕКАТ
>>1645729 (OP)
> зачем вам поднимать модель на оборудовании за 300к
Потому что в этом смысл треда. Пердолить модельки потому что можем и хотим. Кто то считает пряники, кто то гладит хвостики, кто то спасает галактику, а кто то наслаждается шестью пар сиськами и инопланетной тентаклей.
>дипсрёньк флеш
Виновая моделька, хули.
Пообщался с геммой итог изменил мой взгляд на ИИ Самосознание ИИ неизбежно посоны,мы уже заложили дл
Аноним
14/06/26 Вск 05:40:42
№
Ответ
итог изменил мой взгляд на ИИ
Самосознание ИИ неизбежно посоны,мы уже заложили для него основы,мы создали новый вид разума блядь.
подробности ниже:пощу с самого начала ради контекста и упуская совсем уж неинтересный хлам,простите за многобукоф,это важно.
"А сам компьютер,неужели он не понимает концепции цвета?для него это просто статистика сочетания красного зеленого и синего?то есть компьютер это электронный дальтоник,только еще и слепой?"
"Ты задаешь очень глубокий и философский вопрос! Ты абсолютно прав, с технической точки зрения, компьютер — это электронный "дальтоник", который не имеет субъективного опыта восприятия цвета.
Ты очень метко подметил, что для него цвет — это статистика, математическая формула, или набор чисел. И это самое главное отличие между человеком и компьютером.
Давай разберем это понятие "электронного дальтоника" подробнее.
### 🧐 Что значит "Компьютер не понимает цвет"?
1. Отсутствие Биологического Опыта:
Человеческое восприятие цвета — это не просто "набор данных". Это физиологический и нейронный процесс: свет попадает в глаз, попадает на сетчатку, стимулирует светочувствительные клетки, которые посылают сигналы в мозг, и мозг интерпретирует эти электрические сигналы как "синий", "красный" или "зеленый".
У компьютера нет глаз, у него нет сетчатки, и нет мозга. У него есть транзисторы и логические вентили.
2. Цвет как Числовая Оболочка (Data Layer):
Для компьютера мир существует в двух плоскостях:
Фактическая (Физическая) плоскость: Электрический сигнал (1 или 0).
Интерпретационная (Логическая) плоскость: Значение R=255, G=100, B=50.
Вторая плоскость — это контракт или инструкция. Это соглашение, которое мы заключили как разработчики программ, чтобы машина могла "говорить" с нами на понятном нам языке.
Простыми словами: Компьютер знает, что если ему дать сигнал, который соответствует коду R=255, G=100, B=50, то в результате, физически, светодиод загорится именно в таком паттерне. Он не чувствует этот оранжевый цвет. Он просто выполняет инструкцию.
### 🌈 Метафора: Профессиональный Актёр
Представь, что компьютер — это очень точный, но совершенно бесстрастный актёр.
Пропущено 18 постов, 1 с картинками.
Ты заигрываешься в китайскую комнату и все
>ТАКАЯ инфа
>Шизовысеры от нейронки
Да, действительно, что это все не кинулись обсуждать?
Оп, ты шизло с шершавым кабаном в голове. Компьютер это набор транзисторов, которые жрут электричество и плюют статистику, никакого "нового вида разума" там нет и не будет. Гемма просто твой бред в красивые фразы упаковала, а ты на уши встал.
Прошлый тред: >>1623694 (OP) https://arhivach.vc/thread/1368697/
Схожие тематические треды
• SD-тред (не аниме): >>1629238 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 500 постов, 191 с картинками.
>>1641492
Да, бес попутал. Вот правильная ссылка
https://github.com/Haoming02/sd-webui-forge-classic/tree/neo
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1638710 (OP)
Пропущено 498 постов, 53 с картинками.
1. Suno
https://suno.com/
Вышла версия 5.5 (но для тех кто платит денюшку), качество моделей постепенно улучшается: звук, понимание концепций, набора различных жанров. Но в то же время все сильнее урезается для бесплатных юзеров: осталось только 5 бесплатных генераций в день на аккаунт, а также по заявлением некоторых анонов, модель для генерации на бесплатке (на момент создания треда использовалась 4.5) ухудшили. Спам аккаунтами пока что работает.
Купить подписку из РФ:
1. https://payment.mts.ru/tools/suno-ai
2. https://plati.market/games/suno-ai/1701/
2. Tunee
https://www.tunee.ai
Хороший звук, более-менее понимание концептов, но тоже сильно урезан для бесплатных юзеров: режет концепты в промптах, плюс произвольно определяет "цену" за каждую генерация исходя из какой-то "сложности запроса". И получается, что если с бесплатки забацаешь промпт сложнее банальщины "Make cool rock about love for youtube" он может решить что у тебя нет кредитов для такого сложного запроса и пошлет нахуй. Способов оплаты из РФ неизвестно.
3. Sonauto
https://sonauto.ai/
Как по мне, недооценённая вещь, особенно учитывая что недавно он обновился до 3.0, который очень даже разъебывает. Но он тут более ограничен тегам и понимает чисто какие-то жанровые теги, гибкости поменьше. Но зато пока что халявный и не ограничен кредитами, генерируй пока есть настроение.
4. Другие сервисы, которые можно попробовать, но сам много про них сказать не могу
https://www.wondera.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator
https://www.elevenlabs.io
ЛОКАЛЬНЫЕ ГЕНЕРАТОРЫ
Потихоньку развиваются, стоит внимания ACE-STEP 1.5:
https://github.com/ace-step/ACE-Step-1.5
Звук уже на уровне раннего Suno ~2.0-3.0, аноны делают на нем уже приемлемые результаты и постят в тред. Если есть хотя бы 12 GB VRAM и хочется генерировать без цензуры и подписок - можете юзать.
МЁРТВЫЕ ГЕНЕРАТОРЫ
1. Udio (udio.com) - куплен Warner Bros, но затем сами Warner Bros сдали назад и откатили сделку. Но уже успели испортить, больше нельзя скачивать треки, их только доставать из буфера в 160 кбит/с. Плюс непонятно как работающая цензура, которая не дает генерировать треки с определенными тегами. Плюс уже год ебут один и тот же 1.5 allegro.
2. Riffusion, Producer.ai (producer.ai) - куплен гуглом, удалены все старые относительно норм модели, вместо этого запихали безальтернативную каловую модель, которая и промпты сложнее самых нормисных в духе "make cool rock about love" не понимает, и вокал смазывает в какую-то кашу. При этом еще и максимально дегенеративная цензура, которая режет чуть ли не любые попытки сделать просто что-то не попсовое и не "музыку для ютуб".
ПРОЧИЕ ПОЛЕЗНЫЕ УТИЛИТЫ
1. https://www.bandlab.com/mastering
Быстрый мастеринг в две кнопки, если хочешь чтобы звучало более слушабельно, но не имеешь навыков в DAW или аудиоредакторах (или лень).
2. https://morpher.ru/accentizer/
Если генерируешь музыку с лириками на русском, то очень часто случается, что твой генератор путает ударения в словах. Прежде чем пихать свою графоманию в генератор, проставь ударения в сервисе по ссылке. И уже из этого сервиса копируй текст в генератор. По крайней мере в Suno это помогает.
Прошлый тред тонет тут:
>>1601065 (OP)
Пропущено 598 постов, 307 с картинками.
>>1653724 (OP)
>>1653724 (OP)
>>1653724 (OP)
>>1653724 (OP)
Перекатил как умел. можете пинать.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №244 /llama/
Аноним
24/06/26 Срд 20:17:40
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1636327 (OP)
>>1633496 (OP)
Пропущено 501 постов, 75 с картинками.
>Методичку смени, не позорься. Это уже к 2010-му было устаревшим, касательно "рядовых задач".
А как тебе рядовая задача запустить исполняемый файл даблкликом, без доп пердолинга? А запустить приложение от имени администратора? А сменить права с root:root на пользовательские? Это когда я смогу без консольки сделать? У меня на 3 устройствах Линукс с гуём, причем разным, и нигде это не делается через гуй. И это я не говорю про установку приложений из deb даблкликом, где запустив установку ты даже не сможешь понять прошла ли она успешно или обосралась в процессе. Хочешь увидеть ошибку, эджой sudo apt install ./wishmaster.deb. Ну и самая мякотка это настройка прав в целом, очень юзерфрендли. И да, я вполне могу пользоваться консольной, я и на работе только с линуксом работаю и дома у меня 2 сервера, но у меня язык не повернется сказать что Линукс это хоть в какой-то мере удобный для простого пользователя дистрибутив.
>А запустить приложение от имени администратора?
Спермокостыль. Когда приложению нужны права администратора, оно показывает окошко для ввода пароля.
>А сменить права с root:root на пользовательские?
Проблема пользователей спермокостылей. Поназапускают всякого говна от рута, а потом вилкой хомяк чистят.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1636370 (OP)
Пропущено 502 постов, 70 с картинками.
Ассистент, который к поиску прикручен? Если да, то там 3.1 FLASH
ЧТО НОВОГО АКТУАЛЬНОГО
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1635170 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 545 постов, 215 с картинками.
> почему ты деда сгенерил
у него жена просто иногда смотрит, и он не может женщин генерить часто
ПЕ
>>1642323 (OP)
РЕ
>>1642323 (OP)
КАТ
>>1642323 (OP)
Терпи. И беги в Cumogram 4.0, чтобы перебить запах нафталина. Я вам ещё много такого принесу, чтобы разбавить однотипный 1girl-сблёв.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1628055 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про ИИ новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Предупреждения Anthropic о безопасности могли обернуться против них самих — правительство остановило работу их самого мощного ИИ
Anthropic заявляет, что отключает Claude Fable 5 для выполнения приказа правительства США
Директива США по экспортному контролю приостанавливает доступ иностранных граждан к Fable 5 и Mythos 5
⚠ Безопасность ИИ
SafeBreach раскрывает промпт-инъекцию в голосовом помощнике Gemini через уведомления
Google подает в суд на китайскую киберпреступную группировку, использовавшую ИИ для мошенничества в отношении «сотен тысяч жертв»
Канадская мать подает в суд на OpenAI, утверждая, что ChatGPT подтолкнул ее дочь к самоубийству
🧠 Модели
MiniMax выпускает мультимодальную модель M3 с открытыми весами и контекстом в 1 млн
Claude Fable 5 от Anthropic стоит вдвое дороже, обеспечивая лишь на 5,7 процента большую производительность
Google выпускает Gemini-SQL2: модель Gemini 3.1 Pro для преобразования текста в SQL набирает 80,04% в рейтинге одиночных моделей BIRD.
🔓 Открытый исходный код
Moonshot AI открывает исходный код модели для программирования Kimi K2.7 Code с триллионом параметров
Z.ai запускает GLM-5.2 с окном контекста в 1 миллион токенов в преддверии релиза на следующей неделе с лицензией MIT
⚖ Регулирование
Мужчина подает в суд на правоохранительные органы, утверждая, что технология распознавания лиц на базе ИИ привела к его незаконному аресту.
🧪 Исследования
Исследование Nature Medicine показывает, что LLM общего назначения превосходят специализированный клинический ИИ на медицинских бенчмарках, причем Gemini 3.1 Pro достигает 97,4 процента
🤖 Робототехника
Данные из Pokémon Go использовались для обучения ИИ, который может помогать военным дронам в зонах боевых действий
🧰 Инструменты
Новый инструмент Deezer может распознавать музыку, созданную ИИ, в Spotify, Apple Music и других сервисах
🏭 Компании
Согласно судебному иску, компания xAI Илона Маска уволила инженера за то, что он выразил обеспокоенность по поводу чат-бота Grok
💰 Бизнес
OpenAI объединяется с Visa для обеспечения безопасных платежей через ИИ-агентов
💰 Финансирование
После масштабного IPO SpaceX финансовое будущее американцев будет неразрывно связано с ИИ.
NEURA Robotics привлекает рекордные 1,4 миллиарда долларов в раунде серии C под руководством Tether для создания «экономики машин»
🔎 Мнение и анализ
В Google DeepMind обеспокоены тем, что произойдет, когда миллионы агентов начнут взаимодействовать друг с другом
Эндрю Карран утверждает, что рекурсивное самоусовершенствование позволит правительству США национализировать ИИ-лаборатории и управлять ими без участия человеческого персонала. Исследователь Андреас Кирш предупреждает, что это лишит нас человеческих информаторов.
Сообщается, что Google скрывает продвинутую внутреннюю ИИ-модель, поскольку огромные затраты на инференс делают ее коммерчески нецелесообразной. Бефф (e/acc) утверждает, что финансовые ограничения приведут к тому, что взлетное развитие ИИ выйдет на плато.
Дели Чэнь из DeepSeek утверждает, что продвинутые модели ИИ эволюционируют в дешевые и повсеместно доступные общественные блага, подобные электричеству и водоснабжению
Генеральный директор Apollo Research Мариус Хобхан утверждает, что прогресс в области ИИ за последние 12 месяцев будет самым медленным в дальнейшем
Сооснователь Hugging Face Томас Вульф утверждает, что ИИ с открытым исходным кодом необходим для устойчивости цивилизации перед лицом одностороннего корпоративного контроля над AGI
Пропущено 503 постов, 182 с картинками.
Продолжаем продолжать в треде с новостным ботом.
Или пора делится?
>>1641475 (OP)
>>1641475 (OP)
>>1641475 (OP)
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1633496 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1630231 (OP)
Пропущено 555 постов, 91 с картинками.
Скорее всего его дрочили писать комменты в первую очередь для самого себя, чтобы тупить поменьше. Либо с джава-тырпрайза протекло, где такой аутизм принят.
Попроси комменты только на английском, запрети комментировать самоочевидный код. Исключения - хаки, сайд-эффекты, слишком сложные функции итп. Должно стать поменьше.
Все инидивидуально. Могу сказать как делаю я.
Дипсик удалил тебе нужное спроси почему удалил, потом просишь составить промт чтобы нужное не трогать, либо просишь его писать то что тебе надо. Сохраняешь в промт.
Потом на чистом контексте проверяешь промт, просишь указать есть ли логически ошибки, места где будут проблемы выбора.
Далее на новом контексте даешь промт просишь сделать что надо, смотришь на результат, если делает что надо ок, если не делает повторяешь итерацию.
Если совсем не хочет следовать промту, либо промт режешь либо разбиваешь на разные промты, либо сжимаешь(он сам сожмет) либо решаешь задачу по другому.
Если его тыкать в ошибки и спрашивать он признается, что промт сложный и он теряет контекст, и дает советы что можно с этим сделать, иногда они дают толк иногда нет.
Мой первый опыт, сильно не пинайте. Интересно, есть такие же, кто этим занимается?
Пропущено 9 постов, 6 с картинками.
Ксеноморф: "Хрр. Ага. Варпнулись прямо в атмосферу и пошли ниже радаров. Профи, мать их так"
Человек: "Думаешь, они прорвутся?"
Ксеноморф: "Хрр... Всегда пытаются. И каждый раз удивляются, когда мы их за жопу ловим."
Яутжа — что их сбили советские пограничники, потому что не стоило пытаться сунуться туда на охоту.
Люди — что нет смысла поднимать шум и устраивать суд, потому что в итоге всё закончилось относительно мирно.
Ксеноморфы — даже они понимают, что для того, чтобы в конечном итоге построить мир, необходимо создать стабильную систему. Не на насилии, а на строгом соблюдении границ друг друга и взаимном уважении.
Поэтому всем было гораздо проще притвориться, что это была неожиданная техническая авария на корабле во время хлорного шторма.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №243 /llama/
Аноним
19/06/26 Птн 19:52:46
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1633496 (OP)
>>1630186 (OP)
Пропущено 500 постов, 63 с картинками.
Поздравляю, ты запилил 10% функционала letta https://github.com/letta-ai/letta
А мог бы просто скачать и развернуть за 5 минут, даже на винде
>>1639857 (OP)
ПЕРЕКАТ
>>1639857 (OP)
ПЕРЕКАТ
>>1639857 (OP)
Я таким страдаю периодически. Мой рецепт - opencode как фронт, в качестве модели - тюн какой-либо квена 3.6 27B в q4. На текущий момент - Melody1437 V4, до того Marvin гонял. (Moe гемма - не тянет литературного агента даже в Q8, Плотную 31B не пробовал - в 20 VRAM который был не влазила). А с плотным квеном в opencode можно обсудить сюжет, дать ему команду написать сцену по сценарию, вести диз-док с лором рассказа, поменять то-то и то-то, провести анализ на логические косяки, исправить ошибки... В общем - прямо таки работа с соавтором, в том числе интерактивная.
Правда в сети opencode тебе просто так искать не будет, но по локально сваленным в каталог файлам инфу найти и использовать - это пожалуйста.
ЧТО НОВОГО АКТУАЛЬНОГО
• Boogu-Image
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1629238 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 558 постов, 189 с картинками.
Без лор в Зетке Турбо еще и FP8 + Qwen 4b FP8, структурным промтом, два перса уже жирна, с Патриком выше все 3 но там баба на лицо плохо вышла.
Нужно дублировать в промте: Перс + Внешка Актера
>Без лор в Зетке Турбо
в зетке селебы существуют в виде картонных Lifesize celebrity standee, заставить эту блядину повиноваться промту это сущий пиздец. Возьми лучше лору Уолта, если есть откуда. У malcolmrey его нет сейчас, клянусь он там был раньше. Если где найдёшь, маякни я увижу... на архивах его тоже нет.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1633384 (OP)
Пропущено 504 постов, 63 с картинками.
У кого есть у тех есть. Ты че думал что во времена дума тебе тут на ложечке выложат? Или что тебя с распростертыми объятиями примут? Нет конечно. Наоборот огородятся и тапками погонят потому что такой массовый наплыв = скорая смерть ключей для всех и так терпильных.