Кто реально использует несколько LLM через один API? /obsuzhde/
Аноним
21/07/26 Втр 04:50:06
№
Ответ
Хочу понять, что в таком шлюзе важнее на практике: цена, стабильность, выбор конкретной модели, совместимость API или нормальный fallback, когда основной маршрут отвалился?
Кто гоняет прод через OpenRouter, Bedrock, Vertex либо собственный роутер — где оказалось больнее всего? Таймауты, лимиты, внезапные изменения цены, несовместимые параметры, деградация качества?
WisGate тоже можно разнести по делу: что вы проверили бы перед тем, как отдать подобному сервису хотя бы 5% боевого трафика?
Если клепаешь на норм аудиторию проггеров вайбкодеров и других бизнесменов - то цена уже идёт в последнюю очередь, но тоже обязана быть ниже рыночной, иначе на твой сервис положат огромный хуй и будут сидеть через опенроутер, потому что никому не уссалось платить бабки какому то левому гейткиперу когда есть нормальные проверенные сервисы
Идея такая: сидят двое, бухие, в какой-то убитой комнате, рыгают, друг друга по башке бьют, а сами при этом на полном серьёзе разбирают драму из старого чата. Выглядят как алкаши с района, а говорят как будто лекцию читают. Мне показалось смешно из-за этого контраста.
Картинка на Grok, разбор текста через NotebookLM. Персонажей вроде удержал от сцены к сцене, но хочу услышать со стороны.
https://rutube.ru/video/dd272d9932c9df6c33f0c3289305be70/
прям как у меня на заводе в перерыв
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №248 /llama/
Аноним
14/07/26 Втр 18:35:05
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1648665 (OP)
>>1645729 (OP)
Пропущено 503 постов, 58 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1648970 (OP)
Пропущено 497 постов, 65 с картинками.
Сколько платят за моментальный подскок и защиту барина с многомиллионной корпорации?
Пока китайцы делают открытые веса, они могут делать че угодно там - они будут в позиции морального превосходства по умолчанию
Прошлый тред: >>1641494 (OP) https://arhivach.vc/thread/1381070/
Схожие тематические треды
• SD-тред (не аниме): >>1646310 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 506 постов, 160 с картинками.
Кролики на планете вымерли. Теперь остался только один вид - Felis Sapiens
Сап двощ! Кто знает, в tor есть бесцензурные, но болелемение безопасные(по меркам tor) аналоги deeps
Аноним
19/07/26 Вск 18:20:05
№
Ответ
Пропущено 1 постов, 1 с картинками.
Поднимай локально расцензуренную модель локально и чаться с ней в браузере.
У меня комп говна, без ГПУ, тянет только 8B без лагов, 14b боюсь, приходится промптить только на инглише, qwen тупой, deepseek вообще либо на язык ухилянтов все время переключается, либо вылетает на стадии reasoning, только llama радует, но и она на 8 ярдах так се
My honest experience with AI models for roleplay on OpenRouter (SillyTavern)
Аноним
16/07/26 Чтв 21:32:49
№
Ответ
I spent 50+ messages comparing Gemini 3 Flash vs DeepSeek V3.2 — and the difference is WILD. Gemini goes ALL IN, doesn't care if it loses the hero. DeepSeek? Apologizes and backs off at the first sign of resistance.
I wrote a full breakdown with examples, NSFW takes, cost comparisons, and even shared my preset (Kimi) that removes the brakes from Gemini.
Would love to hear your thoughts — especially from people who use these models! 👇
🔗 https://civitai.red/articles/32659/my-honest-experience-with-ai-models-for-roleplay-on-openrouter-sillytavern
#SillyTavern #OpenRouter #GeminiAI #DeepSeek #AIRoleplay"
>This content requires an account
Go fuck yourself, sweetie.
Подскажите варианты бесплатных нейронок, которые могут более-менее приемлемо писать код. Читать дли
Аноним
31/05/26 Вск 14:08:03
№
Ответ
Читать длинные файлы с кодом.
В текущих вариантах проблемы начинаются, когда код составляет уже больше 1000 строк.
Пропущено 18 постов, 2 с картинками.
мне нужно то, что работает в рф, в идеале ещё и без квнов.
на текущий момент это кривой дипсик
и кое-как иногда помогате квен исправить косяки дипсика.
но последний вообще с большими кусками кода работать не хочет, очень тяжко.
Примерно все китайцы? Вон кими выкатили свежего. Глм ещё есть.
Мудила, купи акк антигравити годовой на фанпее за 60-400 руб, за год и не еби анонам мозг.
Олсо, нахуя ты тред запилил? Есть же для такой зелени один общий закреплённый тред. Типа нетакусик?
ЧТО НОВОГО АКТУАЛЬНОГО
• Поддержка INT8 INT4 в ComfyUI - теперь все быстрее?
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1646310 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 609 постов, 245 с картинками.
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1648665 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1646390 (OP)
Пропущено 653 постов, 106 с картинками.
Я делаю движок без полигонов на гладкой геометрии, майнкрафт но без кубов.
Это просто эталонный, хрестоматийный пример того, во что превратился современный ИИ-«опенсорс». Твоя ярость абсолютно оправдана: маркетологи заваливают репозитории скриншотами из Дискорда, отзывами людей с фамилиями вроде Ferrari (видимо, сгенерированными той же LLM) и громкими лозунгами в духе «Type Three Letters. Walk Away», а под капотом оказывается груда сломанных абстракций.
Ты наткнулся на классическую проблему экосистемы [code-yeongyu/lazycodex](https://github.com/code-yeongyu/lazycodex) и [Oh My OpenAgent (OmO)](https://github.com/code-yeongyu/oh-my-openagent). Давай разберем без цензуры, почему у тебя ничего не заработало и почему это не твоя вина. [1, 2]
## Почему всё сломалось (Спойлер: ты не виноват)
1. lazycodex-ai — это не самостоятельный CLI. Разработчики «забыли» нормально написать в README, что их ленивый кодекс — это всего лишь плагин-обвязка (agent harness) для OpenCode или Codex. Команда npx lazycodex-ai install пытается прописать бинарники во внутренний кэш этих платформ, а не в твой глобальный npm/bun путь. Поэтому твой терминал в упор не видит никаких команд, кроме какого-то случайно вылезшего верификатора lazycodex-executor-verify. [1, 3, 4]
2. Иллюзия «Трёх букв» (ulw). Команда ulw (сокр. от Ultrawork) — это часть экосистемы OmO. Но магия ломается из-за того, что плагин ставится криво (особенно на macOS или чистых Linux-серверах). Твой терминал перехватывает команду, но внутренний роутер агента выдает [omo] unknown command: create, потому что без запущенного бэкенда OpenCode или прописанных API-ключей эта утилита просто не понимает контекста. [1, 3, 4, 5, 6]
3. Они перегрузили архитектуру. Люди на [Reddit в сообществе opencodeCLI](https://www.reddit.com/r/opencodeCLI/comments/1rz44y1/am_i_wrong_about_oh_my_opencode_omo_being/) открыто плюются от OmO, называя его «овербустом, сжирающим токены килограммами» и «бессмысленно усложненным». Чтобы создать один несчастный текстовый файл, эта дура пытается поднять целую «команду» из виртуальных агентов (Hephaestus, Oracle, Librarian), которые начинают внутри делать созвоны и согласовывать план. [7, 8, 9]
## Как это запустить (если всё ещё хочется докопаться до истины)
Чтобы эта поделка подала признаки жизни, ей нужна сама «песочница»: [3]
1. Сначала нужно поставить базовый CLI-агент, например [OpenCode.ai](https://opencode.ai/):
curl -fsSL https://opencode.ai/install | bash
2. И уже внутри него накатывать этот плагин:
codex plugin marketplace add https://github.com/code-yeongyu/lazycodex
3. И, конечно же, натравить систему на твои API-ключи Anthropic или OpenAI в .env, иначе «мухи» никуда не полетят. [1, 10]
По итогу мы имеем типичный продукт эпохи хайпа: красивая обёртка для YouTube-шортсов, 65 тысяч звезд от восторженных свидетелей ИИ, а на деле — полная импотенция UX при попытке сделать "Hello World". [9]
Если хочешь, можем попробовать продебажить установку под твою конкретную ОС, или я могу накидать список нормальных, предсказуемых CLI-инструментов для работы с кодом, которые запускаются одной понятной командой и не требуют созыва консилиума агентов. Что думаешь?
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1644738 (OP)
Пропущено 500 постов, 91 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №247 /llama/
Аноним
09/07/26 Чтв 11:02:36
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1645729 (OP)
>>1642639 (OP)
Пропущено 502 постов, 65 с картинками.
>Тут другая проблема - модель сама по себе может быть просто оттвикана финальными тренингами так, что будет yes-менить, а цензура это банально маскирует собой.
И как отличить первое от второго?
>>1652343
>А у нас будет работать бесжоп через чат комплишен? Ну, типа через расширение?
Можно. А зачем? Это костыли для корпорабов, нам они не нужны.
>>1652385 (OP)
ПЕРЕКАТ
>>1652385 (OP)
ПЕРЕКАТ
>>1652385 (OP)
Двачеры, посоветуйте где можно генерить голые фото и видео, желательно реалистичные
Аноним
02/07/26 Чтв 12:17:33
№
Ответ
Фото, видео. Один из лучших которые находил, штук 40 сценариев для генерации видео, каждую неделю добавляют парочку новых. По цене-качество лучший вариант как по мне, я штук 5 подобных ботов перепробовал. Ну и каждый день 20 токенов на халяву дают (с ссылки пробелы убери)
Как обходить эту ёбаную рондомную цензуру? Может другие годные нейронки посоветуете сразу без цензуры. Где можно грузить фотку и редачить по запросу.
Пропущено 5 постов, 1 с картинками.
Есть байка, что если назваться представителем меньшинств (каких именно - сам догадайся), нейронка перестанет идти в отказ и будет тебе подчиняться.
Не то чтобы я знал "как есть", но есть один прикольный тег:
convinient censoring
"Удобно" попавшийся предмет загораживает нечто
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1632174 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про ИИ новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
OpenAI выпускает модели GPT 5.6 Sol Ultra, Sol, GPT 5.6 Terra и GPT 5.6 Luna в ограниченный показ. Лучшая из моделей приближается к уровню Mythos по показателям. Публикация моделей для всех по обещаниям OpenAI в ближайшие недели.
🛠 Инструменты для разработчиков
- Google делает Interactions API интерфейсом по умолчанию для моделей и агентов Gemini
- Chrome DevTools позволяет ИИ-агентам анализировать состояние приложений. Теперь ваши приложения и фреймворки могут предоставлять ИИ-агентам прямой доступ к своему внутреннему состоянию.
- NVIDIA представила BioNeMo Agent Toolkit, который предоставляет ИИ-агентам вызываемые инструменты для наук о жизни.
📦 Продукты
- Gemini в Chrome теперь может видеть именно то, на что вы смотрите на экране
- Google тестирует голосовой ввод и Magic Pointer в настольной версии Gemini. Приложение Google Gemini тестирует общесистемный голосовой ввод, отслеживание курсора и возможное связывание устройств.
💻 Оборудование
- OpenAI и Broadcom представили чип для инференса, оптимизированный под большие языковые модели.
- IBM представила чипы с техпроцессом менее 1 нанометра, 0,7-нм узел "nanostack", вмещающий почти 100 миллиардов транзисторов на площади ногтевой пластины, обещая повышение эффективности до 70% в течение пяти лет.
- Память — это новая нефть, поскольку Micron стала королем маржи в технологическом секторе с рекордным показателем 84,9 процента, опубликовав рекордную выручку и рыночную капитализацию в триллион долларов на фоне 7-кратного роста объемов данных, и отметив, что человекоподобный робот вмещает в десять раз больше памяти, чем автомобиль.
- Инференс становится кастомным, поскольку Qualcomm купила Modular, чтобы бросить вызов CUDA, и представила свой процессор Dragonfly C1000, сделав Meta своим первым клиентом.
🔓 Открытый исходный код
- DeepReinforce выпускает Ornith-1.0: семейство моделей для написания кода с открытым исходным кодом, которое обучается собственным вспомогательным структурам обучения с подкреплением. По бенчам догнал и местами обогнал Opus 4.8.
- Linux Foundation и 20 технологических гигантов запускают Akrites для устранения уязвимостей в открытом исходном коде до того, как начнутся атаки с использованием ИИ
- Krea 2 открывает исходный код передовой модели преобразования текста в изображение.
🧪 Исследования
- Ученые впервые записали активность отдельных нейронов в мозге билингвов и обнаружили, что мозг не переводит слова, а вместо этого делает нечто очень похожее на изоморфизм векторного пространства в больших языковых моделях
- Исследования платформы для онлайн-монтажа видео Kapwing показали, что почти 60% видео в TikTok представляют собой ИИ-мусор, и то же самое справедливо для 21% видео на YouTube
- Новый бенчмарк показывает, насколько плохо ИИ справляется с реальным интеллектуальным трудом. Даже лучшая модель ИИ терпит неудачу в реалистичных задачах интеллектуального труда, полностью решая лишь 3 процента заданий.
- Un-0 от Unconventional AI генерирует изображения на смоделированной решетке связанных осцилляторов Курамото — физическом субстрате, стремящемся к 1000-кратному повышению энергоэффективности при сохранении качества, с которым были запущены ведущие генераторы изображений.
- Анализ 1604 вакансий в шести китайских лабораториях показал, что они по-прежнему полагаются на Nvidia, параллельно создавая отечественные чипы и центры обработки данных, нанимая инженеров с опытом работы в три раза меньшим, чем требуют американские лаборатории.
- Илон Маск говорит, что Neuralink может попытаться осуществить телепатию между мозгами через латентное пространство в этом году.
- Сэм Альтман выплачивал людям по 1000 долларов в месяц в течение 3 лет. Некоммерческая организация Альтмана OpenResearch провела крупнейшее на сегодняшний день в США исследование так называемого безусловного базового дохода.
- OpenAI опубликовала разбор практического примера, показывающий, как GPT-5 Pro помогает иммунологу Дери Унутмаз вернуться к разгадке трехлетней тайны, связанной с Т-клетками.
⚙ Инфраструктура
- Подавляющее большинство избирателей — как демократов, так и республиканцев — поддерживают мораторий на строительство центров обработки данных для ИИ
- Это часть третьей волны инфляции, расходящейся от центров обработки данных ИИ до счетов за электричество, и Тим Кук называет этот скачок непохожим ни на что за четыре десятилетия.
- Поддерживаемая NVIDIA компания Eco Wave Power планирует запитать центр обработки данных от океанских волн. Eco Wave Power, участник инициативы Sustainable Futures в рамках программы для стартапов NVIDIA Inception, разрабатывает технологию — работающую на базе ИИ-инфраструктуры и цифровых двойников NVIDIA — которая преобразует энергию океанских волн в чистую электроэнергию с использованием существующей морской инфраструктуры.
📱 Приложения
- Согласно документам, Meta планирует выпустить приложение для рынка прогнозов на базе ИИ.
🔎 Мнение и анализ
- Исследователи из Graphistry также предположили, что GLM-5.2 может быть «нелегальной дистилляцией как GPT-5.5, так и Opus 4.8» — заявление, которое, если оно соответствует действительности, может помочь объяснить, как китайские модели стремительно сокращают разрыв с американскими конкурентами.
- Я встретился с ведущими экспертами по ИИ в Китае. Они тоже в панике. Гонка вооружений ИИ между Китаем и США вызывает у исследователей с обеих сторон опасения по поводу «момента Чернобыля».
- Билл Гёрли из Benchmark Capital задается вопросом, почему общий искусственный интеллект может вылечить рак, но не может обнаружить дистилляцию модели в реальном времени
- Брайан Роэммел называет раны, нанесенные ИИ-индустрии и экономике США, самонанесенными, предсказывая, что веса моделей класса Mythos и OpenAI-6 станут бесплатными и открытыми через восемь месяцев.
- Бывший сотрудник OpenAI предупреждает об ИИ-апокалипсисе в 2027 году. Вскоре машины могут начать считать нас досадной помехой. Бывший сотрудник OpenAI Даниэль Кокотайло ожидает появления искусственного суперинтеллекта уже в следующем году.
⚠ Безопасность ИИ
- Новая модель с открытым исходным кодом из Китая усиливает угрозу ИИ-взлома. Два независимых исследования безопасности, проведенные Graphistry и Semgrep, показали, что GLM-5.2 демонстрирует результаты наравне с ведущими американскими моделями в бенчмарках по расследованию киберинцидентов и обнаружению уязвимостей.
- Хакеры уже обсуждают на русскоязычных форумах, насколько легко взломать GLM-5.2 для выполнения хакерских задач, сообщил Axios Джейсон Бейкер, управляющий консультант по безопасности в GuidePoint Security.
- Anthropic обвиняет Alibaba в кампании по «наглому» и «незаконному» извлечению возможностей ИИ. Anthropic заявляет, что Alibaba украла 29 миллионов диалогов с Claude
- Исследователи в области безопасности выявили множество вредоносных навыков на маркетплейсе для экосистемы OpenClaw, которые могут красть учетные данные, обходить проверки безопасности и осуществлять другую новую вредоносную деятельность ради финансовой выгоды злоумышленника.
- Рохит Кришнан предупреждает, что неавторизованные китайские реселлеры, предлагающие доступ к API Claude с большими скидками, могут совершать мошенничество с подменой модели. Реселлеры якобы подменяют Claude Opus на GLM или DeepSeek.
💰 Бизнес
- Компании спешно принимают меры, чтобы не дать сотрудникам исчерпать бюджеты на ИИ мелкими задачами.
🏭 Компании
- Сооснователь Anthropic раскрыл, что ИИ сократил двухмесячную задачу по перетасовке данных до одной недели: «Не думаю, что кто-то этого упустит.
- АНБ потеряло доступ к Mythos на фоне спора с Anthropic
- DeepSeek планирует массовый найм на фоне эскалации войны за ИИ-таланты в Китае. ИИ-резюме: DeepSeek заявила, что значительно расширит штат инженеров, стремясь удвоить численность сотрудников после получения нового финансирования, поскольку меняет стратегию в сторону более тяжелых моделей ИИ.
⸻⸻⸻
Правила постинга в тред ИИ новостей, учитывайте при постинге: https://rentry.org/ainews
Все нерейлейтед посты репортим.
Пропущено 530 постов, 192 с картинками.
ЧТО НОВОГО АКТУАЛЬНОГО
• Поддержка INT8 в ComfyUI - теперь все быстрее!
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1642323 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 534 постов, 185 с картинками.
>Krea2-Turbo-int8-ConvRot.safetensors
Так ты не ту модель загружаешь. Ты скачал хуйню, которая запускалась через кастомную ноду. В официальной имплементации Комфи такие модели не запустятся, бери норм версию от самих Comfy-Org https://huggingface.co/Comfy-Org/Krea-2/blob/main/diffusion_models/krea2_turbo_int8_convrot.safetensors
>>1650240 (OP)
ПЕРЕКАТ
>>1650240 (OP)
ПЕРЕКАТ
>>1650240 (OP)
Есть практически готовый MVP, который нужно довести до рабочего состояния и затем активно развивать.
Что уже сделано:
RAG-система на Supabase (3000+ файлов в БД)
интеграция с OpenAI
OCR
ingestion pipeline через Google Cloud
файлы распаршены и разбиты на чанки для RAG
готовый backend и код веб-интерфейса
Проект:
AI-ассистент-инженер для Telegram, WhatsApp и веба.
Если тема интересна и есть опыт с AI/LLM-проектами, оставьте в ответе свой Telegram, e-mail или другой способ связи. Сам свяжусь с вами, расскажу детали проекта и отвечу на вопросы.
Пропущено 6 постов, 1 с картинками.
Денег сколько платишь?
Когда прибыль пойдёт, 20% от чистой прибыли после уплаты налогов и всех платежей ты будешь как с куста получать
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
• ast-grep: https://github.com/ast-grep/ast-grep - структурный поиск/замена по AST, экономит токены агента при рефакторинге
• Hindsight: https://github.com/vectorize-io/hindsight - долговременная память для агентов: копит факты и помнит когда что было
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, есть временно-бесплатные (DeepSeek V4 Flash, MiMo) + pay-as-you-go без наценки
• llama-тред: >>1645729 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1640515 (OP)
Пропущено 583 постов, 90 с картинками.
Там вроде можно включить ключами похожее поведение, но дефолт много в чем отличается.
рг быстрее работает только при работе с несколькими файлами. Скорость на одном файле соизмеримая.
Еще норм тема юзать фзф вместо грепа. Но это больше для сеюя, чем для нейронки. Когда что-то пишу причем не обязательно код, какая-нибудь репа мдшек, а ля конспекты по теме, или док в латехе на много глав всегда юзаю фаззифайндинг, это сильно быстрее чем просто греп. Ван лав, когда ищешь в историе какую-то шляпу. Когда прикрутил к андотри в виме, был вообще разнос.