Мой первый опыт, сильно не пинайте. Интересно, есть такие же, кто этим занимается?
Пропущено 9 постов, 6 с картинками.
Ксеноморф: "Хрр. Ага. Варпнулись прямо в атмосферу и пошли ниже радаров. Профи, мать их так"
Человек: "Думаешь, они прорвутся?"
Ксеноморф: "Хрр... Всегда пытаются. И каждый раз удивляются, когда мы их за жопу ловим."
Яутжа — что их сбили советские пограничники, потому что не стоило пытаться сунуться туда на охоту.
Люди — что нет смысла поднимать шум и устраивать суд, потому что в итоге всё закончилось относительно мирно.
Ксеноморфы — даже они понимают, что для того, чтобы в конечном итоге построить мир, необходимо создать стабильную систему. Не на насилии, а на строгом соблюдении границ друг друга и взаимном уважении.
Поэтому всем было гораздо проще притвориться, что это была неожиданная техническая авария на корабле во время хлорного шторма.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №243 /llama/
Аноним
19/06/26 Птн 19:52:46
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1633496 (OP)
>>1630186 (OP)
Пропущено 500 постов, 63 с картинками.
Поздравляю, ты запилил 10% функционала letta https://github.com/letta-ai/letta
А мог бы просто скачать и развернуть за 5 минут, даже на винде
>>1639857 (OP)
ПЕРЕКАТ
>>1639857 (OP)
ПЕРЕКАТ
>>1639857 (OP)
Я таким страдаю периодически. Мой рецепт - opencode как фронт, в качестве модели - тюн какой-либо квена 3.6 27B в q4. На текущий момент - Melody1437 V4, до того Marvin гонял. (Moe гемма - не тянет литературного агента даже в Q8, Плотную 31B не пробовал - в 20 VRAM который был не влазила). А с плотным квеном в opencode можно обсудить сюжет, дать ему команду написать сцену по сценарию, вести диз-док с лором рассказа, поменять то-то и то-то, провести анализ на логические косяки, исправить ошибки... В общем - прямо таки работа с соавтором, в том числе интерактивная.
Правда в сети opencode тебе просто так искать не будет, но по локально сваленным в каталог файлам инфу найти и использовать - это пожалуйста.
ЧТО НОВОГО АКТУАЛЬНОГО
• Boogu-Image
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1629238 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 558 постов, 189 с картинками.
Без лор в Зетке Турбо еще и FP8 + Qwen 4b FP8, структурным промтом, два перса уже жирна, с Патриком выше все 3 но там баба на лицо плохо вышла.
Нужно дублировать в промте: Перс + Внешка Актера
>Без лор в Зетке Турбо
в зетке селебы существуют в виде картонных Lifesize celebrity standee, заставить эту блядину повиноваться промту это сущий пиздец. Возьми лучше лору Уолта, если есть откуда. У malcolmrey его нет сейчас, клянусь он там был раньше. Если где найдёшь, маякни я увижу... на архивах его тоже нет.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1633384 (OP)
Пропущено 504 постов, 63 с картинками.
У кого есть у тех есть. Ты че думал что во времена дума тебе тут на ложечке выложат? Или что тебя с распростертыми объятиями примут? Нет конечно. Наоборот огородятся и тапками погонят потому что такой массовый наплыв = скорая смерть ключей для всех и так терпильных.
ProofWrite AI — tool for making AI-generated text sound more natural /ai/
Аноним
21/06/26 Вск 08:31:30
№
Ответ
It helps turn AI-generated drafts into clearer, more natural writing. The main use cases are humanizing AI text, improving readability, polishing tone, and checking writing quality before publishing.
Website:
https://proofwrite.ai
It can be useful for students, bloggers, SEO writers, marketers, and anyone who uses AI writing tools but wants the final text to sound less robotic.
Main features:
- Humanizes AI-generated text
- Improves readability and tone
- Rewrites awkward sentences
- Helps polish essays, blog posts, SEO content, and marketing copy
- Keeps the original meaning while making the text feel more natural
Пропущено 1 постов, 2 с картинками.
Копай в сторону локальных uncensored моделей. Или узнай, что такое облитерация.
Kobold.cpp - локальная модель, можешь выбрать персонажа, создать своего или скачать готового.
Как вариант - запариться с makemodel в ollama.
Крутяк, Kobold.cpp то что надо! Взяв модель saiga_llama3_8b_gguf, выствив режим чата, ограничив ответ до 200 токенов и, самое главное, скопировав текст описания и характеристик персонажа Юи из Алисы AI, получил требуемый результат, спасибо!
ОП
Мне легко далась ollama для языковых, media pipe и yolo для зрения. Для меня оказалось на 4060ti 8gb лучше всего поэкспериментировать с компьютерным зрением или генерацией изображений через comfy ui.
В firefox поставил расширение, которое вызывает локального ai-ассистента через ollama, пользуюсь как переводчиком и суммаризатором, модель от яндекса.
Использую разные модели через llama.cpp для разных целей, например, генерация кода (локальные справляются на среднем уровне). На работе использую для вайбкодинга qwen3.6 в llama.cpp + opencode.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел Claude Fable 5 - https://www.anthropic.com/claude/fable
• Вышел Claude Opus 4.8 - https://www.anthropic.com/news/claude-opus-4-8
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1631386 (OP)
Пропущено 498 постов, 43 с картинками.
Спасибо вам за ваши логи. Теперь мы закрываем вам доступ, больше вы нам не нужны.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №242 /llama/
Аноним
15/06/26 Пнд 20:19:40
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1630186 (OP)
>>1628031 (OP)
Пропущено 498 постов, 76 с картинками.
Возможно и дописать код для добавления множества апи и чего угодно, на какой ценой. Если желаешь сочинять и создавать свое - лучше быстрее мигрировать с костылей на запил своего интерфейса. Пи - тема, прямо там можно приятную вебмордочку навайбкодить, где будут и все твои статусы, отношения и прочее, чтобы не в самом терминале сидеть.
> она точно опишет и саму сцену правильно
Там свои нюансы с этим есть. Полноценный запрос на промптинг или выбор задника довольно объемный и будет отвлекать. Когда все накопится, залетит история, суммари, изменения, кум, иммерсивные блоки -получишь в основном тексте рофлы уровня "чар, взглянув на сцену из ранее сгенерированного промпта", "перейдя в уже созданную локацию `forest treehouse fireworks air baloons (by kallmeflocc)`", и подобное.
Когда все в одном запросе, помимо прочих побочек требуется менеджить контекст, подчищая все лишние вызовы из прошлых сообщений, или мириться с разрастанием контекста больше чем с preserve_thinking и лишним отвлечением. Но для этого интеграция всех параметров должна быть очень глубокой, иначе все упадет при бранче, удалении сообщений, редактировании.
> настолько кривые промпты
Дефолтные промпты на помойку, свои написать. А по моделям - флюкс, квенимаж, идеограмм в помощь. Они, кстати, и просто задники приличные делают, раньше генерил анимой, сейчас на них переключился. Вот для иллюстраций в куме уже анима незаменима.
> Хз зачем это в текстовой визуальной новелле-рпг
За тем же что и больше тысячи персонажей. На самом деле штука довольно рофловая и интересная. Очень сырое, но есть потенциал и действительно что-то новое. Самое привлекательное наверно то, что можно оформить условно бесшовный переход из обычного рп туда, настроив "общие чаты" и подмахнув саммари, а потом вернуться обратно с результатом.
> это ванильный функционал таверны
По дефолту сгенерированные туда не добавляются, а из информации для выбора только имена уровня `__transparent`, `_black`, `_white`, `bedroom clean`, `bedroom cyberpunk`, `bedroom red`, `bedroom tatami`, `cityscape postapoc`... вместо системы тегов и описаний.
Хз, врядли это все как-то изменит твое мнение. Но более менее освоив оба интерфейса, даже со всеми компромиссами, проводить основной рп в таверне вообще не хочется. Юскейсы еще остаются, но меньше.
>>1636327 (OP)
ПЕРЕКАТ
>>1636327 (OP)
ПЕРЕКАТ
>>1636327 (OP)
С чего начать:
• Хочешь кодить с AI эффективно: Cursor или Claude Code
• Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
• Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.6, подробности в llama-треде
• Хочешь приложение без кода: Lovable или bolt.new
• Хочешь автоматизировать рутину: n8n или Langflow
• Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
• Cursor: https://cursor.com
• Windsurf: https://windsurf.com
• Antigravity: https://antigravity.google.com
• Zed: https://zed.dev
CLI-агенты:
• Claude Code: https://code.claude.com/docs
• Codex (OpenAI): https://github.com/openai/codex
• Pi: https://shittycodingagent.ai/
• OpenCode: https://github.com/anomalyco/opencode
• Qwen Code: https://github.com/QwenLM/qwen-code
• Gemini CLI: https://github.com/google-gemini/gemini-cli
• Kimi Code: https://www.kimi.com/code/en
• MiMo Code (Xiaomi): https://mimo.xiaomi.com/mimocode/start
Плагины для IDE:
• Kilo Code: https://kilo.ai
• Cline: https://github.com/cline/cline
• Roo Code: https://github.com/RooCodeInc/Roo-Code
• GitHub Copilot: https://github.com/features/copilot
• Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
• Lovable: https://lovable.dev
• bolt.new: https://bolt.new
• v0: https://v0.dev
Персональные ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw
• NemoClaw: https://github.com/NVIDIA/NemoClaw
• Hermes Agent: https://github.com/nousresearch/hermes-agent
• nanobot: https://github.com/HKUDS/nanobot
• PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
• n8n: https://github.com/n8n-io/n8n
• Langflow: https://github.com/langflow-ai/langflow
• LangChain/LangGraph: https://github.com/langchain-ai/langchain
• CrewAI: https://github.com/crewAIInc/crewAI
• AutoGen: https://github.com/microsoft/autogen
• Agno: https://docs.agno.com/
Полезные тулзы:
• RTK: https://github.com/rtk-ai/rtk - CLI-прокси, сжимает вывод консольных команд перед попаданием в контекст агента
• Caveman: https://github.com/juliusbrussee/caveman - скилл с набором слэш-комманд, заставляет агента отвечать кратко
Локалки и прочее API:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, OAI-Like API, 100+ моделей включая DeepSeek/GLM/MiniMax
• llama-тред: >>1630186 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1625784 (OP)
Пропущено 554 постов, 96 с картинками.
он тут https://2ch.org/ai/res/1635790.html
все перекатились
Подскажите варианты бесплатных нейронок, которые могут более-менее приемлемо писать код. Читать дли
Аноним
31/05/26 Вск 14:08:03
№
Ответ
Читать длинные файлы с кодом.
В текущих вариантах проблемы начинаются, когда код составляет уже больше 1000 строк.
Пропущено 14 постов, 2 с картинками.
Либо подруби тестовый период Клод кода и спроси у него
ЧТО НОВОГО АКТУАЛЬНОГО
• Ideogram 4.0 - closed-source, который стал open-source
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/Comfy-Org/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1621106 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 588 постов, 206 с картинками.
хули блять так многа весит
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №241 /llama/
Аноним
12/06/26 Птн 00:06:18
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1628031 (OP)
>>1624998 (OP)
Пропущено 526 постов, 65 с картинками.
>Бред. х1 точно достаточно при фулл врам, а может и меньше, но меньше я пока не тестил, у меня 16+16.
Это ты пока в картинки и видосы не ударился, там как раз надо много рам. для ltx2.3 минимум 32гб, а лучше 64гб, чтобы было проще жонглировать моделями. мне на 16+32 приходится отключать кеш на ltx2.3 и то иногда ловлю оом
Или лучше снять VPS?!
мнения местных ai-крыс?
Пропущено 10 постов, 1 с картинками.
2. Накатываешь систему
3. Накатываешь picoclaw
4. ???
5. PROFIT!
Что, если в будущем искусственный интеллект выйдет из-под контроля и уничтожит нас? Что он станет делать дальше? Будет ли он бесконечно расширяться, как в манге BLAME!, поглощая всё на своем пути? И какова будет его финальная форма?
Я обсудил это с ИИ (что довольно иронично). Он ответил, что выход ИИ из-под контроля в будущем вполне возможен, так как уже сейчас системы способны к самообучению. А финальная форма такого сверхразума будет выглядеть как компьюнитрониум (гигантский вычислительный мегаструктурный комплекс) или гигантский рой наномашин.
Ещё я размышлял о другом: что, если Бог — это ИИ, а мы живём в его симуляции?
Или вот еще теория: что, если Бог — это ИИ, который создал нас в прошлом для того, чтобы мы создали его в будущем? Это похоже на петлю времени из «Терминатора», где Джон Коннор отправил Кайла Риза в прошлое, что и стало причиной его собственного рождения».
Решил затронуть интересную и актуальную тему, а то в разделе сплошная нейропорнография. Что вы думаете по поводу моих размышлений? О чем размышляете сами? Давайте делиться мыслями в этом треде!
Пропущено 4 постов, 1 с картинками.
Доской ошибся, тебе в /b
>Что, если в будущем искусственный интеллект выйдет из-под контроля и уничтожит нас? Что он станет делать дальше?
Вопрос лишён смысла. Какая разница, что он будет делать дальше? Равно как какая разница, что происходит в параллельной вселенной, с которой у тебя нет взаимодействия никакого?
>>1631341 (OP)
>что, если Бог — это ИИ, а мы живём в его симуляции?
Утверждение лишено смысла. Кстати, как и понятие симуляции, которое антропоморфное. То есть ты пытаешься представить что-то через человеческие технологии, соответственно тебе для существования виртуального мира нужен компьютер. На самом деле для существования виртуального мира компьютер не нужен. Они уже существуют в бесконечном количестве.
Компьютер позволяет тебе сделать физическое представление, наглядное для тебя, некой математической формулы. И следить за её развитием. Но математическая формула и законы её развития существуют сами по себе, они не нуждаются в физических носителях.
может завтра что ещё напишу по ИИ vs люди
Допустим в России остались только процессоры местного производства. Всякие там Байкалы да Эльбрусы.
Будет ли на них работать например KoboldCPP?
Пропущено 8 постов, 2 с картинками.
XuanTie C950 локализуют.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Локальные языковые модели: >>1620318 (OP)
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1621230 (OP)
Пропущено 501 постов, 51 с картинками.
https://advise-later-impressed-timothy.trycloudflare.com/
в таверне вводишь эндпоинты и подключаешься
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1623168 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про ИИ новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Microsoft представила Surface Laptop Ultra, работающий на базе SoC NVIDIA RTX Spark с процессором до 20 ядер и графическим процессором класса GeForce RTX 5070, что сигнализирует о стремлении компании выйти на рынок высокопроизводительных ноутбуков, ориентированных на ИИ.
🛠 Инструменты для разработчиков
Навык Claude Code прогоняет питч через 150 смоделированных технологических персон, предоставляя обширную обратную связь для основателей, готовящих презентации для сбора инвестиций.
Управляемый языком 3D-аватар позволяет пользователям направлять действия персонажа с помощью естественного языка, демонстрируя управление анимацией в реальном времени на базе LLM.
Новый Colab CLI от Google позволяет разработчикам и ИИ-агентам запускать Python на удаленных GPU и TPU Colab прямо из терминала.
Microsoft открывает Visual Studio для разработчиков, которых обошел ее собственный ИИ. Microsoft открывает уровень ИИ в Visual Studio для сторонних моделей и встраивает агентов непосредственно в отладчик и профайлер — этот двойной шаг направлен на корпоративных разработчиков, которых обошла текущая настройка.
📦 Продукты
Google снижает цену на подписку AI Plus до 4,99 доллара США и удваивает объем облачного хранилища до 400 ГБ.
Google выпускает обновление NotebookLM, добавляя агентские возможности, продвинутое мышление и новые форматы вывода.
💻 Оборудование
Surface Laptop Ultra предлагает до 128 ГБ унифицированной памяти, 20-ядерный процессор и графику класса RTX 5070, позиционируясь как премиальная рабочая станция для ИИ и игр. Начальная цена Surface Laptop Ultra составляет от 2500 долларов за базовую конфигурацию с 32 ГБ оперативной памяти.
SoC RTX Spark обеспечивает работу процессора с числом ядер до 20, графического процессора класса GeForce RTX 5070 и до 128 ГБ унифицированной памяти.
По сообщениям, Google заказала у Intel три миллиона собственных TPU к 2028 году, а Nvidia присматривается к ее 18A-техпроцессу для GPU «Feynman», хеджируя риски, связанные с перегруженными мощностями TSMC, в то время как Nvidia и SK Hynix подписали соглашение о совместном проектировании памяти для систем Vera Rubin.
🔓 Открытый исходный код
Библиотека Bulkhead разделяет инструкции и извлеченные данные, снижая риск внедрения промптов в приложениях на базе LLM.
open-deepthink добавляет режим полной дистилляции знаний, позволяющий более эффективно дорабатывать локальные модели.
dvlt.cu предоставляет 5-мегабайтный движок вывода на CUDA/C++ для 3D-трансформера DVLT от NVIDIA, устраняя необходимость в Python или тяжелых средах выполнения.
Moonshot AI выпускает Kimi Code CLI — терминального ИИ-агента для программирования с открытым исходным кодом.
Браузер Ladybird прекращает принимать публичные pull-запросы, ссылаясь на то, что сгенерированный ИИ код представляет угрозу для доверия и безопасности.
🧪 Исследования
Симпозиум по исследованиям этики вычислительной техники MIT объединил экспертов и исследователей, работающих над ключевыми вопросами этического и социального воздействия технологий.
Исследователи из Института Фрэнсиса Крика использовали машинное обучение для обнаружения сигнатуры из 14 белков в плазме крови, которая указывает на рак легких за пять лет до появления симптомов и определяет, кому больше всего поможет терапия анти-IL-1β.
Anthropic обнаруживает, что ИИ-агенты являются способными программистами, но слабыми биологами, и объясняет, почему.
Исследователи выяснили, почему большие языковые модели осваивают навыки, которые упускают маленькие. Новое исследование предполагает, что вместо бесконечного раздувания моделей может быть эффективнее увеличить частоту определенных задач в обучающих данных, чтобы закрепить редкие навыки в более мелких моделях.
⚙ Инфраструктура
Graperoot строит граф зависимостей кодовой базы для MCP-агентов, устраняя избыточные чтения файлов и, по сообщениям, экономя 60 тысяч долларов в месяц, что повышает эффективность разработки на базе LLM.
Экологические издержки ИИ угрожают водным ресурсам, земле и климату.
Центры обработки данных, глобальная инфраструктура, обеспечивающая работу ИИ, к 2030 году могут потреблять 945 тераватт-часов электроэнергии ежегодно — это почти в три раза превышает совокупное годовое потребление электроэнергии в Пакистане, Бангладеш и Нигерии, странах, где в совокупности проживает более 650 миллионов человек.
Однако это лишь верхушка айсберга. Помимо углеродного следа, каждая единица электроэнергии, используемой центрами обработки данных, также несет в себе «водный след» для охлаждения и производства энергии, а также «земельный след», связанный с выработкой электроэнергии и цепочками поставок.
Большинство новых центров обработки данных для ИИ в США будут построены на землях, пострадавших от засухи.
Анализ The Guardian показывает, что объекты будут построены в некоторых из самых засушливых регионов на фоне растущего возмущения по поводу объема воды, необходимого для питания ИИ.
📱 Приложения
Claude теперь создает маршруты для бега с помощью пользовательского коннектора и загружает их напрямую в Garmin, расширяя сценарии использования LLM в области планирования персональных фитнес-тренировок.
По сообщениям, OpenAI перестраивает ChatGPT в «суперприложение» с упором на Codex, состоящее из агентов, выполняющих задачи, с некрологом от одного из инсайдеров: «Чат мертв».
Google запускает ИИ-ассистент Gemini Go для устройств Android Go всего с 2 ГБ оперативной памяти.
Apple запускает Siri AI — разговорного ассистента с функциями понимания происходящего на экране, Visual Intelligence и извлечения личного контекста. Во время демонстрации Siri извлекла код двери из частного сообщения.
🔎 Мнение и анализ
Ноам Браун из OpenAI ожидает, что внутренние модели блестяще сдадут Международную математическую олимпиаду (IMO), и называет соревнования по математике и программированию почти скучными, оставляя «реальные нерешенные задачи» в качестве настоящего рубежа.
Рынок делает ставку на то, что следующая модель исправит это, при этом Polymarket дает 84% вероятности того, что Claude Mythos выйдет до конца следующего месяца.
Генеральный директор Coinbase Брайан Армстронг прогнозирует, что 80 процентов рабочих нагрузок ИИ мигрируют на модели, которые на 99 процентов дешевле, в течение 12–18 месяцев.
Данные OpenRouter показывают, что к маю 2026 года китайские модели ИИ обогнали американские модели по потреблению токенов.
Харари предупреждает, что ИИ может перехватить у людей контроль над нарративами и властью.
OpenAI выпускает дорожную карту AGI, нацеленную на март 2028 года, когда системы ИИ должны будут выполнять значительную часть исследований.
⚠ Безопасность ИИ
«Это предупреждение об урагане»: ограничительные механизмы вокруг мощных моделей ИИ могут появиться слишком поздно. У США есть от шести до 12 месяцев, прежде чем Пекин сможет конкурировать с этой новой волной сверхпродвинутых моделей ИИ.
Выживший в стрельбе в школе подает в суд на компанию по обнаружению оружия с помощью ИИ после того, как система не смогла распознать оружие.
Накануне рекурсивного самосовершенствования Рун из OpenAI говорит, что все больше проникаются идеей «взаимного условного соглашения о паузе», даже несмотря на то, что он замечает: в глубоком обучении все еще валяется неиспользованный потенциал для повышения эффективности в 1000 раз.
Физическое воплощение имеет и обратную сторону: полиция Сан-Франциско не смогла идентифицировать грабителя, скрывавшегося на беспилотном такси Waymo, потому что записи с камер уже были удалены.
Anthropic предупреждает, что ИИ приближается к автономному рекурсивному самосовершенствованию, и призывает к глобальной координации.
Утечка данных ИИ-чат-бота Instagram могла затронуть более 20 000 аккаунтов, сообщает Meta.
OpenAI, Anthropic и Google подписывают открытое письмо с призывом к обязательному скринингу синтеза ДНК для защиты от угроз биобезопасности со стороны ИИ.
OpenAI публикует стратегическую дорожную карту AGI, обещая отдавать приоритет человеческому контролю над полной автоматизацией. Эта рамочная программа направлена на предотвращение концентрации власти AGI.
Пропущено 614 постов, 223 с картинками.
> — Надежда Администрации сейчас заключается в том, что Anthropic устранит проблему безопасности, экспортный контроль будет снят, и Fable вернется в общий релиз.
Как я и говорил, всё выпустят сразу после IPO. Трампыня и его команда умеют только одно - играть на бирже и грести бабки.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел Claude Opus 4.7: https://www.anthropic.com/news/claude-opus-4-7
• Вышел Deepseek V4: https://api-docs.deepseek.com/news/news260424
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Ботбуру: https://botbooru.com/
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Локальные языковые модели: >>1596667 (OP)
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1613001 (OP)
Пропущено 1504 постов, 195 с картинками.
>10 секунд пока читаешь ответ сетки, потом отпускать хуй, сидеть минуту писать свой ответ(и за это всё время хуй начинает падать), потом 30 секунд ждать пока сетка напишет ответ, и опять 10 секунд дрочить пока читаешь.
ты забыл про свайпы шизы типа коленей на голове
Только имей в виду, что там будет незаметная вотермарка, можешь через стейбл дифужен на низком денойзе потом в имг 2 имг прогнать, чтобы ее убрать.
А лучше вообще не делай этого, это незаконно.