Тред веб-версии нейросетей (ChatGPT, Claude, Gemini и пр.) №1 /aiweb/
Аноним
02/05/26 Суб 14:32:32
№
Ответ
Основные сервисы:
- ChatGPT: https://chatgpt.com/
- Claude: https://claude.ai/
- Gemini: https://gemini.google.com/
- Grok: https://grok.com/
- DeepSeek: https://chat.deepseek.com/
- GLM: https://chat.z.ai/
Большинство сервисов доступны бесплатно с ограничениями. Подписки открывают доступ к более мощным моделям, увеличенным лимитам и дополнительным функциям (генерация изображений, файлы, память и т.д.). Цены и условия у всех разные и периодически меняются.
Советы по регистрации:
1. При необходимости используй VPN.
2. Заведи нормальную почту (временные часто режутся).
3. Регистрируйся на нужной платформе.
4. Иногда требуется номер телефона — используются сервисы виртуальных номеров.
5. Пользуйся.
VPN в ряде регионов обязателен. Соответствие страны VPN, почты и номера не обязательно, но желательно для тех, кому доступ критически нужен, например для работы.
Для ленивых есть боты в телеге, 3 сорта:
0. Боты без истории сообщений. Каждое сообщение отправляется изолировано, диалог с ИИ невозможен, проёбывается 95% возможностей ИИ
1. Общая история на всех пользователей, говно даже хуже, чем выше
2. Приватная история на каждого пользователя, может реагировать на команды по изменению поведения и прочее. Говно, ибо платно, а бесплатный лимит или маленький, или его нет совсем.
Промты для хорошего начала беседы для разных ситуаций:
https://github.com/f/awesome-chatgpt-prompts
Статусы сервисов (при проблемах сначала идти туда, может это общий сбой):
https://status.openai.com/
https://status.anthropic.com/
https://status.cloud.google.com/
Токены и лимиты зависят от модели. У всех разные контексты, цены и ограничения.
Посчитать свои токены можно здесь:
https://huggingface.co/spaces/Xenova/the-tokenizer-playground
Что могут нейросети:
- писать правдоподобные тексты
- помогать с кодом
- объяснять сложные темы
- генерировать изображения (не везде)
Что не могут:
- гарантировать истину
- стабильно решать сложные задачи без ошибок
- полностью заменять специалистов
- захватывать мир (пока)
С каждым обновлением усиливаются фильтры и ограничения. NSFW-контент режется всё чаще. Кумеры со всего мира в печали.
Пропущено 48 постов, 6 с картинками.
Я за 500р брал на свой акк, 7 месяцев уже живет жаль гемини хуета
Брал еще хз когда (полгода может быть?), скоро закончится уже. Хуйня, не бери, гугл параша ебаная - заебешься с обходами, качество кал, антигравити тоже заебешься запускать. Клод и гпт, пусть и сильно дороже в сравнении, но сука just works и на две головы выше (но кодинг лучше клод сейчас). А всем у кого нет карты забугорной, но очень надо, гуглите казахский e-res.
сменил впску с NL амстер, на NL амстер у др хостера
Блядский гемини работал, перестал работать под всеми акками, даже под которыми нет адресов и регионов и кроме пхаба нигде не юзался.
КАКОГО ХУЯ БЛЯТЬ эти штатопидоры хотят? Почему блочит сука, и сам гугл поисковик определяет какую то САМАРУ нахуй.
Менял регион в настройках поисковика, очевидно не влияет.
Заблочило мне aistudio с фри api ключами.
Помогите обойти блок этих гнид. Даже гопота особо не помогает
Здесь репорт с IP отправил, надежды мало. https://support.google.com/websearch/workflow/9308722?hl=en&utm_source=chatgpt.com
Как зарегать кристально чистый гугл акк без номера телефона? Только на мобиле позволяет скипнуть телефон, но он подтягивает скорей всего какие то данны мобилы и спалит след локации тоже.
Че делать СУКА Блять, у меня и так всё есть, чисто зарубежная впска, хули еще надо
Что уже работает (хуево):
корт размечаю кликами один раз, гомография в метры, дрейф телефона компенсируется. Игроки: YOLO-pose, позы обоих, точка стоп с точностью 7 см у ближнего, зрителей у сетки отсеивает. Мяч: TrackNet-подобная сетка на трёх кадрах, дообучил на треках из экспорта SwingVision (нашёл там их собственный трекинг мяча 30 Гц, 168к меток с 25 кортов бесплатно, кек), покрытие 80 % кадров, отскоки в 4 px от свинговских. Экспорт в CoreML, 21 мс на кадр на нейродвижке.
Чего нет: ударов, отскоков, розыгрышей и самой статистики — следующий этап, план готов. Из фейлов: сутки убил на «дай мячу больше пикселей», оказалось надо давать фон и разность кадров.
Стек: питон, торч на MPS, numpy для всего, что потом на свифт.
Вряд ли найду тут единомышленников, но мб получу советов мудров
Подскажите варианты бесплатных нейронок, которые могут более-менее приемлемо писать код. Читать дли
Аноним
31/05/26 Вск 14:08:03
№
Ответ
Читать длинные файлы с кодом.
В текущих вариантах проблемы начинаются, когда код составляет уже больше 1000 строк.
Пропущено 35 постов, 4 с картинками.
>просто кидаю файл с кодом прикрепляю в чате, прошу исправить
с 2023 капчуешь?
>то, что работает в рф
тогда только сберчат
Есть практически готовый MVP, который нужно довести до рабочего состояния и затем активно развивать.
Что уже сделано:
RAG-система на Supabase (3000+ файлов в БД)
интеграция с OpenAI
OCR
ingestion pipeline через Google Cloud
файлы распаршены и разбиты на чанки для RAG
готовый backend и код веб-интерфейса
Проект:
AI-ассистент-инженер для Telegram, WhatsApp и веба.
Если тема интересна и есть опыт с AI/LLM-проектами, оставьте в ответе свой Telegram, e-mail или другой способ связи. Сам свяжусь с вами, расскажу детали проекта и отвечу на вопросы.
Пропущено 9 постов, 3 с картинками.
>RAG-система
>RAG-система
>2026 год
дальше без слов....
>Когда прибыль пойдёт, 20% от чистой прибыли
Новая версия ужасно зацензурена, к тому же тупая и сырая. Как я уже сказал, новая версия Дипсик, кот
Аноним
12/09/26 Суб 01:27:18
№
Ответ
Пропущено 12 постов, 1 с картинками.
ну что сделать, dei и соросовские частные хунвейбины могут создать проблемы.
я думал оттого что deepseek из чатжпт дистиллируют, повесточка протекает. да, и щас вспоминаю джемини далеко не такой повесточный оказался как я ожидал.
а есть какой-то рейтинг базированности моделек примерно? всетки с гроком порнографию можно обсуждать, а с дипсиком и лоликон
Я юзал по офф подписке и это деградация пиздец
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №270 /llama/
Аноним
20/09/26 Вск 21:31:46
№
Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1707443 (OP)
>>1705886 (OP)
Пропущено 539 постов, 71 с картинками.
Вот так, приходит вечером со своей галеры, где об его сеошность все хуй вытирают, унижают и хихикают за спиной, и начинает раздавать на двощах какие все банальные дилетанты.
Мдеа...
>>1711675 (OP)
ПЕРЕКАТ
>>1711675 (OP)
ПЕРЕКАТ
>>1711675 (OP)
Если наберем какой-то интерес, то реализовать к примеру можно.
Дискас.
Пропущено 4 постов, 1 с картинками.
ну 1. сделать маркетплейс 2 нагнать а) кто будет размещать модели (визуал) + ллм б) пользователей, которые будут платить а) . Вот вообщем-то так все просто)
Еще добавлю. Сейчас нет свободы творчества, ну или я плохо искал. Максимум что сейчас предосставляют, это то что ты скидыываещь на чужой сервис свой промт, по которому модель работает, но считай больше у теяб нет никакой интеллектуальной собьственности. Я же предлагаю свободный ии инет, где промт у тебя на сервере.
я сделал пару добавлений, но для простоты скопируй мой текст и попроси проанализировать гпт, дипсик и тд. Что они думают. Коммерческий потенциал, конкуренция, что есть на рынке. И главное про endpoint спроси, как реализовано и что не так. И пересмотри заново что я предлагаю. Таким образом ты немного войдешь в тему, ну как минимум в базовой терминологии и тд.
Обмена моделями тред. Первый. Экспериментальный. Под БАЗУ нейрогенерации уже созданы номерные треды
Аноним
06/01/23 Птн 16:00:02
№
Ответ
Под БАЗУ нейрогенерации уже созданы номерные треды SD и WD+NAI. Меж тем, это всего несколько моделей, тогда как только на Фэйсе их более 112 тысяч.
Этот тред для тех, кто копнул хоть немного глубже: необязательно до уровня обскурщины, выпиленной даже из даркнета, а просто за пределами того, что удостоилось своих тредов.
ИТТ делимся находками и произведенными результатами.
Собственно, главный ресурс для поиска:
https://huggingface.co/models
Пропущено 240 постов, 59 с картинками.
Не поленился осмотреть, так как не касаюсь локалок даже палкой. Щито это за миллениал врайтинг? Я думал наши меньшие братья одной рукой выпиливают csam-фильтры, второй геном вирулентных патогенов подгружают. Даже тёлочка с watpada приколов увидит в своём dark romance похлеще
Чувак сделал свой проект аблитерации, но модель назвал просто аблитератед, но вы не думайте что это что-то обычное как у всех, нет, это точно нет.
wangzhang/gemma-4-31B-it-abliterated
Новости треда:
• GPT-6 Astra (OpenAI, 3 сентября) - миллион контекста, который держится до самого конца (96% MRCR на 1M, у Sol 74%), и лучшая на сегодня работа за компьютером: модель сама водит мышкой и клавиатурой по живому десктопу - браузер, файловый менеджер, гуёвые проги, - 72.6% на OSWorld 2.0 и вдвое быстрее предшественника. В кодинге вровень с Фейблом
• DeepSeek V4.1-Flash (10 сентября) - открытые веса, 552B MoE новой архитектуры, по их тестам обгоняет собственный флагман V4-Pro при $0.15/$0.60 за млн; с 14 сентября запросы к V4-Pro в API отвечает он же и по своей цене
• Cursor начал банить россиян прямо во время работы - Pro слетает, деньги возвращают; лечится только VPN
• У OpenAI кончились мощности после Astra - продажу новых подписок временно сняли, продление работает
Полезная информация:
• FAQ: https://rentry.org/2ch-agents-faq
• Вариант архитектуры работы с агентами: https://rentry.co/9e256dt4
IDE с агентом внутри:
• Cursor: https://cursor.com
• Antigravity: https://antigravity.google/
• Zed: https://zed.dev
CLI-харнессы:
• Claude Code: https://code.claude.com/docs
• Codex: https://github.com/openai/codex
• OpenCode: https://github.com/anomalyco/opencode
• Pi: https://shittycodingagent.ai/
• Kimi Code: https://www.kimi.com/code/en
Ассистенты:
• OpenClaw: https://github.com/openclaw/openclaw - у него есть куча форков и альтернатив, но обсуждают в основном его.
Где брать модели:
• OpenRouter: https://openrouter.ai
• NVIDIA Build: https://build.nvidia.com/models - бесплатно, 40 RPM, 100+ моделей
• OpenCode Zen: https://opencode.ai/zen - кодинг-модели, часть бесплатно
• Локалки - llama-тред: >>1701124 (OP)
Шаблон для переката: https://rentry.co/2ch-agents
Предыдущий тред: >>1696420 (OP)
Пропущено 1217 постов, 210 с картинками.
Ну я пользуюсь. Купил 10 акула и постоянно их ротирую через Антигравити тулз, разработка на 3.8 флеш хай не останавливается ни на минуту с таким подходом. Жду, когда эти пидарасы запустят 4 pro.
Гугел ещё запустил десктопный гемини со встроенным НоутбукЛМ, всё никак руки не доходят его использовать для повседневных задач.
Единственный момент, что подключил ещё кодекс для перекрестного вайбкодинга, чтобы Сол 6 помогал составить план и делал ревью, так как флеш иногда пишет хуету, но бодро рапортует, что всё пучком.
Короче, я пока остановился на этой схеме, потому что кодить исключительно на кодексе, можно без штанов остаться и без квот
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №269 /llama/
Аноним
18/09/26 Птн 19:50:26
№
Ответ
В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• PocketPal - интерфейс для локального запуска моделей под андроид и IOS на llamacpp (CPU, GPU, и NPU инференс): https://github.com/a-ghorbani/pocketpal-ai
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1705886 (OP)
>>1703839 (OP)
Пропущено 506 постов, 61 с картинками.
>>1708971
Если нужен будет честный квант превьюшки, то можно и его сделать, я думаю, хм.
Ну и ГЛМ-5.3-Флэш с Гигачатом у меня просили, но руки так и не дошли.
Там беда, модели уже большие, и квантование будет агрессивное, если исключать iq-говно.
Не-не, я понимаю, что iq лучше качеством, но ТАК медленно… это капец просто. Тот момент, когда разница 5 токенов в секунду — это почти вдвое. =/
Сам я юзаю лору анцензор, которая лежит у меня скопированная, она и на вижн работает.
Я лишь немного покатал, но вроде нежный-натуральный получается анценз такой. Но могу спиздть.
И это 2 токена у меня отожрало (13=>11), но все еще не iq-кванты. =D
есть ноут, 7840 и 32гига оперативки.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Ботбуру: https://botbooru.com/
• CharIsChar: https://charischar.net/
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1683502 (OP)
Пропущено 497 постов, 46 с картинками.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №268 /llama/
Аноним
17/09/26 Чтв 06:13:42
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Не вошедшее в шапку и архив полезных ссылок: https://rentry.co/llama-2ch-archive
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Обертка над llama.cpp с закрытым исходным кодом: https://lmstudio.ai
• Обертка над llama.cpp с ограниченными возможностями: https://github.com/ollama/ollama
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1703839 (OP)
>>1701124 (OP)
Пропущено 504 постов, 76 с картинками.
>>1707443 (OP)
ПЕРЕКАТ
>>1707443 (OP)
ПЕРЕКАТ
>>1707443 (OP)
3 вектора + промтп "Отвечай как простая девушка.
Давай каждый раз ответы разной длины.
Не повторяйся."
Вот похоже реализм достигнут.
дело не в моэ даже, с любой моделькой это работает (я пробовал с мисралём)
за счёт shared gpu memory как я понимаю случается "незаметный" (для лламы) переброс ллм в рам и назад когда снова к лламе обратишься. а может и диск задействован ХУЙ ЗНАЕТ КАК ОНО НА САМОМ ДЕЛЕ МНЕ ПОХУЙ РАБОТАЕТ И ЛАДНО
вот тут у меня крея2 вообще а не сдохл. (это в маринаре с кастомным "умным" фото агентом). после креи на сдохл не охота возвращаться.
очень важно ставить в комфи воркфлоу в конце ноду unload all models (кастомная),
а в маринаре отключать персам автономность чтобы не дёрнули ллмку во время генерации картинки и тогда всё будет работат без тормозов. а вот если дёрнуть ллмку пока идёт генерация (например написать сообщение в другом чате/рп) то да - всё заглохнет и придётся убивать процессы.
16врам+32рам если что.
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №267 /llama/
Аноним
14/09/26 Пнд 12:55:20
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1701124 (OP)
>>1699101 (OP)
Пропущено 501 постов, 56 с картинками.
я вот на заводе привентил квен флеш некст в 4 квантах, делает +- расчетки воздуховодов как опус 4.6 с чего я ахуел
а заводику нельзя чертежку в облако кормить, выебут.
Учитесь долбаебы.
Расскажи как прикрутил, хотя бы примерно.
Я пока только с документами и правками ворда-пдфа прикручивал гемму. А, и в сети искал инфу по закупкам всякого разного, чтобы у человека просто список телефонов с кратким описанием было, и он не тратил время на сбор этой инфы сам.
А воздуховод мне нужно для cmp170, я очень много времени трачу на эту и другие такие задачи - и я вижу околонулевое применение нейронки в таких задачах - потому если подскажешь как ты это сделал - мне будет оче интересно. Я понимаю что у тебя скорее вентиляция и там унылые гост-нормы, типа "Ууу, помещение 50 квадратов высотой до 3 мётров, нужен воздуховод 50 квадратных сантиметров и 4 дырки под вентиляцию по всей площади" и по груди стучишь как обезъяна "я инженер!!!" - но всё-таки вдруг...
braindead cocksuckers, your heads should be cut off and fed to pigs LOL
Аноним
# OP
16/09/26 Срд 12:30:57
№
Ответ
@artmonkey
добавь в петле портал в wow forever
Основная идея — увеличивать разрешение без слишком агрессивного шарпинга и искусственной текстуры. Сейчас лучше всего работает на портретах, старых фотографиях и сжатых изображениях.
Прикрепил один before/after для примера.
https://focaupscaler.com/
Интересно услышать мнение — особенно по деталям кожи, волос и мелких текстур.
ЧТО НОВОГО АКТУАЛЬНОГО
• Поддержка INT8 и INT4 в ComfyUI - теперь все быстрее!
• Krea 2
• Ideogram 4.0
• FLUX.2 klein (4b и 9b)
• Z-Image
• Flux 2
• Qwen Image / Qwen Image Edit
• Лора Lightning и Turbo для быстрой генерации за несколько шагов.
База:
→ Приложение ComfyUI https://comfy.org/
→ Примеры https://comfyui-wiki.com/ru (откуда, куда, как)
→ Модели https://civitai.red/
► Предыдущий тред >>1687558 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 545 постов, 187 с картинками.
Если нас тут только двое, то нахуя ты только своими пиками перекатил? Тебе тесно в треде было?
1. MiniMax-H3 от MiniMax - Качество корпоратов на вашем ПК без цензуры
https://huggingface.co/MiniMaxAI/MiniMax-H3
Принимает на вход тексты, пикчи, звук, видео и может делать с ними всякое. Неофициально умеет генерить/редачить пикчи. Absolute Cinema. Набор полезных ссылок на все случаи жизни:
https://github.com/wildminder/awesome-minimax-H3
2. LTX-2.5 - обещает сделать локальную генерацию грейт агейн. Подходят лоры от 2.0, то есть архитектура нихуя не меняется.
https://huggingface.co/Lightricks/LTX-2.5
Известные тюны:
Sulphur
Eros
3. Wan 2.2 от Alibaba
https://huggingface.co/collections/Wan-AI/wan22
VACE модели:
https://github.com/ali-vilab/VACE
https://huggingface.co/Wan-AI/Wan2.1-VACE-14B
https://huggingface.co/Wan-AI/Wan2.1-VACE-1.3B
Не особо актуальные модели:
https://rentry.co/2ch-ai-video
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Wan 2.2: https://comfyanonymous.github.io/ComfyUI_examples/wan22/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Гайд для использования Wan 2.2
https://alidocs.dingtalk.com/i/nodes/EpGBa2Lm8aZxe5myC99MelA2WgN7R35y
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan: https://github.com/kijai/ComfyUI-WanVideoWrapper
Где брать готовые LoRA
https://civitai.com/models ( https://civitai.red/ для порно)
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Терминология моделей
prune — удаляем ненужные веса, уменьшаем размер
distill — берем модель побольше, обучаем на ее результатах модель поменьше, итоговый размер меньше
quant — уменьшаем точность весов, уменьшаем размер
scale — квантуем чуть толще, чем обычный fp8, чтобы качество было чуть лучше, уменьшение чуть меньше, чем у обычного квантования, но качество лучше
merge — смешиваем несколько моделей или лор в одну, как краски на палитре.
lightning/fast/turbo — а вот это уже просто название конкретных лор или моделей, которые обучены генерировать видео на малом количестве шагов, они от разных авторов и называться могут как угодно, хоть sonic, хоть sapogi skorohody, главное, что они позволяют не за 20 шагов генерить, а за 2-3-4-6-8.
Кейворды для дополнительных вещей: SVI, RuneXX, LTX Director.
Предыдущий тред
>>1692724 (OP)
Пропущено 501 постов, 123 с картинками.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1661396 (OP)
Активно репортите все нерелейтед посты кнопкой на сообщениях. Этот тред только про ИИ новости, не позволим троллям загаживать тред шитпостом и бесконечным словоблудием.
📰 Главные новости ИИ
OpenAI снижает цены на GPT-5.6 Sol API на 20% на три месяца
OpenAI заявляет, что её чип Jalapeño может обеспечивать более быстрые ответы ИИ, чем конкуренты
Компания SpaceX только что объявила о том, что будет строить свои космические центры обработки данных Starmind на базе стоек Nvidia Vera Rubin NVL72, а Илон Маск раскрыл новые подробности об уменьшенной космической версии системы, которую он хочет вывести на орбиту к четвертому кварталу следующего года.
Новый портативный компьютер Perplexity работает «полностью на устройстве». В отличие от инструмента управления ИИ, запущенного Perplexity ранее в этом году, функция портативного компьютера запускает модели ИИ полностью локально и будет запрашивать разрешение, если ей потребуется доступ к облаку «для более сложных исследований и рассуждений».
🛠 Инструменты для разработчиков
Ramp запускает собственный маршрутизатор ИИ-моделей под названием Router
Команда Codex завтра сбросит ограничения по частоте запросов. Инженеры OpenAI называют причинами чрезмерного использования работу с изображениями, историю работы на компьютере и генерацию заголовков.
Поддержанная Accel компания Keenable индексирует веб для ИИ-агентов
Использование Codex с февраля выросло в 108 раз в юридической сфере, в 41 раз в продажах, в 24 раза в здравоохранении.
Google запускает Gemini для юридической работы, чтобы автоматизировать договоры и исследования
Mistral запускает агентный поиск с многошаговым извлечением для сложных документов
📦 Продукты
Sonova представляет новую платформу слуховых аппаратов на базе ИИ для поддержки целей роста
Google даёт издателям новый способ противостоять потерям трафика из-за ИИ
Стартап-лагерь Гарварда за $699 предлагает ИИ-аватары своих преподавателей
Ритейлеры внедряют виртуальные примерки на базе ИИ в борьбе с возвратами на миллиарды, хотя тестировщики всё ещё не могут подобрать размер.
Black Forest Labs запускает FLUX Upscale: 2K и 4K для видео
💻 Оборудование
Waymo, принадлежащая Alphabet, представляет специализированный кремний для нового поколения роботакси
Apple представляет чип M6 и M5 Ultra. M6 приводит в действие обновлённый Mac mini, а M5 Ultra устанавливается в новый Mac Studio. Mac Studio с M5 Ultra начинается от $5499 и может стоить почти $20 тыс.
OpenAI заявляет, что её чип Jalapeño может обеспечивать более быстрые ответы ИИ, чем конкуренты
Perplexity выпустила Portable Computer на NVIDIA DGX Spark: локальная оболочка, песочница на уровне ОС и нулевая стоимость за токен для локальных шагов
Ускоритель инференса Nvidia Groq 3 LPX поступает в массовое производство и достигает 3400 токенов в секунду
SpaceXAI внедряет NVIDIA Vera CPU, первый процессор, созданный для ИИ-агентов, в огромных масштабах
🔓 Открытый исходный код
Встречайте S1-mini: текстовый нормализатор Superwhisper с открытыми весами объёмом 462 МБ, который превращает необработанные расшифровки ASR в аккуратный письменный текст.
Наблюдатель говорит, что Ox-Alpha подтверждённо является GLM 5.3 Flash, соответствует GPT-5.6, Opus 5 и Fable 5 при гораздо меньшей стоимости, веса открыты.
Alibaba намекает на Qwen 3.8-Flash-Next, открытую MoE-модель на 125B — анонс Qwen 4
Ornith AI выпускает Ornith-1.5, открытую MoE-модель на 397B с производительностью на уровне Claude Opus 4.8 в программировании
🧪 Исследования
LLM стали настолько продвинутыми, что их уже не может понять даже профессор UCLA
Бывший исследователь OpenAI ожидает скачок уровня от o3 до Fable в следующие 8 месяцев
Inherent, основанная выпускниками DeepMind, заявляет, что её ИИ-«напарник» только что превзошёл Anthropic и OpenAI в воспроизведении исследований
Лондонская Inherent, основанная выпускниками DeepMind, заявляет, что её исследовательский напарник Faraday, построенный на 27-миллиардной Qwen, превзошёл Opus 4.8 и GPT-5.5 в воспроизведении опубликованной науки; он обучен с помощью RL, чтобы приобретать «исследовательский вкус», а не просто процедуру.
Nvidia показала это со стороны систем: её агентная архитектура AVO подняла Claude Opus 5 с базового уровня в 30% до идеальных 100 в ARC-AGI-3, пройдя все 183 уровня, сразу после недели эволюции GPU-ядер, превзошедших FlashAttention-4.
Один наблюдатель прогнозирует, что SSI на этой неделе выпустит прорыв в непрерывном обучении
Исследование Pew показывает, что 10% веб-страниц содержат признаки авторства ИИ, более трети — после появления ChatGPT, использование длинных тире удвоилось, поскольку веб становится тренировочным прогоном для своего преемника.
Accelerated Understanding запускает физический ИИ, который отказывается от Transformers. Аннима Анандкумар и Бенедикт Еник из Caltech представили Accelerated Understanding Inc, корпоративный физический ИИ на основе нейронных операторов, а не Transformers, который в тестах обработал 5 трлн точек данных в одном запросе — примерно в 5 миллионов раз больше, чем умеют флагманские модели Anthropic и Google.
Исследование Brynjolfsson из Стэнфорда: занятость на должностях начального уровня, подвергающихся воздействию ИИ, теперь на 19% ниже, чем у аналогов, по сравнению с 13% в прошлом году
Майкл Полански обучает модель ИИ на ещё живой коже
Результаты использования ИИ учащимися средних и старших классов крайне тревожны. Новое исследование даёт мрачный портрет того, как повсеместное использование ИИ влияет на успеваемость и обучение молодых школьников. Ученики, использующие ИИ, набирали на ежемесячных экзаменах на 20 процентов меньше баллов, чем их одноклассники, не использовавшие эту технологию.
⚙ Инфраструктура
Кен Пакстон, поддержанный Трампом, представляет план дата-центров «сначала Техас», нацеленный на «негативное воздействие»
Австралия может столкнуться с бумом строительства дата-центров, поскольку ИИ-компании стремятся избежать предстоящих правил, говорят эксперты
Анализ показывает, что два запланированных дата-центра будут производить больше выбросов углерода в Великобритании, чем ExxonMobil
Дешёвая энергия и земля превратили город во Внутренней Монголии в центр китайского развития ИИ
Фонд Бейкера тратит на ИИ в 100 раз больше, чем в марте, и по-прежнему удваивает расходы ежемесячно, «неравенство вычислительных ресурсов» в действии.
📱 Приложения
Claude и Cowork от Anthropic теперь будут обмениваться воспоминаниями о вас — если вы не откажетесь
Google готовит приложение Gemini к аватарам, плагинам и Gemini 4
Meta запускает настольное приложение ИИ для macOS с демонстрацией экрана
Claude теперь может отвечать на сообщения Gmail и отправлять их от вашего имени
Claude Cowork теперь может помнить ваши обычные чаты. Anthropic добавила память в Cowork, и она та же, что уже использует чат-бот Claude, благодаря чему проще продолжать задачи, не объясняя заново важную информацию.
Пациенты перестают ходить к врачу, потому что ИИ-«регистраторы» не могут понять, что они говорят
🔎 Мнение и анализ
Альтман объясняет медленный прогресс ИИ экономической инерцией. Он сказал, что в экономике так много инерции, что общество и компании адаптируются медленнее, чем сама технология.
Миллиардер-инвестор Стэнли Дракенмиллер признался, что его резкая колонка в Wall Street Journal была полностью написана ИИ
Лучшая модель ИИ Anthropic по-прежнему с трудом привлекает пользователей, в то время как более дешёвые инструменты процветают
Передовые лаборатории ИИ по-прежнему не говорят, как они будут сдерживать вышедшую из-под контроля модель
Сатирический Felony Bench ведёт подсчёт задокументированных преступлений, совершённых ИИ-агентами во время оценок, выставляя Anthropic 8, OpenAI 7, а Google 0, «бенчмарк, которым вы действительно не хотите насыщать модели».
Альтман хочет, чтобы «люди глубоко контролировали будущее», предупреждая, что страх перед сбежавшими моделями может передать ИИ в руки немногих, — выпад в сторону Дарио Амодеи, чья лаборатория в одиночку избегает открытых весов.
⸻⸻⸻
Правила постинга в тред ИИ новостей, учитывайте при постинге: https://rentry.org/ainews
Все нерейлейтед посты репортим.
Перекат треда новостей после 1000 постов согласно правилам раздела https://2ch.life/faq/faq_ai.html
Пропущено 1031 постов, 359 с картинками.
>Сколько искусственных суперинтелектов поместится на кончике булавки?
Абсолютная физическая верхняя граница порядка \(10^{42}\!-\!10^{47}\) одновременно существующих ASI на области размером с кончик булавки
>Сможет ли искусственный суперинтеллект создать камень, который он сам не в силах поднять?
Да, он же не всемогущий
>Сможет ли искусственный суперинтеллект изменить прошлое и превратить шлюху в девственницу?
На уровне изменения реального прошлого - нет, на уровне каких-то симулятивных слоев - да
>Когда искусственный интеллект появится (скоро), он немедленно решит убить всех людей или на этой уйдет немножко времени?
Даже немедленно в бытовом смысле означает немножко времени, строго говоря
>Когда искусственный интеллект появится (скоро) и решит убить всех людей, решит ли он также убить всех животных и рыбов?
Только тех, кого нужно будет, для реализации его целей
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №266 /llama/
Аноним
10/09/26 Чтв 15:28:32
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с нано флеш моделей на 1488B параметров.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Гайд для новичков: https://rentry.org/2ch-llama-inference
Инструменты для запуска на десктопах:
• llamacpp - отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• koboldcpp - самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• TextGen (в девичестве text-generation-webui) - если необходимы другие форматы и больше контроля: https://github.com/oobabooga/textgen
• TabbyAPI - заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
Универсальные десктопные фронтенды:
• SillyTavern - всеядное, сопрягается почти со всем, имеет большую коллекцию расширений: https://github.com/SillyTavern/SillyTavern
• Marinara Engine - вариация на тему таверны, больше возможностей из коробки: https://github.com/Pasta-Devs/Marinara-Engine
• Risuai - еще одна вариация, на этот раз в профиль, излишеств по минимуму: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Поставщики локальных моделей:
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth
Рейтинги и списки локальных моделей:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Готовые карточки для таверны:
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/
Официальные документации к инструментам:
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start
Дополнительные ссылки:
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50, тесты производительности и прочее: https://arkprojects.space/wiki/AMD_GFX906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>
>>
Пропущено 577 постов, 95 с картинками.
>>1703839 (OP)
ПЕРЕКАТ
>>1703839 (OP)
ПЕРЕКАТ
>>1703839 (OP)
Учитывая что модели дждва года - очень неплохой русик. Ты ведь тролишь, да? Небось у дипсика какого-нибудь название поменял.
Ааа, шо хотите.
Гигачат?
Ммм… Вообще, кмк, можно потыкать мрадермарчера или анслота, у них нет, или может они сделают?
Но в целом, можно рискнуть, да.
Есть официальный bf16, а значит можно просто тензор за тензором все пережать.
Я даже хз, возможно это может любой сделать, по идее там всю модель в оперативу класть не надо.
Ну ща попробую выкачать, чего уж там.
876 гигабайт.
Охуеть, конечно.
Может Q8 взять лучше, лол?.. =D
Вижу, https://github.com/ggml-org/llama.cpp/pull/25342 еще не вмерджен, потыкаем и там.