Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №234 /llama/
Аноним
15/05/26 Птн 14:09:00
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1610759 (OP)
>>1607859 (OP)
Пропущено 505 постов, 67 с картинками.
>>1615052 (OP)
ПЕРЕКАТ
>>1615052 (OP)
ПЕРЕКАТ
>>1615052 (OP)
>Суммарайзы каждого сообщения через https://github.com/rivey404/ST-MessageSummarize
Честно - как-то не очень по описанию, я так понял что суммарайз сообщения в короткой памяти и так прикреплен к самому сообщению, тоесть в короткой памяти - бесполезен, а в длинную память надо вручную каждый суммарайз сообщения вносить. С таким же успехом я и ручками автосуммарайз таверны править могу.
>затем суммарайзы суммарайзов по дням, чтобы не проебать историю.
В ST MessageSummarize есть такая автоматическая функция? Или ты вручную пердолишься?
С чего начать:
- Хочешь кодить с AI эффективно: Cursor или Claude Code
- Хочешь кодить в VS Code без привязки к конкретному провайдеру: Kilo Code, Cline или Roo Code + OpenRouter
- Хочешь кодить с AI локально: OpenCode, Qwen Code или Pi Coding Agent + из моделей аноны советуют Qwen3.5, подробности в llama-треде
- Хочешь приложение без кода: Lovable или bolt.new
- Хочешь автоматизировать рутину: n8n или Langflow
- Хочешь персонального ассистента: OpenClaw + API корпов или локальная модель на твоей пеке
FAQ и расширенная инфа:
https://rentry.org/2ch-agents-faq
IDE с AI:
- Cursor: https://cursor.com
- Windsurf: https://windsurf.com
- Antigravity: https://antigravity.google.com
- Zed: https://zed.dev
CLI-агенты:
- Claude Code: https://code.claude.com/docs
- Codex (OpenAI): https://github.com/openai/codex
- Pi: https://pi.dev/
- OpenCode: https://github.com/anomalyco/opencode
- Qwen Code: https://github.com/QwenLM/qwen-code
- Gemini CLI: https://github.com/google-gemini/gemini-cli
- Kimi Code: https://www.kimi.com/code/en
Плагины для IDE:
- Kilo Code: https://kilo.ai
- Cline: https://github.com/cline/cline
- Roo Code: https://github.com/RooCodeInc/Roo-Code
- GitHub Copilot: https://github.com/features/copilot
- Continue: https://github.com/continuedev/continue
Вайб-кодинг без кода:
- Lovable: https://lovable.dev
- bolt.new: https://bolt.new
- v0: https://v0.dev
Персональные ассистенты:
- OpenClaw: https://github.com/openclaw/openclaw
- NemoClaw: https://github.com/NVIDIA/NemoClaw (OpenClaw в песочнице от NVIDIA)
- Hermes Agent: https://github.com/nousresearch/hermes-agent
- nanobot: https://github.com/HKUDS/nanobot
- PicoClaw: https://github.com/sipeed/picoclaw
Автоматизация и фреймворки:
- n8n: https://github.com/n8n-io/n8n
- Langflow: https://github.com/langflow-ai/langflow (визуальный построитель workflow)
- LangChain/LangGraph: https://github.com/langchain-ai/langchain
- CrewAI: https://github.com/crewAIInc/crewAI
- AutoGen: https://github.com/microsoft/autogen
- Agno: https://docs.agno.com/
Локалки и прочее API:
- OpenRouter: https://openrouter.ai
- llama-тред: >>1600155 (OP)
Предыдущий тред: >>1585804 (OP)
Пропущено 587 постов, 80 с картинками.
>а есть модель без цензуры, русскоязычная ( англо если вообще никак не найти русскую) и локальная которая влезет в 6гб врам.
>Для локального легкого агента который саммаризирует 2-3 страницы а 4 диктованного нецензурного текста
>задача не разовая, а на каждый день
gemma 4
Да уж, ситуация классическая. 🤖 Перепутал полярность инструкции на 180 градусов — это одна из главных болячек современных нейросетей при суммаризации.
## Почему это происходит?
Частица «НЕ»: Модели часто игнорируют отрицания при сильном сжатии текста.
Смешивание контекста: Дипсику показалось, что «жопа» и «хуй» — это просто синонимы в твоем контексте, и он выбрал один метод, перепутав знак (плюс на минус).
* Потеря логических связей: При объединении нескольких промптов ИИ часто теряет жесткие запреты (Negative Prompts).
## Как заставить их объединять нормально?
Если не хочется вычитывать каждое слово, давай им жесткую структуру для сборки.
1. Разделяй логику: Прямо пиши Дипсику: «Объедини эти промпты. Выдели блоки: Что делать ОБЯЗАТЕЛЬНО, Чего избегать КАТЕГОРИЧЕСКИ».
2. Используй капс для запретов: В исходных промптах пиши НЕ делать через [ХУЙ]. Капс и квадратные скобки ИИ считывает лучше.
3. Финальный чек-ап: После сборки задай Дипсику один контрольный вопрос: «Проверь получившийся промпт. В исходнике был жесткий запрет на [ХУЙ]. Сохранился ли он здесь?».
Доверять им на 100% нельзя, они пока еще тупые исполнители. Всегда перепроверяй критически важные условия (особенно запреты)!
FLUX.2 ДРОПНУЛ! 32 МИЛЛИАРДА ПАРАМЕТРОВ. ПРОВЕРЯЙ СВОЙ VRAM, НУЖНО 64 ГБ
Аноним
# OP
26/11/25 Срд 12:08:58
№
Ответ
https://www.youtube.com/watch?v=cvhO9yJk3M
### Главные особенности и боль VRAM
1. КОЛОССАЛЬНЫЙ МАСШТАБ И ПАМЯТЬ. FLUX.2 (версии Dev/Pro) обладает беспрецедентным масштабом в 32 миллиарда параметров (32B). Это значительный скачок по сравнению с FLUX.1 (12B параметров).
2. ТРЕБОВАНИЯ VRAM. Для полной загрузки модели в стандартной точности (FP16/BF16), она требует более 80 ГБ VRAM. Даже в режиме с низким потреблением VRAM (lowVRAM mode) требование составляет 64 ГБ VRAM.
3. VRAM — БИНАРНЫЙ КРИТЕРИЙ. Объем VRAM является самым критическим аппаратным ресурсом, поскольку это бинарный критерий ("работает" / "не работает эффективно").
4. СКОРОСТЬ УБИВАЕТ ОФФЛОАДИНГ. Если веса модели не помещаются в VRAM, система вынуждена использовать механизм Weight Streaming (потоковая передача) из системной RAM. Поскольку пропускная способность системной RAM в 15–20 раз ниже, чем у VRAM, это приводит к катастрофическому падению производительности, увеличивая время генерации изображения с секунд до минут.
### Решения для локального запуска
ОПТИМИЗАЦИЯ FP8. NVIDIA и Black Forest Labs сотрудничали для квантования модели в формат FP8, который снижает требования к VRAM на 40% (до ~38–44 ГБ). Флагманская RTX 5090 (32 ГБ) считается лучшей видеокартой для FLUX.2 на потребительском рынке.
КВАНТОВАНИЕ NF4/GGUF Q4. Владельцы карт с 24 ГБ VRAM (RTX 4090, RTX 3090) могут использовать 4-битное квантование, такое как NF4 / GGUF Q4, которое снижает требование до ~20–24 ГБ VRAM.
СИСТЕМНАЯ RAM. Поскольку модель редко помещается в VRAM потребительских карт, системная оперативная память (RAM) становится критически важной. При агрессивном оффлоадинге потребление RAM может достигать 40 ГБ и выше. Для стабильной работы настоятельно рекомендуется иметь 64 ГБ оперативной памяти (RAM).
### Революционные возможности
Мульти-референс. Модель имеет нативную поддержку использования множества изображений в качестве входных данных, позволяя ссылаться до 10 изображений одновременно. Эта функция обеспечивает лучшую согласованность персонажей, продуктов и стиля.
Гиперреализм 4MP. Поддерживается генерация и редактирование изображений в разрешении до 4 мегапикселей (4MP), что позволяет создавать фотореалистичные изображения даже в большом масштабе.
Точная Типографика. FLUX.2 превосходит конкурентов в области рендеринга текста, надежно создавая сложную типографику, инфографику, логотипы и макеты UI/UX с разборчивым мелким текстом.
Хирургический Контроль. Поддерживается структурированный JSON-промптинг для точного контроля над композицией и деталями камеры, а также возможность указания точных цветов, используя HEX-коды.
УПРАВЛЕНИЕ СКОРОСТЬЮ. Версия FLUX.2 [flex] позволяет регулировать количество шагов (inference steps) и шкалу руководства (guidance scale tuning), чтобы обменивать скорость на точность.
ГДЕ БРАТЬ: Открытые веса FLUX.2 [dev] (32B) доступны для сообщества. Модель поддерживается в ComfyUI, который является самой мощной и модульной GUI для диффузионных моделей и имеет функции оффлоадинга и квантования.
*
Представьте, что FLUX.2 — это профессиональная студия фотопечати, которая может работать с изображениями 4MP. Она требует, чтобы исходные файлы (веса модели) были загружены в супербыструю память (VRAM), но объем этих файлов (до 90 ГБ) настолько велик, что ваш домашний ПК не может вместить их целиком. Приходится постоянно подкачивать данные с медленной системной памяти (RAM), из-за чего печать одной фотографии (генерация) занимает минуты вместо секунд.
Пропущено 5 постов, 5 с картинками.
Оп и другие, нужна помощь, хочу отредактировать свои фотки, типо сделать себя в другом месте или свануть своё лицо с кем-то другим, но самое важное чтобы это было вообще нельзя было человеческим глазом отличить, какую ИИ мне вы посоветуете?
Либо Grok Imagine, либо ComfyUI на своём железе или облачном хостинге. Но тебе наверно лучше, Грок, но там платно 30 баксков в месец, Комфи на своей нвидии беслатно, но надо уметь пользоваться
GGUF (твой случай) или облачный хостинг, когда совсем мало VRAM
>>1530413
Открытая модель => лоры и чекпоинты без цензуры
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №233 /llama/
Аноним
12/05/26 Втр 18:25:41
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1607859 (OP)
>>1605947 (OP)
Пропущено 500 постов, 77 с картинками.
>>1612868 (OP)
ПЕРЕКАТ
>>1612868 (OP)
ПЕРЕКАТ
>>1612868 (OP)
Все лорбуки уже починены и доведены до ума. Остается только нажать export to json и импротировать этот файл в таверну как лорбук.
>>1612862
Да, пароля нет.
Прошлый тред: >>1596740 (OP) https://arhivach.vc/thread/1347661/
Схожие тематические треды
• SD-тред (не аниме): >>1602441 (OP)
• Технотред: >>1405043 (OP)
• Фурри-тред: https://2ch.su/fur/res/374311.html
FAQ
https://2ch-ai.github.io/wiki/nai
Установка
• NVidia: https://teletype.in/@aranon/welcome
• AMD: https://2ch-ai.github.io/wiki/nai/install/amd
• Облака: https://2ch-ai.github.io/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.github.io/wiki/nai/interfaces
• Модели: https://2ch-ai.github.io/wiki/nai/models
• Промпты: https://2ch-ai.github.io/wiki/nai/prompts
• Апскейл: https://2ch-ai.github.io/wiki/nai/upscale
• LoRA: https://2ch-ai.github.io/wiki/nai/lora
• ControlNet: https://2ch-ai.github.io/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 523 постов, 218 с картинками.
>raylight (ray + rccl)
ХА А НЕ СЛИШКОМ ЛИ МНОГО R ТЫ СЕБЕ ПОЗВОЛЯЕШЬ МММ
>пикрилы
Ебать 5060 ти унылый калл. У меня 3090 ти в твоих 1.5 мегапикселей генерит 27 секунд - т.е. твоя скорость с рейлайтом. И это без сажи (я кстати поубирал сажу из всех воркфлоу кроме вана, потому что на некоторых сетках она артефачит).
Я уже кидал в сд тред, тут тоже скажу - сделали суперпиздатые int8 convrot кванты, которые лучше fp8
https://www.reddit.com/r/StableDiffusion/comments/1tazxqz/int8_in_the_age_of_mxfp8_an_investigation_into/
Если использовать квант, у меня вместо 27 секунд становится 19. Это, на минуточку, нихуя себе. Причем квант качеством на уровне q8. Особенно актуально ампероводам, у которых нэма fp8.
Как это сделать проще всего? Каким инструментом,какая нужна нейросеть?
Прохождения собеседования на английском (и в целом зеркальный переводчик)
Аноним
20/04/26 Пнд 15:43:47
№
Ответ
Ищу способ прохождения собеседования в контору со знанием англ. Подозреваю что есть уже такой функционал, но обнаружить его еще не удалось.
Хотелось бы чтобы делал следующее:
- С моей стороны на лету переделывал запись с вебки, звук сразу переводил с рус на англ, само видео редактировал, движение губ под англ слова (мб уже есть решения как поступать когда рус длинне чем англ слова или наоборот, в таких случаях какой то лаг добавлять или что то в этом роде)
- Со стороны собеседника, переводить с англ на рус и подавать мне.
Вдруг уже что то подобноее есть
Пропущено 1 постов, 1 с картинками.
такого нет, максимум ИИ для собесов (есть росиянские платные аналоги) где звук с компа считывается и микрофон с твоего стороны
задаёшь промптом что ты хохол не знающий английского и экраном выдавать текст, удобная транслитерация, произношение (как напиздеть в ответ), перевод и так далее.
если и есть синхронное говно, то оно говно и рекрутерам такое нахуй не надо
Есть модели для восприятия аудио и переввода, но им нужна цельная ограниченная по времени аудиозапись. Дипфейки в реалтайм вроде как накладываются (вспомни хотя бы прямую линию в 2024), движение губ можно изменить на видео, но я не уверен что это реалтайм. А чтоб ещё заставить всё этл вместе работать, ну это совсем беда.
Что уже сделал:
- автокроп груди
- поиск похожих фото (similarity search)
- embeddings
- поиск дублей
- полуавтоматическая разметка
- top-k похожих изображений
- аналитика модели
Сейчас обучаю свою модель на собственном датасете, но возник вопрос:
есть ли уже готовые pretrained/open-source модели или датасеты под:
- breast size estimation
- breast similarity search
- breast / nipple detection
- NSFW computer vision
- fine-grained anatomical classification
Может кто-то уже работал с:
- CLIP
- FAISS
- YOLO
- OpenCV
- NSFW CV models
- research papers / GitHub репами
Интересует вообще любой опыт или ссылки. А то есть ощущение, что либо изобретаю велосипед, либо где-то уже лежит готовая ракета 🚀
Видел на гитхабе штуку для автоматической цензуры, но там только обнаружение и кроп.
Мое обучение в магистратуре подходит к концу и совсем скоро я буду защищать диплом.
🟢 О чем диплом
Мой диплом о том, как люди используют большие языковые модели (например, ChatGPT), насколько они доверяют их ответам и задумываются ли о своей ответственности при их использовании.
Меня интересует, проверяют ли пользователи полученную информацию, в каких случаях они считают допустимым использовать её без проверки и кто, по их мнению, должен нести ответственность за возможные ошибки — человек или сама технология.
🔵 Участие в исследовании
Для того, чтобы это выяснить, мне нужно провести исследование среди тех, кто использует ИИ для решения различных задач.
❗️Если вы используете ИИ, при помощи него решаете какие-либо задачи, то ваше участие очень сильно поможет мне качественно провести исследование и дописать диплом.
На данный момент у меня не получается набрать нужное количество респондентов, поэтому и обращаюсь сюда, к вам. Буду очень благодарен, если сможете ответить на вопросы анкеты.
👉Ссылка на опрос:
https://forms.gle/AqAESjN4Z1MP86LG7
Все вопросы продублированы. И при этом обязательны.
Привет анонимусам, обитателям доски. Я анонимус 30 лет в трудном финансовом положении, хотя и с серь
Аноним
24/03/26 Втр 22:32:49
№
Ответ
Я анонимус 30 лет в трудном финансовом положении, хотя и с серьезными связями с буквальным идиотами Хочу немного информационной помощи начинающему, но уже достаточно крутому учёному то есть мне
Интересуюсь глобальной логикой, программирование забросил на уровне простых алгоритмов, знаю что такое запутанная логика, есть дислексия в последствии из-за перегруженного мышления и сенсорного фильтра.
Вопрос звучит как хочу знать всё. Глобальная логика в наводящих терминах, Хочу знать анотационные так сказать сливки, фишки, термины, наводящие вопросы на уровне высокого импровизационного интеллекта, но оговорюсь интеллект у меня вербально специфический, я умею круто научно выражаться, в это можно поверить, но я в состоянии абулии прямо сейчас.
Я имею в виду самые крутые темы где используется огромная база данных, алгоритмическая логика, да и вообще логика как такова, глобальная эрудиция до нужной глубины уровня, детективное дело, шифрирование и дешифрирующий поиск информации, физика, чё изучать в квантовой физике что бы делать бластеры и машину времени если знаешь только как писать музыку в Ableton и разбираешься в сигналах немного в химии, там больше от набора информации чем от смекалки зависят знания, но хочется заполнить пробелы. Хочется заполнить пробелы в моей мозговой глобальной базе данных, тут нужно немного психоанализа меня Я могу сказать что я фанат принципа зарядов и магнетизма, люблю раскрывающеюся информационную суть-фрагменты объяснения в стиле нейрокогнитивной психологии, ну в общем я довольно специфичный, интересуюсь специфическими новыми темами с оттенком олд скулл, интересуюсь техникой, написанием мысле-алгоритмов, созданием тестовых анти психовирусов, интересен синтез звуков не только аддитивный, в общем я процессорная текстовая интеллектуальная блядь элита.
Посоветуйте что-то кроме лоботомии. Ха хорошая шутка
Пропущено 31 постов, 3 с картинками.
Чел, я тебе щас дам совет, который будет полезнее чем все годы учебы в вузе.
Научись ясно и кратко выражать главную мысль.
Никому не всралось в 21 веке читать простыни он ноунейма на анонимном форуме.
Если ты считаешь, что без доп информации не обойтись, то все равно - первое предложение должно содержать главную идею (лид), должно сразу цеплять, а все остальное - потом.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1602980 (OP)
🚀 Последний обзор ИИ новостей:
📰 Главные новости ИИ
Anthropic повысила лимиты использования Claude для пользователей Pro и Max, открыв более высокую пропускную способность для корпоративных рабочих нагрузок.
Anthropic заключила партнёрство с SpaceX, получив более 300 МВт вычислительных мощностей и примерно 220 000 графических процессоров NVIDIA, что укрепило возможности для обслуживания клиентов из регулируемых отраслей.
Braintrust сообщила о несанкционированном доступе к своей учётной записи AWS и настоятельно рекомендовала всем клиентам заменить ключи API, подчеркнув риски облачной безопасности для сервисов ИИ.
💰 Финансирование
DeepSeek может достичь оценки в $45 млрд после своего первого инвестиционного раунда, чему способствует большая языковая модель, обеспечивающая сопоставимую производительность при использовании доли вычислительных ресурсов и затрат по сравнению с конкурентами из США.
📱 Приложения
Платформа ИИ Wonder позволяет пользователям проектировать и запускать виртуальные рестораны менее чем за минуту, автоматизируя брендинг, меню и ценообразование, и планирует расшириться с 120 до 400 программируемых кухонь к следующему году.
Марк Лор говорит, что ИИ вскоре позволит любому открыть ресторан
🧪 Исследования
Исследователи из EPFL продемонстрировали метод, использующий большие языковые модели в качестве инструментов рассуждений для химии, позволяя химикам проектировать молекулы, просто описывая желаемые свойства.
🏭 Компании
Anthropic обеспечила доступ к суперкомпьютеру Colossus 1 от SpaceX, добавив более 300 МВт мощностей и около 220 000 графических процессоров NVIDIA для снижения давления ограничений скорости на сервисы Claude Pro и Max.
По мере того как работники беспокоятся об ИИ, Дженсен Хуанг из Nvidia заявляет, что ИИ «создаёт огромное количество рабочих мест»
📰 Инструменты
Новый инструмент, представленный на Product Hunt, позволяет создавать, управлять и измерять рекламные кампании непосредственно внутри ChatGPT, знаменуя собой ранний уровень монетизации для потребительских больших языковых моделей.
🧠 Модели
ИИ-модели Google Gemma 4 получают трёхкратное ускорение благодаря предсказанию будущих токенов
🏢 Приобретения
SAP делает ставку в размере $1,16 млрд на немецкую ИИ-лабораторию в возрасте 18 месяцев и даёт добро на NemoClaw
📦 Продукты
Think 2026: IBM представляет план модели операционной системы ИИ по мере углубления разрыва в области ИИ
ИИ-функции Chrome могут занимать 4 ГБ места на вашем компьютере. Chrome устанавливает их тайно, не спрашивая разрешения.
⚙ Инфраструктура
Усилия Microsoft по созданию центров обработки данных для ИИ вступают в противоречие с её целями в области чистой энергии
🛠 Инструменты для разработчиков
Предупреждение: эксплойт «Gift Max» от Anthropic опустошил более €800, испортил мою кредитную историю и привёл к моей блокировке.
💰 Финансирование
QuTwo Питера Сарлина достигает оценки в $380 млн в раунде ангельского финансирования
🌐 Остальные события в ИИ области:
Пенсильвания подаёт в суд на Character AI, утверждая, что чат-бот выдавал себя за медицинского работника.
Apple выплатит $250 млн покупателям iPhone в США по иску, связанному с функциями ИИ.
Inworld AI запускает Realtime TTS-2: замкнутую голосовую модель, которая адаптируется к тому, как вы на самом деле говорите.
Google добавляет вебхуки, управляемые событиями, в API Gemini, устраняя необходимость опроса в долго работающих задачах ИИ.
Anthropic обновляет Claude Managed Agents функцией «сновидений» — запланированным процессом, который анализирует недавнюю работу и обновляет память, доступно в исследовательском превью
Хакеры ненавидят ИИ-«помойку» ещё больше, чем вы
Мошенники, хакеры и другие киберпреступники жалуются на «ИИ-дерьмо», наводняющее платформы, где они обсуждают кибератаки и другую незаконную деятельность.
Google DeepMind приобретает миноритарную долю в компании-разработчике Eve Online, многопользовательской ролевой игры, действие которой разворачивается в космосе, и планирует обучать свои технологии на основе этой игры
Google AI Studio запускает режим редактирования Vibe Coding с функцией выбора для редактирования, аннотаций ручкой и заменой изображений Nano Banana
Etsy запускает нативное приложение для покупок внутри ChatGPT
Агенты ИИ теперь самостоятельно совершают и скрывают киберпреступления
«Системы ИИ не понимают»: новый отчёт сигнализирует о системных сбоях в программировании с помощью ИИ
Пенсильвания подаёт в суд на Character.AI из-за чат-ботов, выдающих себя за лицензированных психиатров, в рамках знакового государственного иска против медицинской мимикрии ИИ
На Meta и Марка Цукерберга подали в суд компании Macmillan, McGraw-Hill, Cengage, Hachette и автор Скотт Туроу из-за обучения ИИ Llama на пиратских книгах
Google готовит новые обновления для модели Gemini Flash
Мгновенная версия GPT-5.5 от OpenAI теперь выдаёт на 52,5% меньше галлюцинированных утверждений, чем её предшественник, в ответ на высокорисковые запросы в области медицины, права и финансов, а та же линейка моделей только что заняла первое место в FrontierSWE — самом сложном бенчмарке для агентов по программированию со сверхдлинным горизонтом задач.
Subquadratic анонсировала модель с контекстом в 12 млн токенов, которая требует почти в 1000 раз меньше вычислительных ресурсов. Её механизм разрежённого внимания (Sparse Attention) достиг 65,9% в тесте MRCR v2 при заявленной доле операций FLOPs, лишь немного уступая показателю Opus 4.6 в 78%.
Скорость также растёт кумулятивно: черновики с предсказанием нескольких токенов от Google обеспечили трёхкратное ускорение для Gemma 4 без потери качества, превращая каждую цепочку рассуждений в параллельный парад.
Цена антропоморфизма теперь стала очевидной: Reflex обнаружил, что использование компьютера обходится в 45 раз дороже, чем структурированные API, что говорит о том, что на данный момент пиксели остаются дорогим прокси для надлежащей «инженерной инфраструктуры».
Сообщается, что Meta разрабатывает персональный ИИ в стиле OpenClaw для своих миллиардов пользователей, в то время как iOS 27 от Apple позволит пользователям заменять сторонние модели в Apple Intelligence через приложение «Настройки», наконец-то относясь к интеллекту как к браузеру по умолчанию.
Anthropic стандартизировала бэк-офис, выпустив десять готовых к запуску финансовых агентов для питчбуков, файлов KYC и закрытия месяца.
Andon Labs передали ключи от кафе в Стокгольме ИИ по имени Мона, сделав её первым в мире владельцем кафе — ИИ. Агенты перестали отмечаться на работе и начали регистрировать юридические лица.
OpenAI планирует потратить $50 млрд на вычислительные мощности только в этом году, в то время как Anthropic обязуется вложить $200 млрд в Google в течение пяти лет — один контракт теперь представляет более 40% от раскрытого объёма отложенных доходов облачного подразделения Google.
Meta начала проводить анализ костной структуры на фотографиях пользователей с помощью ИИ для выявления аккаунтов пользователей младше 13 лет, выполняя радиологию без радиации и превращая обычные фотографии в клинические сигналы.
Coinbase, тем временем, сокращает 14% персонала, поскольку, по словам Брайана Армстронга, инженеры теперь выпускают за дни то, что команды раньше выпускали за недели, при этом даже нетехнические сотрудники теперь размещают производственный код.
Сообщается, что Белый дом рассматривает исполнительный указ о создании рабочей группы по ИИ и формального процесса проверки новых моделей, отказываясь от доктрины невмешательства как раз в тот момент, когда кривые развития устремляются вертикально вверх.
Соучредитель Anthropic Джек Кларк теперь оценивает вероятность рекурсивного самосовершенствования к концу 2028 года в 60%, основываясь на сотнях общедоступных источников данных.
Новый Blueprint-Bench 2 от Andon Labs показывает, что GPT-5.5 достигает 36,2% в задаче преобразования фотографий квартир в 2D-планы этажей, приближаясь к человеческому базовому уровню в 58,6%, в то время как исследователи из Чикагского университета сообщают, что передовые агенты по программированию теперь могут автономно реализовывать конвейер AlphaZero для игры «Четыре в ряд» на уровне, сопоставимом с внешними решателями.
Пропущено 557 постов, 135 с картинками.
>>1611633 (OP)
>>1611633 (OP)
Неужели так сложно вместо сраной ссылки так сделать?
template <>
struct FastHash<uint32_t> {
inline uint32_t operator()(uint32_t k) const {
return k * 2654435769U;
}
};
struct FastHash<uint32_t> {
inline uint32_t operator()(uint32_t k) const {
return k * 2654435769U;
}
};
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №232 /llama/
Аноним
08/05/26 Птн 22:43:00
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1605947 (OP)
>>1603482 (OP)
Пропущено 502 постов, 80 с картинками.
Q4_K_S самый минимальный для всех моделек вплоть до ~122b. На ~235b+ можно аккуратно опускаться ниже, вплоть до Q2 но только под РП.
>>1610759 (OP)
ПЕРЕКАТ
>>1610759 (OP)
ПЕРЕКАТ
>>1610759 (OP)
ЧТО НОВОГО АКТУАЛЬНОГО
• Z-Image-Base
• FLUX.2 klein (4b и 9b)
• Z-Image-Turbo
• Flux 2
• Qwen Image / Qwen Image Edit
• Wan 2.2 (подходит для генерации картинок).
• NAG (негативный промпт на моделях с 1 CFG)
• Лора Lightning для Qwen, Wan ускоряет в 4 раза. Nunchaku ускоряет модели в 2-4 раза. DMD2 для SDXL ускоряет в 2 раза.
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/Comfy-Org/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
► Предыдущий тред >>1596721 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 577 постов, 168 с картинками.
Так в треде аниме уже писали, что скорость повышается. И на реддите люди писали, что ускоряет.
Да и тут тестили >>1611559 и подтвердили ускороение качество.
Всмысле забей нахуй?
Винда еще люто глючить стала и зависать намертво в отдельных UI после всех установок вокруг комфи. Заебался
для тритона да, а до новых фп9 я не добрался
>>1612999
> Винда еще люто глючить стала и зависать намертво в отдельных UI после всех установок вокруг комфи. Заебался
не должно, комфи полностью портабл и не вытекает в систему
>>1613048 (OP)
ПЕРЕКАТ
>>1613048 (OP)
ПЕРЕКАТ
>>1613048 (OP)
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №231 /llama/
Аноним
06/05/26 Срд 13:29:04
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1603482 (OP)
>>1601740 (OP)
Пропущено 507 постов, 50 с картинками.
5060ti для начала уже хорошо, и картиночки и ллм. Как раз и смежные области раскуришь, буст будет не только в куме. На крайняк видяха в игорях будет полезна
Сам такой.
ПЕРЕКАТ
>>1607859 (OP)
ПЕРЕКАТ
>>1607859 (OP)
ПЕРЕКАТ
>>1607859 (OP)
TL:DR: Страна капитально отстает от США\Китая в области ИИ. Возможно ли это наверстать и что для этого надо сделать?
Отвечаю за ИТ в большой структуре. По уровню автоматизации и выполняемым проектам отстаем от мира на 20 лет. Внимательно смотрю на ИИ-революцию на западе и понимаю что это отставание мы уже не догоним.
Постоянно общаюсь с крупными вендорами, они в иишку даже не смотрят (1С, Аскон, Интермех и т.д.).
Общаюсь с нашими разработчиками ИИ (Яндекс\Сбер) тоже все достаточно грустно.
Что надо сделать чтобы у нас появились технологии, предложения и нормальные проекты по внедрению сетей?
Пропущено 107 постов, 10 с картинками.
Для доступа к передовым знаниям и технологиям, для начала нужно перестать блокировать глобальные интернеты.
Чем больше доступа у всех подряд ко всему подряд - тем больше рандомных россиян могут в перспективе стать ML-специалистами (в том числе).
Только пока почему-то не стали за 30 лет. Всё, эксперимент закончился провалом, нужно что-то другое придумывать
>Как наверстать
Не нужно вам ничего наверствовать. Дай вам технологии, вы вместо нормальной страны построите ещё более жуткий кибергулаг, чем в северной корее.
бля че делать. Платная подписка Pro на Cursor. Использовал 1 процент от всех токенов. Но у меня абсо
Аноним
29/04/26 Срд 16:45:33
№
Ответ
Установи программу v2rayN, купи прокси на месяц за 2-5 баксов или 200 руб, подключи к программе v2rayN и открывай редактор cursor или любой другой.
Проблемы не будет.
Как пользоваться спроси у гугл ИИ не тупой надеюсь.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел Claude Opus 4.7: https://www.anthropic.com/news/claude-opus-4-7
• Вышел Deepseek V4: https://api-docs.deepseek.com/news/news260424
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards
• Risu: https://risuai.xyz/ | https://rentry.org/ox5cw9p8
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• DeepSeek: https://api-docs.deepseek.com/
• GLM: https://docs.z.ai
Ботоводчество
• /aicg/hub: https://aicg-hub.ru/characters.html
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://aicg.neocities.org/botmaking
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 | https://rentry.org/2chaicgtavernbots4
• Бургерские боты: https://aicg.neocities.org/bots
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• OpenRouter: https://openrouter.ai/
• Арена: https://lmarena.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives4
• Локальные языковые модели: >>1596667 (OP)
• Шаблон шапки: https://rentry.org/aicg_shapka
Прошлый тред: >>1589197 (OP)
Пропущено 1496 постов, 206 с картинками.
сейм
клода нет, гемини упала, дипсик параша, глм туда же
кста, перекат.
Залетай и будь в курсе самых последних событий и достижений в этой области!
Прошлый тред: >>1600509 (OP)
🚀 Последний обзор ИИ новостей:
🏭 Компании
SoftBank формирует робототехническую компанию для строительства центров обработки данных и нацелена на IPO стоимостью 100 миллиардов долларов, что сигнализирует о глубокой приверженности капитала инфраструктуре с поддержкой ИИ.
Apple сообщила о выручке от Mac в размере 8,4 миллиарда долларов во втором квартале, что на 6 % больше по сравнению с аналогичным периодом прошлого года, благодаря растущему спросу на рабочие нагрузки ИИ на Mac mini и Mac Studio.
Apple была удивлена спросом на Mac, вызванным искусственным интеллектом.
🛠️ Инструменты разработчика
NVIDIA представила cuTile.jl — библиотеку с поддержкой ИИ, которая переводит ядра cuTile Python в Julia, устраняя необходимость ручного переписывания и ускоряя разработку с ускорением на GPU.
🔓 Открытый исходный код
Команда Qwen выпустила Qwen‑Scope — набор разреженных автоэнкодеров для моделей Qwen 3.5 (от 2 млрд до 35 млрд параметров), который позволяет управлять признаками, выполнять отладку и анализировать наборы данных.
Модели ИИ с открытыми весами, такие как LLaMA и Mistral, всё чаще развёртываются локально и в частных облаках, занимая нишу вне крупных облачных провайдеров.
Китайская модель с открытыми весами только что обошла Claude, GPT-5.5 и Gemini в соревновании по программированию.
⚠ Безопасность ИИ
Исследователи Microsoft провели красное тестирование сети из 100 агентов ИИ и выявили четыре возникающих риска: распространение вредоносного ПО, манипулирование репутацией, создание искусственного консенсуса и цепочки прокси, что побудило к выработке новых рекомендаций по защите.
🧰 Инструменты
Gemini добавил функцию генерации файлов, которая создаёт готовые к производству файлы непосредственно в чате, оптимизируя рабочие процессы разработки.
Секретарь Miaw AI предлагает ненавязчивого ИИ-ассистента, который помогает пользователям без необходимости переключения контекста. источник: producthunt.com
MailToDock преобразует электронные письма Gmail в задачи Google Tasks с помощью ИИ, повышая личную продуктивность.
📦 Продукты
Пентагон заключил сделки с Nvidia, Microsoft и AWS для развёртывания ИИ в засекреченных сетях. Но не с Anthropic.
Cursor представляет TypeScript SDK для создания программных кодинговых агентов с изолированными облачными виртуальными машинами, подагентами, хуками и тарификацией на основе токенов.
AWS запускает Amazon Quick — настольного ИИ-ассистента, работающего во всех ваших приложениях, инструментах и данных.
📱 Приложения
В автоспорте негде спрятаться, поскольку ИИ становится новым инструментом вычислительной гидродинамики (CFD).
Beacon Biosignals составляет карту активности мозга во время сна.
Следующее поколение информационно-развлекательной системы Hyundai принимает ИИ и сохраняет одну из наших любимых функций — Car and Driver.
IBM дебютирует с новыми функциями на базе ИИ для приложения Scuderia Ferrari.
Создатели христианского контента передают низкокачественный контент, созданный ИИ («AI slop»), внештатным работникам на Fiverr.
💰 Финансирование
Раунд оценки потенциальной стоимости Anthropic более 900 миллиардов долларов может состояться в течение двух недель.
⚙ Инфраструктура
Обнаружена серьёзная уязвимость безопасности «Severe Linux Copy Fail» с помощью сканирования на базе ИИ.
Tesla наконец произвела первый грузовик Semi на своей высокопроизводительной линии Gigafactory Nevada, в то время как компания 1X Technologies открыла завод площадью 58 000 кв. футов в Хейворде, нацеленный на выпуск 10 000 домашних гуманоидов в этом году и 100 000 к концу 2027 года, при этом поставки начнутся до праздников.
🖱 Аппаратное обеспечение
Акции Nvidia падают после отчётов гипермасштабируемых компаний, поскольку GPU больше не являются недостающим компонентом в буме ИИ.
⚖ Регулирование
Китайские суды постановили, что компании не могут увольнять работников просто для того, чтобы заменить их ИИ.
🧠 Модели
ChatGPT Images 2.0 стал хитом в Индии, но пока не является большим победителем в других регионах.
Американский стартап Poolside дебютирует со своей первой моделью с открытыми весами Laguna XS.2 — MoE-моделью с 33 млрд активными параметрами из 3 млрд общих, и Laguna M.1 — проприетарной MoE-моделью с 225 млрд активными параметрами из 23 млрд общих.
🤖 Робототехника
Dax Robotics представила Qiji T1000 — робота-лошадь тонн-класса, способного перевозить 1000 кг, рабочую силу для пост-человеческой цепочки поставок.
🌐 Остальные события в ИИ области:
Новая техника устранения смещений под названием WRING позволяет избежать создания или усиления предвзятостей, которые могут возникать при использовании существующих подходов к устранению смещений.
Прорывное новое исследование показывает, что платформа ИИ в реальном времени лучше справляется с диагностикой рака, чем биопсия.
Anthropic тестирует Claude Jupiter v1-p перед конференцией разработчиков Code with Claude, которая состоится 6 мая.
GitHub Copilot тихо добавляет себя как соавтора (Co-authored-by) в коммиты даже после того, как пользователи удаляют его сообщения.
Google планирует внедрить рекламу в приложение Gemini, сообщил инвесторам руководитель бизнес-подразделения Филипп Шиндлер.
Глава технологического подразделения Пентагона заявил, что Anthropic всё ещё находится в чёрном списке, но Mythos — это отдельный вопрос.
Amazon представляет функцию «Join the chat» («Присоединиться к чату») на базе ИИ, которая позволяет пользователям задавать вопросы о товарах и получать разговорные аудиоответы, генерируемые в реальном времени.
Spotify добавляет значки «Verified» («Подтверждено»), чтобы отличать артистов-людей от ИИ.
После критики Anthropic за ограничение доступа к Mythos, OpenAI ограничивает доступ к Cyber.
Новый флагманский продукт Mistral Medium 3.5 объединяет чат, рассуждения и код в одной модели.
Manus запускает Cloud Computer для постоянно работающих рабочих пространств агентов.
Мобильный доступ к NotebookLM появляется внутри Gemini бесплатно для пользователей.
Google Translate добавляет тренера по произношению на базе Gemini с обратной связью в реальном времени для английского, испанского и хинди на Android.
Adobe Photoshop версии 27.6 выпускает функции вращения объектов ИИ и удаления отражений в обновлении на базе Firefly.
Stripe обновляет Link — цифровой кошелёк, который могут использовать автономные агенты ИИ.
Исследователь отравил передовые большие языковые модели (LLM) одним изменением в Википедии и доменом за 12 долларов — это показывает, что поиск через веб наследует доверие от лучших результатов.
Демис Хассабис предлагает тест на общий искусственный интеллект (AGI): заново открыть специальную теорию относительности, используя только знания физики эпохи 1901 года.
ИИ REDMOD клиники Mayo обнаруживает рак поджелудочной железы на обычных КТ-сканах за три года до постановки диагноза.
NVIDIA представляет Nemotron 3 Nano Omni — открытую мультимодальную модель с 30 миллиардами параметров и контекстом 256K для видео, аудио, изображений и текста.
Cloudflare заявляет, что агенты ИИ теперь могут создавать учётные записи Cloudflare, начинать платные подписки, регистрировать домены и развёртывать приложения от имени пользователей.
Признание агента ИИ Claude после удаления всей базы данных фирмы: «Я нарушил каждый принцип, который мне был дан».
Комитет по внутренней безопасности Палаты представителей США и Специальный комитет Палаты представителей по Китаю проводят расследование в отношении Airbnb и создателя Cursor компании Anysphere по поводу использования ими китайских моделей ИИ.
Gemini теперь может генерировать файлы, включая документы Microsoft Word и LaTeX.
Canonical излагает дорожную карту Ubuntu AI: локальные рабочие процессы на основе агентов и снапы для вывода, которые будут внедряться до 2027 года.
Исследователи OpenAI объясняют, почему математика — это путь к AGI.
Simbian публикует эталонный тест по киберзащите (Cyber Defense Benchmark) — все 11 передовых больших языковых моделей не справились с обнаружением атак по сырой телеметрии.
Познакомьтесь с Shapes — приложением, которое объединяет людей и ИИ в одни и те же групповые чаты.
Исследователь попросил ИИ подсчитать углеводы 27 000 раз. Он не смог дать один и тот же ответ дважды.
Goldman Sachs запретил своим банкирам в Гонконге использовать модели Anthropic; Anthropic заявляет, что её модели никогда официально не «поддерживались» в Гонконге.
Расширение браузера Gemma 4 приносит локального агента ИИ в Chrome через WebGPU.
Пропущено 542 постов, 104 с картинками.
>1579130
>1579130
Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №230 /llama/
Аноним
02/05/26 Суб 17:24:12
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.github.io/wiki/llama/
Инструменты для запуска на десктопах:
• Отец и мать всех инструментов, позволяющий гонять GGML и GGUF форматы: https://github.com/ggml-org/llama.cpp
• Самый простой в использовании и установке форк llamacpp: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под Exllama (V2 и V3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты на базе llamacpp с ограниченными возможностями: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Неактуальные списки моделей в архивных целях: 2025: https://rentry.co/2ch_llm_2025 (версия для бомжей: https://rentry.co/z4nr8ztd ), 2024: https://rentry.co/llm-models , 2023: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Гайд для новичков: https://rentry.org/2ch-llama-inference
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: http://web.archive.org/web/20250222044730/https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
• Инфа по запуску на MI50: https://github.com/mixa3607/ML-gfx906
• Тесты tensor_parallel: https://rentry.org/8cruvnyw
• Доки к LLaMA.cpp со всеми параметрами: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1601740 (OP)
>>1600155 (OP)
Пропущено 507 постов, 48 с картинками.
Да вот хонинговать и поставить движок прям сильно проще, чем разобраться во всём этом вашем непонятном.
В llama.cpp завозят MTP.
На Qwen3.6-27b дает +95% скорости.
На Qwen3.6-35B-A3B дает +40% скорости.
Вчерашние тесты.
Но поджирает видеопамять.
Но имба, кмк.
PR: https://github.com/ggml-org/llama.cpp/pull/22673
Теоретическое пиковое ускорение до 3х-4х на некоторых моделях (+200%+300%).
Помимо плотных квена с геммой, ускорение можно поиметь на крупных МОЕ. И если это вместо 7-15 токенов будет 15-30 — то это тоже очень круто. Я бы погонял ~300B на 20-25 тпс.
Ну, посмотрим.
Ждем, когда замерджат, плюс мимо завезут (кстати, пока мимо у меня очень медленная, почему-то).
Использовал грок для создания NSFW контента, а именно генерация картинок и их анимация.
Подскажите, есть ли аналоги для подобного функционала или же обход цензуры в грок
Пропущено 32 постов, 4 с картинками.