По словам Грефа, которые прозвучали в Совете Федерации, «„Яндекс“ сегодня дообучает Qwen, в основе лежит китайская модель» и Сбер остается одним из российских разработчиков в этой области с оригинальной продукцией. «Нас это нисколько не радует, что мы одни, потому что мы за конкуренцию», — сказал Греф.
«Утверждение не соответствует действительности. „Яндекс“ продолжает развивать собственные фундаментальные модели, сохраняет полный цикл разработки», — пресс-служба Яндекса
Qwen — большая языковая модель от китайской технокорпорации Alibaba.
>>19658336 (OP) >«„Яндекс“ сегодня дообучает Qwen, В AI это называется дистилляция. Тоже самое делал Дипсик с чатжпт. Потом пиндосы спохватились, и сегодня такая хуйня не прокатит с американским моделями.
>>19658336 (OP) А меня вчера в хрхлы выписали за то, что я сказал, что гигачат это не "разработка сбора с нуля", а оптимизированный под русик пизженый код чатгпт.
>>19658368 >Не удивлюсь, если это просто файнтюн При файнтюне нужно оригинальную модель иметь для донастройки. А кто ж её даст? А при дистилляция одна модель является учителем для второй. И сегодня антропик и опенэйай за подобной хуйней следят и попытки пресекают.
>>19658358 >В AI это называется дистилляция. Хуйню не неси. Дистилляция это дистилляция, дообучение это дообучение. Нет никакого смысла делать дистилляцию когда веса открыты, а они у квена открыты. Просто берется модель и делается дообучение на своих датасетах.
>>19658432 Просто антропик единственный кто доказал, что китайцы занимаются дистиллированием клода. А на деле все корпы дистиллируют друг друга. Потому там сейчас стиль ответа у всех моделей примено такой усредненный клодослоп.
>>19658445 >Какая ещё нахуй своя модель может быть у Яндекса Раньше была своя, веса лежат на обниморде. Потом на квен перешли. У сбера же до сих пор реально своя модель, убогая, плохонькая, но своя.
>>19658432 >китайские иероглифы В каких ситуациях такое встречается? Каждый день часами работаю с клодом. И у меня клод в ответе по-русски иногда вставляет английские слова.
>>19658423 >Просто берется модель и делается дообучение на своих датасетах. Добавляются новые слои и дообучают только их. Иначе это равносильно всю модель переобучить.
>>19658452 >У сбера же до сих пор реально своя модель, убогая, плохонькая, но своя. Злые языки поговаривают, что к ней приложили руку спецы из дипсик, консультировали.
>>19658393 Ага. Сидели такие сумеречные российские гении, размышлять об искусственном интеллекте. Потом выходит чатгпт на общественной пользование, и сумеречные гении внезапно сами, с нуля придумывают собственную нейронку. Охотно верю, хохлы пидорасы если что, а сам Греф заявлял что нейронка создавалась на "основе", что это за основа такая он не пояснил. >>19658447 Не ебу, спроси у Грефа. У него денег много, он не только нейронку купить может.
>>19658510 >выходит чатгпт на общественной пользование, И что? Самый геморрой не в самой модели, а подготовку данных для обучения и сам процесс обучения. Чагпт вышел в конце ноября 2022, а гигачата в апреле2023. При этом гигачат обучался изначально на русский язык. Само обучение только занимает несколько месяцев. Никак не получается, что гигачат это спижженый чатжпт
Если гигачат реально был бы чат гопотой, то это была бы самая охуенная открытая модель и все бы сейчас только им и пользовались, а в реале это говно, устаревшее на год относительно локалок, а относительно чат гопоты - на все два. https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B
Ты если в теме не разбираешься - то молчи, блядь, в тряпочку, дебил. Вопрос создания модели сейчас это буквально только вопрос наличия железа и датасетов. Остальное все уже давно разжевано и инструментарий весь открыто лежит, бери и обучай.
>>19658336 (OP) >„Яндекс“ сегодня дообучает Qwen, в основе лежит китайская модель» и Сбер остается одним из российских разработчиков в этой области с оригинальной продукцией Буквально пикрил
В 2023 году гигачат был вполне на уровне с лидерами, отставая на полшага буквально. Но сегодня США и Китай ускакали хуй знает куда, а Россия как будто топчется на том же самом уровне, справедливости ради все остальные отстают от России как Россия от США и Китая.
>>19658551 >>19658538 А я и не говорил что я программист, я журналист, моё дело концы с концами сводить. И как то так получилось, ято у openai родилась идея - основа, вот она, база. И внезапно во всем мире начали "придумывать собственные ии".
Ладно бы как китайцы не стеснялись говорить что у них дипсик это 60% тупо поисковик как нейронка гугла, но наши заявили что они самые самые, что все сами, что никто их не подталкивал. Хотя могли бы для приличия упомянуть что та самая база, а именно сама идея, это чатгпт.
И да >>19658381 вот тут я написал ято они оптимизировали нейронку под русик, и вчера это писал, но все равно ни одна нейронка не может правильно ответить что делать с кружкой, у которой дна нет, а верх запаян.
>>19658569 Яндекс спиздил идею и реализацию у Китая, Сбер напрямую у чатгпт.
Алиса после 23 года вообще стала политически нейтральной, отказываясь отвечать на вопрос чей крым, как в Китае, только там наоборот всё в политоту скатывают.
>>19658551 Скажу больше, все тексты за всю историю человечества были использованы ещё в середине 2024 года. Поэтому только на больших датасетах уже далеко не уедешь. Что-то нужно делать с самими подходами, всякие эти размышляющие модели и прочие фишки. Реально, Fable на голову выше всяких гроков и чатгпт. Что-то там придумали такого, что на порядок улучшилось уровень обычных LLM.
>>19658571 >все равно ни одна нейронка не может правильно ответить что делать с кружкой, у которой дна нет, а верх запаян. Нуда нуда... Ни одна не может
>>19658571 >А я и не говорил что я программист, я журналист, моё дело концы с концами сводить. И как то так получилось, ято у openai родилась идея - основа, вот она, база.
Дебил, погугли про трансформеры и кто это придумал.
>>19658571 >у openai родилась идея - основа, Идея трансформеров зародилась как минимум в статье 2017 года Attention is all you need. Авторы - сотрудники гугла. Так что не нужно openai тут автором представлять.
>>19658350 Через десять лет у тебя будет в сколько-то раз мощнее чип и в десять раз больше датацентров или сами дц, если люди не освоят наконец другие гибридные подходы к архитектуре трансформера и памяти. Стоить это тоже будет дороже раз в 5 а делать они будут свистя и пердя тоже самое, но чуть лучше. Остальное уйдет как всегда в военку и там тоже будут каждый год переобучать новые модели какого-нибудь палантира+пилить бабки
>>19658359 Ты наверно путаешь определения ИИ как когда "компьютер делает что-то напоминающее интеллектуальное действие" и как Large language model. Lage language model изобрели в 2017-ом в подразделениях Google Brain и Google Research А первый ИИ в первом значении изобрели в 1951-ом в MIT
Что мешает Грефу конкурировать с Гопотой/Гемини и теми же китайцами? Или конь-куренция сугубо за вливание спизженного у населения государствомбюджетного бабла?
>>19658510 Яндексовский Балабола появился до чатагпт. Да и до него тоже нейронки были, только никому они нафиг не были нужны из-за качества генерации А еще была майкрософтская Тей, которую почти сразу закрыли из-за неналаженной системы обучения. Точнее это была модель которая обучалась на том, что ей пишут пользователи из-за чего она довольно быстро превратилась в двачера, а уже тогда толерастия во всю расцветала, так что ее быстро убили. А до этого всего вообще были поделия на цепях Маркова
>>19658576 >Реально, Fable на голову выше всяких гроков и чатгпт. >Что-то там придумали такого, что на порядок улучшилось уровень обычных LLM. Так и Опус всегда лучшим был. Короче дело в датасете и его правильной разметке. Ну и быть может нужно еще как-то хитро подавать его сетке, а то ответы клода поначалу довольно сильно отличались от остальных сеток. Короче не зря тонны книжек угробили, чтобы можно было их отсканировать.
Яндекс использует свой датасет. На хабре они выпускали статью, что смешивают веса с открытыми моделями чтоб лучше писать код, математику решать. Это не то же самое что дообучение. Но в генерации диалогов и художественных текстов Алиса(но не yandexgpt5.1), если бы не малюсенькое контекстное окно, была бы на порядки лучше мировых лидеров в этом.
>>19658938 >Что мешает Грефу конкурировать с Гопотой/Гемини и теми же китайцами? Лютый хардварный голод. Китайцы сотнями тысяч жрут видимокарты, поверх этого датацентры и т.д и поверх этого ботофермы с фармингом трейсов тех же антропиков. В рф сотню B200 завезли, и это чуть ли не чудо, так как пришлось ебаться запредельно. >мимо из зеленого банка
>>19659246 Их никто не ограничивал в использовании лучших альтернатив для обучения, чем видеокарты. И не много стоит сделать модель меньше, но с лучшей архитектурой, вроде диффузной всенаправленной, а не только предсказывающей вперёд.
>>19659246 >>19659251 → Но ни "лютый хардварный голод", ни "отсутствие денег на датацентры", ни прочие причины не мешают ему хотеть конкурировать внутри.
мне как потребителю какая нахуй разница чем опосредована пидарастия данной конторы? уебищный поиск, уебищное такси, хоть один аналогичный вестоидный ( они тоже пидорасы но по другим причинам) сервис в чем-либо проигрывает яндексу?