Сап, умнейшие. Уверен, подобное уже проводили, но мне интересно провести дкнны эксперимент исключите
Аноним
06/06/26 Суб 16:19:07
№
1
Если я найду данные некоторого количества людей по опроснику BIG 5 NEO-PI-R и выведу их в 30 координатное пространство, то при кластеризации данных мы получим несколько точных архетипов людей, выведенных эмпирическим путем.
Получится буквальная улучшенная версия типологии RUNO. Я не вижу никаких подводных кроме громного шума, который дефается количество м. Наивно ли полагать, что это выведет действительные типы, аноны?
а в опроснике могли солгать. Не всегда в опроснике пишут правду, лгать в опроснике хитрые люди умеют, что бы надеть маску выгодную при данном положении дел опрашиваемому.
Ну так по ранним опросникам Боря Ельцин фанатичный коммунист был, а на деле - ха-ха-ха, обманул он всех в опроснике!
>данных мы получим несколько точных архетипов людей
>Я не вижу никаких подводных
Да? Странно. А что насчет определения архетипа? Что ты под эти подразумиваешь? Почему этот архетип должен являтся проэцией big5 и нахуя он вобще нужен, если определяется только через big5?
С чего ты взял, что кластеризация даст тебе "точные архетипы"? Вобще-то не обязательно. Кластеризация это просто объединение точек рядом в одну большую точку - кластер. При этом сам кластер не является подтверждением наличия какого-то там архетипа, он может возникнуть и искусственно или не возникать вообще, если вариациая внутри в 30 мерном пространстве блять группы очень большая.
Идея в том что до кластеризации ты не можешь предсказать с какой вероятностью тот или иной обьект попадет в тот или иной кластер.
Бинарные вещи типа да/нет с вероятностью это тоже кластеризация так то.
>до кластеризации ты не можешь предсказать с какой вероятностью тот или иной обьект попадет в тот или иной кластер
Капитан Очевидность наносит смертельный удар.
Вопрос - зачем? Может для тех кто в теме вопрос туповатый хз но меня он действительно занимает.
Может это все исключительно из встроенной в прошивку любви приматов все разбивать по группкам?
>Зачем нужна кластеризация вообще как таковая в анализе данных
Класетры можно использовать для проверки качества твоих данных. Условно, если ты например анализируешь: раковые клетки vs нормальные, ты можешь провести PCA анализ.
В теории, группы должны формировать кластеры и хорошо отделятся друг от друга. При этом, по хорошему нормальные ткани должны сформировать достаточно стабильны кластер, т.к. они более гомогенны по популяции. При этом, если какой-то семпл выбивает из общей массы и лежит где-то отдельно на осях, ты можешь предположить что с ним что-то не так и на основании этого выкинуть его из анализа.
С раковыми наоборот, опухоль часто гетерогенна, особенно на поздних стадиях, поэтому прям единого общего кластера может не получится, либо получится кластер с большой вариацией. При этом, если у тебя раковые семплы практически не различаются ты можешь это заметить и проверить, не допущена ли где-то ошибка.
Другая ситуация, если ты вобще не знаешь че это за данные - просто табличка с некоторыми параметрами, ты можешь посмотреть а не формируют ли они какие-то явные группы по отдельным признакам и на основании этого двигаться дальше.
Так же, кластеризацию можно использовать для того чтоб уменьшить количество данных и шума для стат.анализа.
Условно, если у тебя есть 100к последовательностей днк, при этом, 50к отличаются на пару букв, то не всегда целесообразно использовать весь массив данных, если у тебя нет цели изучать именно вот эти мельчайшие различия.
Одним словом, применений вагон и маленькая тележка, другой момент, что тот как OP хочет применять кластеризацию - бред.
Нихуя не понимаю
>Класетры можно использовать для проверки качества твоих данных. Условно, если ты например анализируешь: раковые клетки vs нормальные, ты можешь провести PCA анализ.
Первое предложение ведь никак со вторым не связано?
>Другая ситуация, если ты вобще не знаешь че это за данные - просто табличка с некоторыми параметрами, ты можешь посмотреть а не формируют ли они какие-то явные группы по отдельным признакам и на основании этого двигаться дальше.
Куда двигаться то? Это и есть мой вопрос, просто ор.
>Условно, если у тебя есть 100к последовательностей днк, при этом, 50к отличаются на пару букв, то не всегда целесообразно использовать весь массив данных, если у тебя нет цели изучать именно вот эти мельчайшие различия.
Не знаю задач и методов анализа днк. Получается мы выбрасываем половину данных просто потому что они какие то слишком однообразные. Очень интересно.
> Вопрос - зачем?
Тебя интересует практическая польза? Ну например вместо того чтобы ебашить артой по дому и догадываться попал ты или нет, решаешь задачу кластеризации, строишь модель и она тебе четко показывает какие боеприпасы с какой точностью попадают по зданию, как это зависит от расстояния и сколько снарядов нужно выпустить чтобы ты наверняка мог сказать что твоей цели пиздец с вероятностью 95+%
Не понимаю как выглядят входные данные и их анализ (тем более при чем тут кластеризация).
Вообще, уважаемые дата-анализты, не могли бы вы изъясняться яснее, вообще то не все знают вашу терминологию и любимые примеры от и до.
>Зачем нужна кластеризация вообще как таковая в анализе данных?
>>611164
>Куда двигаться то? Это и есть мой вопрос, просто ор.
Ты конченный? Ты спросил зачем нужна кластеризация, я тебе ответил.
Про то "куда дальше" ты не спрашивал. Кластеризация это просто одни из методов, а не определяющий вектор для любого рода анализа. Я же тебе продемонстрировал буквально 3 примера, где кластеризация проводится для диаметрально противоположных целей.
Я спрашиваю зачем нужна кластеризация, ты отвечаешь
>ну мы кластеризуем, а дальше смотрим что делать дальше
Ты реально не понимаешь что наваливаешь тавтологической хуиты?
В твоих "3 примерах" я не понял нихуя. Кто из нас тут виноват пусть сторонние наблюдатели рассудят.
> тавтологической хуиты
> я не понял нихуя
Обезьяна, спок.
>Я спрашиваю зачем нужна кластеризация, ты отвечаешь
>>Класетры можно использовать для проверки качества твоих данных
- Проверка качества данных
>> посмотреть а не формируют ли они какие-то явные группы
- Выявление групп
>>Так же, кластеризацию можно использовать для того чтоб уменьшить количество данных и шума для стат.анализа
- Уменьшение количества данных
Бля, если ты не умеешь читать, то нахуя ты вобще что-тоспрашиваешь? Причины использования буквально в первых же предложениях каждого из пунктов
>Кто из нас тут виноват пусть сторонние наблюдатели рассудят.
Тут сторонних наблюдателей и не нужно, я могу выдать заключение прямо сейчас.
Виноваты твои родители, раз не смогли вовремя распознать твои проблемы с восприятием реальности и не отдали тебя в класс коррекции.
>зачем нужна кластеризация
>Выявление групп
Ох как глубоко. Не рвись манька-саентист.
>Тут сторонних наблюдателей и не нужно, я могу выдать заключение прямо сейчас.
Оно не будет объективным. Подозреваю что все твои дата анализы такие же дебильные как ты сам.
>Оно не будет объективным.
Мнение любого из наблюдателей не может быть объективным по определению объективности.
>Ох как глубоко. Не рвись манька-саентист.
А че вырываем то слова?
Ты забыл ещё:
- Проверка качества данных
- Уменьшение количества данных
Причем тут саентизм кстати? Верующим Бог запрещает данные кластеризовать XD
Офни интернет, не позорься
>Мнение любого из наблюдателей не может быть объективным по определению объективности.
Более объективное чем у одной рваной мани
>Ты забыл ещё:
>- Проверка качества данных
>- Уменьшение количества данных
В первом ответе я прокомментировал. Ты бы мог ответить подробнее вместо того чтобы рваться. Ты вообще тот анон или просто местный дурачок срущий в тредах невпопад?
>Причем тут саентизм кстати?
Какой же ты тупанидзе, просто ебать...
Тихо, тихо, малыш. Что ты там прокоментировал в первом посте? Ты задал вопрос, я на него ответил, затем ты вкинул пассивную агрессию, попутно обвинив меня в том, что я отвечаю не на то.
Я спросил, не конченный ли ты, попутно цитанув твой же вопрос. Что ты мне на это ответил? Попросил разъяснений? Мб что-то уточнил? Ах, точно, ты сказал что я навалил "тавтологической хуиты" значение слова тавтология знаешь кста?.
Так скажи мне, кто ещё тут порвался и какого ответа в дальнейшем ты ожидал, если a) Ты используешь пассивную агрессию; б) Пытаешься в неумелые манипуляцию?
Ты изначально не предрасположен к диалогу и не имеешь желание разобраться, т.к. никаких нормальных уточняющих вопросов не задаешь.
>никаких нормальных уточняющих вопросов не задаешь.
Вот вопрос из первого поста
>Первое предложение ведь никак со вторым не связано?
Ты его игнорируешь. Это ненормальный вопрос для тебя?
еще вопрос
>Куда двигаться то?
еще вопрос
>Получается мы выбрасываем половину данных
Ок это не вопрос, но можно прокомментировать это утверждение.
>значение слова тавтология знаешь кста?
Это когда на вопрос какие есть применения отвечают их много разных но не говорят какие именно. Можешь теперь потыкать пальчиком в словарь и подоказывать что я не прав.
>Ты изначально не предрасположен к диалогу
Не надо перекладывать на меня свой долбоебизм. Не хочешь отвечать нормально и можешь только плеваться калом ну ок так и напиши.
>Вот вопрос из первого поста
Ну вот как ты думаешь, если я о чем то говорю в одном блоке, связанны ли эти вещи? Твой вопрос не имеет смысла + он не уточняет ничего.
Вот какой ответ ты ожидал: "Нет, связанно"? Ну что, ты получил больше информации? Прочувствовал всю суть мироздания?
Я тебе назвал метод, ты мог его загуглить\посмотреть видос\спросить у нейронки, тогда, если бы ты чего-то не понял, ты бы мог спросить что конкретно тебе было непонятно.
>еще вопрос
>>Куда двигаться то?
Я тебе показал 3 разных сценария "куда двигаться" в том посте. Раз их как минимум 3, как ты считаешь, есть ли какой-то единый ответ "куда двигаться после"? Нет. А значит что? Правильно, твой вопрос вновь не имеет смысла.
>Твой вопрос не имеет смысла.
Что коментировать? Повторение моих слов? Вот тебе развернутый комментарий: Ты повторил мои слова. Молодец.
>>значение слова тавтология знаешь кста?
> Это когда на вопрос какие
> Можешь теперь потыкать пальчиком в словарь и подоказывать что я не прав.
Это когда повторяют одно и то же разными словами . Пальчиком потыкать? Ну давай^^. Смотри, ты задал 3 вопроса на 3 разных блока, значит ты понимаешь, что между ними есть разница, следовательно это не тавтология. Всё просто!
>Не надо перекладывать на меня
Тебе был дан ответ на твой вопрос, если ты его криво сформулировал, то надо было так и сказать, а не пытаться неумело манипулировать. Вот и всё.
1) Какие данные считаются качественными и некачественными и как производится проверка этого качества методом кластеризации в твоем примере про раковые клетки?
Так тебе понятнее вопрос?
2) Ты привел только два примера (про раковые клетки и про днк). Пространное рассуждение о том что можно двигаться дальше не является примером ничего.
Ты умеешь считать до 3?
>>Твой вопрос не имеет смысла
Что это вообще? Такое бомболейло что даже не можешь нормально процитировать нужный текст?
3) И что там с примером про днк. Половину данных выкидываем - это норм? Почему?
>1
>>по хорошему нормальные ткани должны сформировать достаточно стабильны кластер, т.к. они более гомогенны по популяции
>>С раковыми наоборот, опухоль часто гетерогенна, особенно на поздних стадиях, поэтому прям единого общего кластера может не получится
Ответ уже был дан.
Если мы используем кластеризацию как метод оценки качества данных, то мы исходим из того что есть некоторый эталон или просто "как должно быть". Мы сравниваем "что получили" с тем "как должно быть", если данные сильно не похожи на "как должно быть", то такие данные считаются как минимум странными и надо понять почему мы видим не то "как должно быть".
>Пространное рассуждение о том что можно двигаться дальше не является
>>ты можешь посмотреть а не формируют ли они какие-то явные группы по отдельным признакам
Там нет никакого рассуждения. Я сказал, что если ты не знаешь какие группы есть вообще, то ты можешь кластеризовать данные и посмотреть можно ли выделить группы из имеющихся данных. Где ты тут какие-то пространные рассуждения увидел?
> Половину данных выкидываем - это норм? Почему?
>> не всегда целесообразно использовать весь массив данных, если у тебя нет цели изучать именно вот эти мельчайшие различия
Вот у тебя есть 1000 машин Лада одной модели, 100 машин БМВ одной модели, 150 мерседесов одной модели. Как ты считаешь, вот прям каждую с каждой нужно сравнивать или всё же можно вывести "среднюю" машину для каждой марки и сравнить их?
Я не понимаю, неужели так трудно... Читать? Ответы на твои вопросы буквально находятся в изначальном тексте.
Не буду с тобой дискутировать больше чтобы разъяснить что либо, не вижу смысла. Просто хочу отметить что ты уебан и объяснения твои уебанские. Просто чтобы ты имел это ввиду где то в далеком уголке сознания, ведь ирл мало вероятно что кто то прямо скажет это тебе в глаза.
>Не буду с тобой дискутировать боль
АХАХАХАХАХААХ. О чем ты там собрался дискутировать со мной? Ты не способен понять объяснение для дошкольников.
Слышь, а можешь по быстрому пройти IQ тест на менсе, мб у тебя просто IQ около 70, тогда я офк извинюсь за свои "уебанские объяснения".
Кстати, а что в твоем понимании "не уебанские" объяснения? Это прям когда буквально на пальцах и палочках?
>Просто чтобы ты имел это ввиду где то в далеком уголке сознания
Всем всё на то как и кого обезьяна, неспособная понять аналогию с машинами, называет. Выглядишь очень потешно. Переставай смотреть анюмэ и фикси свой синдром главного героя.
Дартаньян - холерик.
Атос - флегматик.
Портос - сангвиник.
Арамис - меланхолик.
Эти четыре архетипа - классега психиатрии.
А ты. я так понимаю, хошь свергнуть классегов, и запилить модерн про 123 гендера.