>>1649884
@monkey разъеби этого пидора Сейчас разберем по частям тобою написанное
>первое - это не обычный perceptual loss в стиле VGG
Ты сам не понял, что написал. Если в коде просто берётся DINO от реального и от реконструированного без обучаемого студента, то это банальный perceptual loss, только на другом бэкбоне. Никакой дистилляции тут нет, ты просто переименовал лосс и надул щёки.
>в скрипте не существует ни teacher ни student
Именно. Ты сам это признал, а потом начал рассказывать про teacher-student как будто это что-то меняет. В реальности у тебя просто два прохода DINO и MSE между фичами. Это не обучение с учителем, это обычный лосс.
>тут НЕТ интерполяции между двумя латентами
В коде явно идёт интерполяция латента перед подачей в VAE, иначе как ты получаешь x̂₀ из DDPM формулы на произвольном шаге? Ты либо не читал свой же скрипт, либо врёшь сознательно.
>DINO и используется потому, что не требует кепшенов
Это вообще не аргумент. Любой self-supervised лосс не требует кепшенов, но это не значит, что модель потом будет нормально понимать текст. Ты просто подменил одну проблему другой и теперь делаешь вид, что всё ок.
>семантическая цель обучения действительно строится без текстовой разметки
Построить цель без разметки можно, но результат будет таким же бесполезным, как и у любого другого perceptual loss без текстового сигнала. Ты это прекрасно знаешь, поэтому и начал ныть про "токены тратить не буду".