Аналитика Telegram-канала
Подписчики
751
Публикаций
39

Динамика подписчиков

7 дней 30 дней 6 месяцев Больше
10 ноя13 ноя16 ноя
Показаны последние 7 дней Больше истории →

Охваты публикаций

03.1107.1107.11
171
Средний охват
205
Лучший результат
Показаны 3 публикации — последние в канале Больше статистики →

Упоминания

5
Упоминаний
1
Из них репостов
5
Каналов
Нет примеров за последние 90 дней
Все упоминания

Последние посты

3 из 39 2 из 39
ещё
142 5 9 7 ноя, 13:32
В этом семестре опять выдал студентам какое-то невероятное количество семестровых проектов, одно из направлений — исследование разных геометрических аспектов картиночных эмбеддингов. С Ваней Болдыревым решили в качестве разминки посмотреть, как выглядят эмбеддинги маленькой DINOv3 у крутящейся Этели (я погуглил, её правда так зовут (ещё она слепая и у неё нет зубов 😔)). На гифке три главные компоненты эмбеддингов. Следующим шагом, вероятно, будет анализ геометрии польской коровы 😇
ещё
167 5 7 ноя, 13:32
Откуда берется преобразование Фурье Есть простой факт из линейной алгебры: если диагонализуемые матрицы коммутируют, то их можно диагонализовать в одном базисе. В таких координатах каждая из матриц просто умножает каждую координату на свое число. Из этого факта можно добраться до быстрого перемножения многочленов, решения дифференциальных уравнений и представления гауссовских процессов через случайные линейные комбинации. Давайте разбираться! Коммутирование → общий базис Особенно просто все получается, если у одной из матриц все собственные значения различны. Пусть Sv=\lambda v, а A коммутирует с S. Тогда $S(Av)=A(Sv)=\lambda (Av).$ Получается, что u = Av лежит в том же собственном подпространстве, что и v. Но это подпространство одномерное, поэтому вектор Av пропорционален v. То есть собственный вектор для матрицы S автоматически оказался собственным и для A. Причем предполагать диагонализуемость самой A уже не понадобилось. Теперь возьмем матрицу циклического сдвига: S(x_0,x_1,\ldots,x_{n-1}) = (x_{n-1},x_0,\ldots,x_{n-2}). Ее собственные векторы довольно легко угадать. Если \omega^n=1, то вектор v_\omega=(1,\omega,\omega^2,\ldots,\omega^{n-1}) при сдвиге просто умножается на \omega^{-1}. Корней из единицы ровно n, собственные значения у них разные — получили полный базис. Более того, эти векторы попарно ортогональны. Переход к координатам в этом базисе и есть дискретное преобразование Фурье, с точностью до выбора нормировки. Все остальные циклические сдвиги — степени S, поэтому у них тот же собственный базис. А из нашего наблюдения следует кое-что посильнее: преобразование Фурье диагонализует любую линейную операцию, которая коммутирует с циклическим сдвигом. Например, усреднение соседних элементов массива. Сдвинуть массив, а потом усреднить соседей — то же самое, что сначала усреднить соседей, а потом сдвинуть результат. Значит, в координатах Фурье эта операция просто умножает каждую координату на некоторый коэффициент. При чем тут многочлены? Посмотрим на многочлен p(z)=a_0+a_1z+\cdots+a_{n-1}z^{n-1}. Если договориться, что z^n=1, то умножение на z — это ровно циклический сдвиг его коэффициентов: последний коэффициент переезжает в начало. Умножение на любой фиксированный многочлен q коммутирует с умножением на z. Значит, оно тоже должно диагонализоваться преобразованием Фурье! Посмотрим, что происходит с коэффициентами многочлена p(z)=\sum_{j=0}^{n-1}a_jz^j при переходе в найденный собственный базис. Векторы $v_\omega=(1,\omega,\ldots,\omega^{n-1})$ ортогональны и имеют квадрат нормы n. Поэтому координата вектора a при v_\omega равна c_\omega = \frac {\langle a, v_\omega \rangle}{\langle v_\omega, v_\omega \rangle} = \frac1n\sum_{j=0}^{n-1}a_j\omega^{-j} = \frac1n p(\omega^{-1}). Получается, переход в собственный базис циклического сдвига вычисляет значения многочлена в корнях из единицы — с общим множителем 1/n! Для перемножения удобно этот множитель убрать. В такой нормировке дискретное преобразование Фурье имеет вид \widehat a_\omega = \sum_{j=0}^{n-1}a_j\omega^{-j} = p(\omega^{-1}). И теперь связь с умножением многочленов видна непосредственно: (pq)(\omega^{-1}) = p(\omega^{-1})q(\omega^{-1}). В коэффициентах умножение многочленов было сверткой: каждый коэффициент результата приходилось собирать из суммы произведений. В новых координатах все превратилось в покоординатное умножение. Отсюда знакомый алгоритм: вычисляем значения двух многочленов в корнях из единицы, перемножаем их и обратным преобразованием восстанавливаем коэффициенты произведения. Алгоритм FFT позволяет быстро выполнять оба перехода. Правда, пока мы получили произведение с циклическим сдвигом коэффициентов, то есть по модулю z^n-1. Чтобы получить обычное произведение, достаточно выбрать n больше степени произведения и дополнить исходные массивы коэффициентов нулями. От массивов к функциям Теперь вместо конечного массива возьмем функцию на окружности — то есть функцию с периодом 1. Сдвиг действует на нее так: $(T_hf)(x)=f(x-h).$ И снова легко найти собственные функции: $e_k(x)=e^{2\pi ikx},\qquad k\in\mathbb Z.$ При сдвиге они просто умножаются на число: $T_he_k=e^{-2\pi ikh}e_k.$ Оказывается, эти функции образуют ортонормированный базис в L^2 окружности. Поэтому квадратично интегрируемую периодическую функцию можно разложить в ряд f(x)=\sum_{k\in\mathbb Z}\widehat f_k e^{2\pi ikx}, где равенство понимается в L^2. Механизм с коммутированием остался тем же. Если оператор A коммутирует со всеми сдвигами, то Ae_k должен реагировать на каждый сдвиг точно так же, как e_k. Значит, он должен быть кратным e_k. Для ограниченных линейных операторов это дает ровно то, что хочется: в координатах Фурье каждый такой оператор действует отдельно на каждую частоту. В качестве примера рассмотрим оператор взятия производной. На гладких периодических функциях дифференцирование коммутирует со сдвигами, и \frac{d}{dx}e^{2\pi ikx} = 2\pi ik\,e^{2\pi ikx}. Поэтому \widehat{f'}_k=2\pi ik\,\widehat f_k. Производная превратилась в умножение на число. А линейное дифференциальное уравнение с постоянными коэффициентами — в алгебраические уравнения для коэффициентов Фурье. А теперь случайные функции Вспомним сначала многомерное нормальное распределение. Я про это, кстати, когда-то мини-курс читал! Если ковариационная матрица имеет разложение \Sigma=Q\Lambda Q^\top, то гауссовский вектор с этой ковариацией можно сгенерировать так: Y=\mu+Q\Lambda^{1/2}Z, \qquad Z\sim N(0,I). Берем независимые стандартные нормальные величины, масштабируем, и используем как коэффициенты случайной линейной комбинации столбцов Q. В обратную сторону это работает так же: в собственном базисе ковариационной матрицы координаты гауссовского вектора становятся независимыми. Теперь возьмем стационарный гауссовский процесс X(t) на окружности. Будем считать его ковариационную функцию непрерывной. Стационарность означает, что при одновременном сдвиге всех аргументов совместное распределение значений процесса не меняется. Поэтому его среднее постоянно, а ковариация зависит только от разности аргументов: \mathrm{cov}(X(t),X(s))=r(t-s). У конечного вектора ковариации образуют матрицу. У процесса появляется ее непрерывный аналог — ковариационный оператор: (Cf)(t)=\int_0^1 r(t-s)f(s)\,ds. Получилась свертка! Она коммутирует со сдвигами, поэтому ее диагонализует преобразование Фурье. То есть мы заранее знаем собственные функции ковариационного оператора, даже не зная конкретную ковариацию. Для вещественного процесса удобно перейти от комплексных экспонент к синусам и косинусам. В этом базисе ковариационный оператор тоже диагонален. Коэффициенты при разных базисных функциях тем самым некоррелированы, а поскольку они совместно гауссовские — то и независимы. Получается представление X(t)=m+A_0+ \sum_{k=1}^{\infty} \left[ A_k\cos(2\pi kt)+B_k\sin(2\pi kt) \right], где A_0,A_1,B_1,A_2,B_2,\ldots — независимые гауссовские величины с нулевым средним. При этом \mathbb{D}(A_k)=\mathbb{D}(B_k). Сумма дисперсий коэффициентов конечна, и ряд сходится в среднем квадратичном: матожидание квадрата хвоста ряда стремится к нулю. Мы получили так называемое разложение Карунена—Лоэва для стационарного гауссовского процесса на окружности. Получилась та же конструкция, что и для многомерного нормального распределения: берем независимые нормальные величины, задаем им нужные масштабы и используем их как коэффициенты случайной линейной комбинации собственных функций ковариационного оператора. Стационарность дала нам базис Фурье, а гауссовость — независимость коэффициентов. Для негауссовского стационарного процесса коэффициенты останутся некоррелированными, но уже могут быть зависимыми. Для нестационарных процессов (или процессов не на окружности) разложения Карунена—Лоэва тоже бывают, для этого придётся искать собственные функции у конкретного ковариационного оператора.
ещё
205 7 18 3 ноя, 09:58
Больше постов

Продолжить анализ этого канала

  • История роста подписчиков
  • Просмотры и охваты публикаций
  • Кто упоминает канал и кого упоминает он
  • Похожие каналы и подбор для рекламы
Открыть аналитику
Демо до 14 дней