first commit

2026-04-24 09:49:17 +03:00
commit 5782a2b35f
46 changed files with 1783 additions and 0 deletions
--- a/0_disser/chapter2_multimodal.md
+++ b/0_disser/chapter2_multimodal.md
@@ -0,0 +1,147 @@
+---
+tags:
+  - диссер
+---
+
+
+# Глава 2. Мультимодальный подход в задаче сопоставления изображений
+
+## 2.1. Эволюция мультимодальных архитектур
+
+### Предпосылки
+
+Классические системы машинного обучения развивались в рамках узких специализаций: CNN для изображений, RNN/Transformer для текста. Мультимодальный подход возник из осознания, что реальный мир поставляет информацию одновременно в нескольких формах.
+
+Ключевые этапы:
+- **Image Annotation (2000-е)** — изображение и подпись как выражения одного смысла; методы CCA для поиска латентных зависимостей.
+- **DeViSE (2013)** — связывание визуальных и текстовых представлений в едином пространстве; zero-shot классификация.
+- **VQA (2015)** — совместная обработка текста и изображения; первые механизмы внимания.
+- **CLIP (2021)** — контрастивное предобучение на 400M пар; универсальное мультимодальное пространство.
+
+---
+
+## 2.2. Архитектурные подходы
+
+### Раздельные (dual-stream) архитектуры
+
+Два независимых трансформера + cross-attention на поздних стадиях.
+
+| Модель | Год | Особенность |
+|---|---|---|
+| ViLBERT | 2019 | Двухпоточный BERT с co-attention |
+| LXMERT | 2019 | Третий объединяющий модуль |
+| ALBEF | 2021 | Контрастивное выравнивание перед слиянием |
+| **CLIP** | 2021 | Слияние только через общее эмбеддинговое пространство |
+
+### Однопотоковые (single-stream) архитектуры
+
+Единый трансформер, принимающий все модальности одновременно.
+
+| Модель | Год | Особенность |
+|---|---|---|
+| VisualBERT | 2019 | Патчи изображения как токены рядом с текстом |
+| UNITER | 2019 | 86M параметров, SOTA при меньшем объёме |
+| ViLT | 2021 | Без CNN-экстрактора; прямые патч-эмбеддинги |
+
+### Encoder-Decoder архитектуры
+
+| Модель | Год | Особенность |
+|---|---|---|
+| CoCa | 2022 | Контрастивный + генеративный режим одновременно |
+| BLIP-2 | 2023 | Q-Former как мост между визуальным энкодером и LLM |
+
+---
+
+## 2.3. Методы объединения признаков
+
+### Простые методы
+
+| Метод | Формула | Плюсы | Минусы |
+|---|---|---|---|
+| Конкатенация | `[f_A; f_B] ∈ R^{d_A+d_B}` | Сохраняет всю информацию | Рост размерности |
+| Сложение | `f_A + f_B ∈ R^d` | Компактность | Взаимная компенсация значений |
+| Умножение | `f_A ⊙ f_B ∈ R^d` | Выявляет зависимости | Обнуление при нулевых компонентах |
+| Взвешенная сумма | `α·f_A + β·f_B` | Гибкость коэффициентов | Фиксированные веса, нет адаптации |
+
+### Параметризованные методы
+
+- **MLP-fusion**: нелинейная комбинация, но рост параметров и потеря интерпретируемости.
+- **Билинейное произведение**: высокая выразительность, квадратичный рост параметров.
+
+### Адаптивные методы
+
+#### Cross-Attention Fusion
+
+```
+Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V
+```
+
+Признаки одной модальности — запросы (Q), другой — ключи (K) и значения (V).
+
+**Плюсы:** контекстная адаптивность, высокая выразительность, интерпретируемость через карты внимания.  
+**Минусы:** O(n²) сложность, риск переобучения на малых выборках, ресурсоёмкость.
+
+#### Gate-Fusion
+
+```
+fused = v_img ⊙ g + v_text ⊙ (1 − g)
+g = σ(linear([v_img; v_text]))
+```
+
+**Плюсы:** O(d) сложность, адаптивность к качеству сигнала, не меняет исходную структуру признаков.  
+**Минусы:** меньшая выразительность межмодальных зависимостей по сравнению с full attention.
+
+#### Progressive Fusion
+
+Итеративное объединение с обратными связями (skip-back connections) от глубоких слоёв к ранним. Совмещает преимущества раннего и позднего слияния.
+
+---
+
+## 2.4. Извлечение визуальных признаков
+
+### CNN-подход
+
+- Иерархия признаков: низкоуровневые (края, текстуры) → среднеуровневые (части объектов) → высокоуровневые (семантика).
+- Пространственная структура сохраняется в картах активаций H×W×C.
+- Локальность и трансляционная инвариантность — встроенные индуктивные предположения.
+- Рецептивное поле расширяется с глубиной сети.
+
+**Хорошо сочетается с:** Gate-Fusion, конкатенацией, поэлементным сложением — все методы, сохраняющие топологию признаков.
+
+### Transformer-подход (ViT)
+
+- Изображение → патчи → линейные эмбеддинги + позиционное кодирование.
+- Механизм self-attention обеспечивает глобальные зависимости с первых слоёв.
+- Менее жёсткая пространственная структура (последовательность токенов).
+- Требует больших данных для обучения.
+
+---
+
+## 2.5. Извлечение текстовых признаков
+
+### Токенизация и эмбеддинги
+
+- Токенизация на уровне подслов (subword units) — обработка редких слов.
+- Self-attention формирует контекстно-зависимые эмбеддинги.
+- Агрегированные представления инвариантны к длине текста.
+
+### Текст как контейнер для метаданных
+
+Числовые и категориальные метаданные, преобразованные в текстовые описания, воспринимаются нейросетевыми моделями как последовательности токенов, формируя векторы, отражающие совокупность метаданных и их взаимосвязей.
+
+**Преимущество:** расширение информационной ёмкости модели без изменения архитектуры.
+
+---
+
+## 2.6. Сравнение методов объединения применительно к задаче CVGL
+
+| Критерий                          | Конкат. | Сложение | Cross-Att. | Gate-Fusion |
+| --------------------------------- | ------- | -------- | ---------- | ----------- |
+| Вычислит. сложность               | O(d)    | O(d)     | O(d²)      | O(d)        |
+| Адаптивность к примеру            | ✗       | ✗        | ✓          | ✓           |
+| Устойчивость к шуму               | Низкая  | Низкая   | Средняя    | Высокая     |
+| Сохранение пространств. структуры | ✓       | ✓        | Частично   | ✓           |
+| Выразительность зависимостей      | Низкая  | Низкая   | Высокая    | Средняя     |
+| Применимость на UAV real-time     | ✓       | ✓        | Ограничено | ✓           |
+
+**Вывод:** для задачи CVGL в условиях ограниченных вычислительных ресурсов и высокой вариативности качества UAV-снимков Gate-Fusion является оптимальным базовым методом с перспективами развития через RCGF-подобные модификации.
--- a/0_disser/chapter3_templates.md
+++ b/0_disser/chapter3_templates.md
@@ -0,0 +1,135 @@
+---
+tags:
+  - диссер
+  - text_prompts
+---
+
+[[text_templates]]
+# Глава 3. Разработка текстовых шаблонов и признаков для аэрофотоснимков
+
+## 3.1. Обоснование текстового кодирования метаданных
+
+### Контекст мультимодальных систем
+
+В современных мультимодальных моделях текст всё чаще используется не только как средство описания визуального контента, но и как универсальный контейнер для структурированных и слабоструктурированных данных.
+
+**Определение текстового шаблона** (в рамках данной работы): формализованная текстовая конструкция, в которую инжектируются значения метаданных различных типов (числовые, категориальные, дискретные) с целью:
+- переноса дополнительной информации в языковое представление;
+- обеспечения семантической интерпретации данных;
+- унификации разнородных источников информации без усложнения архитектуры.
+
+### Обзор аналогичных подходов
+
+| Работа | Что кодируется | Способ кодирования |
+|---|---|---|
+| SJTU (Chae et al.) | Геометрические отношения между объектами | «object A is slightly to the left of object B» |
+| Multi-View Spatial Modeling (Li et al.) | Ракурс камеры, направление обзора | «wide-angle view», «top-down perspective» |
+| LLaVA-ST | Пространственно-временные характеристики | Категории, интервалы, относительные описания |
+| Visual Position Prompt (Tang et al.) | Координаты объектов | «near the top-left corner», «center-right area» |
+
+**Общий вывод из литературы:** прямая передача точных числовых значений в текст ухудшает обучение; квантование в дискретные семантические категории или явные числовые значения в контексте («height of X meters») — улучшает.
+
+---
+
+## 3.2. Типы данных, извлекаемых из аэрофотоснимков
+
+### Числовые признаки
+
+| Признак | Физический смысл | Влияние на изображение |
+|---|---|---|
+| Высота съёмки (h), м | Расстояние БПЛА от земли | Масштаб объектов, контекст сцены |
+| Yaw, ° | Азимутальный угол камеры | Ориентация сцены в кадре |
+| Pitch, ° | Угол тангажа | Перспективные искажения |
+| Roll, ° | Угол крена | Наклон горизонта |
+| Количество объектов по классам | Агрегированная семантика | Семантическое содержание |
+
+### Категориальные признаки
+
+| Признак | Возможные значения |
+|---|---|
+| Тип платформы | БПЛА / Спутник |
+| Время суток | Утро / День / Вечер / Ночь |
+| Сезон | Весна / Лето / Осень / Зима |
+| Погода | Ясно / Облачно / Дождь / Туман |
+
+### Извлечение недостающих признаков
+
+Для признаков, отсутствующих в метаданных датасета (сезон, погода, время суток), применяется метод VQA (Visual Question Answering):
+
+```
+"What is the approximate season shown in this aerial image?"
+"What time of day does this image appear to be taken?"
+"What is the weather condition in this image?"
+```
+
+---
+
+## 3.3. Лингвистические особенности шаблонов
+
+### Выбор языка
+
+Английский язык обеспечивает более согласованные с изображениями текстовые эмбеддинги в моделях типа CLIP, поскольку эти модели обучены преимущественно на англоязычных корпусах.
+
+| Датасет предобучения | Доля EN (оригинал) | Доля EN (после обработки) |
+|---|---|---|
+| WIT (OpenAI) | 100% | 100% |
+| LAION-5B | 39.6% | ~100% (с переводом) |
+| COYO-700M | N/A | ~100% |
+| DataComp-1B | 35.5% | ~70–80% |
+
+Косинусное сходство эмбеддингов (CLIP ViT-B/32):
+- 50-й перцентиль: EN-перевод 0.296 > оригинал 0.286
+- 90-й перцентиль: EN-перевод 0.353 > оригинал 0.331
+- 10-й перцентиль: EN-перевод 0.241 < оригинал 0.258 (качество перевода неравномерно)
+
+### Принципы формирования шаблонов
+
+1. **Структурированность** — числовые значения лингвистически корректно связаны со смысловыми описаниями.
+2. **Семантическая интерпретируемость** — текст читаем человеком.
+3. **Согласование с визуальными признаками** — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
+
+---
+
+## 3.4. Разработанные шаблоны
+
+### Регрессия
+
+```
+"This is a drone aerial image taken from a height of <h> meters"
+```
+
+### Классификация
+
+```
+a) "The target is a <class> in an aerial photo"
+b) "An aerial photo contains a <class>"  
+c) "An aerial view showing a <class>"
+```
+
+### Семантическая сегментация (полный шаблон)
+
+```
+"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation 
+defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>. 
+Here is next amount of metaclasses. 
+Road: <count>, Nature: <count>, Construction: <count>, Obstacle: <count>, Water: <count>"
+```
+
+Компоненты и их роль:
+- `<h>` → масштаб контекста
+- `yaw/pitch/roll` → геометрия проекции
+- `<time>`, `<season>` → освещённость и внешний вид объектов
+- метаклассы → семантическое содержание сцены
+
+---
+
+## 3.5. Баланс числовых и категориальных признаков
+
+Использование обоих типов признаков обеспечивает компромисс:
+- **Числовые** → точная информация о геометрии (высота, углы), позволяет модели обучаться на непрерывных зависимостях (например, влияние высоты на масштаб).
+- **Категориальные** → семантическая интерпретируемость, устойчивость к точности измерений.
+
+Выбор конкретного набора признаков определяется:
+1. Доступностью данных в датасете.
+2. Возможностью извлечения через VQA.
+3. Физическим влиянием на визуальное представление сцены.
--- a/2_hypotheses/Adaptive_residual_routing.md
+++ b/2_hypotheses/Adaptive_residual_routing.md
@@ -0,0 +1,173 @@
+---
+aliases:
+  - ADR
+  - res_gates
+tags:
+  - диссер
+---
+[[Gate Fusion]]
+# Гипотеза адаптивной маршрутизации остаточных связей и исследование информативности признаков
+
+## 1. Проблема: почему остаточные связи разрушают работу Gate-Fusion
+
+### Формализация
+
+Рассмотрим базовый Gate-Fusion:
+
+```
+g      = σ(W · [v_img; v_text])
+fused  = v_img ⊙ g + v_text ⊙ (1 − g)
+```
+
+Шлюз `g` обучается подавлять ненадёжную модальность: если `v_text` зашумлен, то `g → 1`, и объединённое представление вырождается в `v_img`.
+
+При добавлении простой остаточной связи (SRGF):
+
+```
+img_res  = v_img  ⊙ g + v_img
+text_res = v_text ⊙ (1 − g) + v_text
+fused    = img_res + text_res
+         = v_img ⊙ g + v_text ⊙ (1 − g) + v_img + v_text
+```
+
+Члены `v_img + v_text` добавляются безусловно, независимо от качества модальностей. При зашумлённом `v_text`:
+
+```
+fused = [v_img ⊙ g + v_text ⊙ (1−g)] + [v_img + v_text_noise]
+                 ↑                              ↑
+         отфильтрованный сигнал         необработанный шум
+```
+
+Шлюз фильтрует шум на первом слагаемом, но остаточная связь возвращает его в итоговый вектор через второе. **Чем лучше шлюз отфильтровал шум, тем больший относительный вес приобретает необработанный остаточный сигнал.**
+
+### Условие деструктивности остаточной связи
+
+Введём: `v_text = s + n`, где `s` — полезный сигнал, `n` — шумовая компонента.
+
+Обозначим `SNR = ‖s‖ / ‖n‖` — соотношение сигнал/шум для текстовой модальности.
+
+Тогда вклад шума в итоговый вектор без остаточной связи:
+
+```
+noise_gate = (1 − g) ⊙ n
+```
+
+С остаточной связью:
+
+```
+noise_total = (1 − g) ⊙ n + n = (2 − g) ⊙ n
+```
+
+При `g → 1` (шлюз почти полностью закрывает шумную модальность):
+- без остаточной: `noise_gate → 0`
+- с остаточной: `noise_total → n`
+
+**Вывод:** остаточная связь наиболее деструктивна именно тогда, когда шлюз работает правильно (подавляет ненадёжную модальность). Это объясняет экспериментально наблюдаемое ухудшение показателей SRGF по сравнению с базовым Gate-Fusion.
+
+---
+
+## 2. Гипотеза адаптивной маршрутизации остаточного сигнала
+
+### Идея
+
+Если добавление остаточной связи вредно при низком SNR и полезно при высоком SNR, то необходимо **управлять включением остаточной связи в зависимости от оцениваемого качества сигнала модальности**.
+
+Вместо безусловного:
+
+```
+fused = gate_output + v_img + v_text          # SRGF — всегда добавляем
+```
+
+Предлагается условное:
+
+```
+fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
+```
+
+где `r_img, r_text ∈ [0, 1]` — **адаптивные коэффициенты маршрутизации**, вычисляемые из данных.
+
+### Варианты вычисления коэффициентов маршрутизации
+
+#### Вариант A — маршрутизация через оценку нормы (сигнальная энергия)
+
+```
+r_text = σ(w_r · ‖v_text‖ / ‖v_img‖ + b_r)
+r_img  = σ(w_r · ‖v_img‖  / ‖v_text‖ + b_r)
+```
+
+Чем выше относительная энергия модальности, тем сильнее её остаточный сигнал допускается в итоговый вектор.
+
+#### Вариант B — маршрутизация через нелинейную функцию шлюза (Gated Residual)
+
+```
+r_text = 1 − g                  # если шлюз уже закрыл текст → остаток тоже закрываем
+r_img  = g
+
+fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
+      = v_img ⊙ g + v_text ⊙ (1−g) + v_img ⊙ g + v_text ⊙ (1−g)
+      = 2 · [v_img ⊙ g + v_text ⊙ (1−g)]
+```
+
+Это эквивалентно масштабированию базового Gate-Fusion на константу 2 — простой, но интерпретируемый случай.
+
+#### Вариант C — маршрутизация через оцениваемую информативность (предлагаемый основной)
+
+**===ВОЗМОЖНО МОЖНО ИСПОЛЬЗОВАТЬ===**
+
+```
+q_text = InfoScore(v_text)      # скалярная оценка информативности признаков
+q_img  = InfoScore(v_img)
+
+r_text = σ(W_q · [q_text; q_img] + b)
+r_img  = σ(W_q · [q_img; q_text] + b)
+
+fused = gate_output + r_img ⊙ v_img + r_text ⊙ v_text
+```
+
+`InfoScore` — измеримая численная характеристика информативности признакового вектора (см. [[InfoScore for residual routing]]).
+
+### Общая схема (Adaptive Residual Gate Fusion — ARGF)
+
+```
+        v_img ──────────────────────────────────────────────── ⊙ r_img ──┐
+              \                                                            ├── + ── fused
+               ├── [concat] → W → σ → g ── ⊙  ──┐                        │
+              /                       (1-g) ⊙ ──┤── gate_out ────────────┤
+        v_text──                                 │                        │
+              \                                  └────────────────────────┤
+               └─── InfoScore(·) → r_text ───────────────── ⊙ v_text ───┘
+```
+
+---
+
+## 3. Предлагаемая экспериментальная программа
+
+### Этап 1. Анализ информативности в базовом Gate-Fusion
+- Для каждого батча вычислять `H_norm(v_img)`, `H_norm(v_text)`, `TAS`, `‖v_text‖/‖v_img‖`.
+- Анализировать корреляцию между показателями информативности и значением шлюза `g`.
+- **Гипотеза:** при низком `TAS` шлюз `g` стремится к 1 (отвергает текст); при высоком `H_norm(v_text)` — аналогично.
+
+### Этап 2. Реализация ARGF (Adaptive Residual Gate Fusion)
+- Реализовать вариант C: `r_text = σ(W · [H_norm(v_text); TAS; ‖v_text‖/‖v_img‖])`.
+- Сравнить с базовым Gate-Fusion, Gate+Sum, SRGF, RCGF на задачах регрессии и классификации.
+- Метрики: MAE / Loss (регрессия), F1 / Top-1 (классификация), а также информативностные метрики как диагностика.
+
+### Этап 3. Применение к задаче CVGL
+- Адаптировать ARGF для задачи перекрёстной геолокализации.
+- Исследовать роль каждого информативностного показателя в условиях смены ракурса (БПЛА ↔ спутник).
+- Оценить устойчивость к отсутствию метаданных (нет высоты / нет углов) через text-dropout с адаптивным r.
+
+---
+
+## 4. Связь с научной новизной диссертации
+
+Предложенное направление напрямую развивает положения работы:
+
+| Уже сделано                                        | Предлагаемое расширение                                                     |
+| -------------------------------------------------- | --------------------------------------------------------------------------- |
+| Gate-Fusion адаптивно регулирует вклад модальности | ARGF адаптивно регулирует вклад **остаточного сигнала** модальности         |
+| text-dropout случайно обнуляет текст               | Информативностный score **детерминированно** снижает вклад слабых признаков |
+| L_align как функция потерь                         | L_align как оперативный сигнал качества → вход в r-маршрутизатор            |
+| Вывод: SRGF пропускает шум                         | Решение: условная маршрутизация через измеримую информативность             |
+
+Это даёт потенциальное **третье положение научной новизны**: разработан метод адаптивной маршрутизации остаточных связей в блоке мультимодального слияния на основе численных показателей информативности признаков.
--- a/2_hypotheses/InfoScore
+++ b/2_hypotheses/InfoScore
@@ -0,0 +1,222 @@
+---
+tags:
+  - диссер
+---
+# 1. Информативность признаков: определение и численные показатели
+
+## Зачем измерять информативность признаков?
+
+==**В мультимодальном контексте вопрос «насколько полезен вектор признаков данной модальности для данного примера» является ключевым. Если текстовые признаки сформированы на основе ненадёжных или отсутствующих метаданных, их информативность низка и они вносят шум. Численная оценка информативности позволяет строить адаптивные механизмы слияния.**==
+
+---
+
+### 1.1. Энтропия распределения активаций
+
+**Идея:** слабоинформативный вектор признаков близок к равномерному распределению по компонентам (максимальная энтропия). Информативный вектор концентрирован — большинство активаций малы, единичные — высоки.
+
+Для вектора `v ∈ R^d` после softmax-нормализации `p = softmax(v)`:
+
+```
+H(v) = −Σᵢ p_i · log(p_i)
+```
+
+- `H → 0`: вектор концентрирован в одном измерении → высокая информативность.
+- `H → log(d)`: вектор равномерен → низкая информативность.
+
+**Нормализованная энтропия:**
+
+```
+H_norm(v) = H(v) / log(d)  ∈ [0, 1]
+```
+
+Можно использовать как основу для коэффициента маршрутизации:
+
+```
+r = 1 − H_norm(v)          # чем выше энтропия → меньше доверие → слабее остаток
+```
+
+**Ограничения:** чувствителен к масштабу вектора; требует нормализации перед применением.
+
+---
+
+### 1.2. Норма вектора признаков (L2-норма)
+
+**Идея:** признаки с малой нормой несут мало информации (близки к нулевому вектору).
+
+```
+‖v‖₂ = √(Σᵢ vᵢ²)
+```
+
+**Относительная норма (для сравнения модальностей):**
+
+```
+SNR_proxy = ‖v_text‖ / (‖v_img‖ + ε)
+```
+
+Если `SNR_proxy << 1` — текстовые признаки слабее визуальных → их вклад через остаточную связь нежелателен.
+
+**Плюсы:** дифференцируем, вычислительно дёшев, не требует дополнительных слоёв.  
+**Ограничения:** норма зависит от масштаба, не отражает внутреннюю структуру вектора.
+
+---
+
+### 1.3. Дисперсия активаций
+
+**Идея:** высокая дисперсия компонент вектора означает, что разные измерения несут различимую информацию. Низкая дисперсия (все компоненты близки) соответствует «вырождённому» вектору.
+
+```
+Var(v) = (1/d) · Σᵢ (vᵢ − μ_v)²,    μ_v = (1/d) · Σᵢ vᵢ
+```
+
+Нормализованный показатель:
+
+```
+CV(v) = std(v) / (|μ_v| + ε)         # коэффициент вариации
+```
+
+**Применение:** можно использовать как вспомогательный показатель совместно с нормой.
+
+---
+
+### 1.4. Косинусное сходство с «эталонным» признаком (Task-Alignment Score)
+
+**Идея:** информативность вектора модальности может быть оценена через его согласованность с результирующим предсказанием или с вектором другой модальности.
+
+**Task-Alignment:**
+
+```
+TAS(v_text, v_img) = <v_text, v_img> / (‖v_text‖ · ‖v_img‖)
+```
+
+- `TAS → 1`: модальности согласованы → текстовые признаки информативны относительно задачи.
+- `TAS → 0`: модальности ортогональны → текст несёт независимую или нерелевантную информацию.
+- `TAS → −1`: конфликт между модальностями → текст активно противоречит изображению.
+
+**Связь с L_align:** это тот же показатель, который уже применяется в функции потерь `L_align = 1 − TAS`. Таким образом, L_align можно переосмыслить не только как функцию потерь, но и как оперативный сигнал информативности текстовой модальности.
+
+---
+
+### 1.5. Ранговые меры (эффективный ранг)
+
+**Идея:** при работе с пакетом (батчем) изображений матрица признаков `V ∈ R^{B×d}` имеет эффективный ранг, отражающий разнообразие представлений. Вырожденный ранг (все строки похожи) означает, что модальность не несёт примеро-специфической информации.
+
+**Эффективный ранг через сингулярные значения:**
+
+```
+σ₁ ≥ σ₂ ≥ ... ≥ σ_r — сингулярные числа V
+p_i = σ_i / Σ_j σ_j
+
+EffRank(V) = exp(−Σᵢ p_i · log(p_i))   # экспонента энтропии p
+```
+
+- `EffRank → 1`: один доминирующий сингулярный вектор → признаки вырождены.
+- `EffRank → min(B, d)`: все направления равнозначны → признаки разнообразны.
+
+**Применение:** полезен для мониторинга качества признаков в процессе обучения; вычислительно дороже поэлементных мер, но применим на уровне батча.
+
+---
+
+### 1.6. Взаимная информация (Mutual Information)
+
+**Идея:** количество информации, которую вектор признаков `v_text` несёт о метке `y`.
+
+```
+MI(v_text; y) = H(y) − H(y | v_text)
+```
+
+**Практическая аппроксимация (MINE):** через нейросетевую оценку взаимной информации:
+
+```
+MI_θ(X; Y) ≈ E_{p(x,y)}[T_θ(x,y)] − log(E_{p(x)p(y)}[e^{T_θ(x,y)}])
+```
+
+где `T_θ` — обучаемая сеть-критик.
+
+**Применение в контексте CVGL:** MI между текстовыми признаками (метаданные) и визуальными признаками (изображение) позволяет оценить, насколько текстовый контейнер дополняет визуальную информацию, а не дублирует её.
+
+**Ограничения:** высокая вычислительная стоимость; требует отдельного обучения критика.
+
+---
+
+## Сводная таблица показателей информативности
+
+| Показатель                      | Формула (кратко)              | Сложность | Дифф-мость        | Применимость в ARGF       |
+| ------------------------------- | ----------------------------- | --------- | ----------------- | ------------------------- |
+| Нормализованная энтропия H_norm | `−Σ p·log(p) / log(d)`        | O(d)      | ✓ (через softmax) | Коэффициент r напрямую    |
+| L2-норма                        | `‖v‖₂`                        | O(d)      | ✓                 | Отношение норм как r      |
+| Дисперсия / CV                  | `std(v)/\|μ\|`                | O(d)      | ✓                 | Вспомогательный сигнал    |
+| Task-Alignment Score            | `<v_img, v_text> / (‖·‖·‖·‖)` | O(d)      | ✓                 | Переиспользование L_align |
+| Эффективный ранг                | `exp(H(σ/Σσ))`                | O(Bd²)    | Частично          | Мониторинг обучения       |
+| Взаимная информация (MINE)      | Нейросетевая оценка           | Высокая   | ✓                 | Теоретическая рамка       |
+## Проблемы
+
+![[Pasted image 20260421112254.png]]
+# 2. Идея для InfoScore 
+
+[[Рекомендации и идеи]]
+
+**==Мера корректности проекции в конкретное подпространство==** 
+
+![[Pasted image 20260421112809.png]]
+
+# 📘 Часть 4. Модификации InfoScore для возможной интеграции
+
+Если хочется сохранить InfoScore как активный компонент метода (а не только диагностику), возможны 4 пути модификации с разной степенью инвазивности.
+
+---
+
+## 🔹 4.1 Вариант M1 — SM-InfoScore (Subspace-Mahalanobis)
+
+### 💡 Идея
+Вместо меры информативности вектора в $\mathbb{R}^d$ используется мера корректности его проекции в конкретное подпространство.
+
+---
+## 📐 Формулы
+
+### Обучаемые статистики (EMA по батчам)
+
+$$
+\mu_{sub} = (1 - \alpha)\,\mu_{sub}^{prev} + \alpha \cdot \text{mean}_{batch}(v_{sub})
+$$
+$$
+\Sigma_{sub} = (1 - \alpha)\,\Sigma_{sub}^{prev} + \alpha \cdot \text{cov}_{batch}(v_{sub})
+$$
+
+где:
+- $\alpha = 0.01$ — EMA momentum
+
+---
+### 📊 SM-InfoScore
+
+$$
+SM(v_{sub}) =
+(v_{sub} - \mu_{sub})^T \cdot
+(\Sigma_{sub} + \varepsilon I)^{-1} \cdot
+(v_{sub} - \mu_{sub}) \in \mathbb{R}_+
+$$
+
+---
+## ✅ Свойства
+
+- ✔ Per-example (решает проблему EffRank)  
+- ✔ Теоретически обоснован (расстояние Махаланобиса)  
+- ✔ Дифференцируем (через стабильное разложение Холецкого)  
+- ✔ Связан с правдоподобием:
+$$
+SM = -2 \log \mathcal{N}(v_{sub}; \mu_{sub}, \Sigma_{sub}) + \text{const}
+$$
+
+---
+## 🧩 Блок-схема
+
+```text
+v_img → MLP_sub_img → P_sub^T → v_img_sub
+                                 |
+                                 ↓
+                 distance(·, μ_sub, Σ_sub) → SM_sub ∈ ℝ₊
+
+μ_sub, Σ_sub ← EMA update (running statistics)
+```
+
+![[Pasted image 20260421112940.png]]
+
--- a/2_hypotheses/Гипотезы
+++ b/2_hypotheses/Гипотезы
@@ -0,0 +1,22 @@
+---
+aliases:
+  - hypo
+tags:
+  - диссер
+---
+## H1 - Добавление доп. семантики улучшает показатели
+
+Добавление простой текстовой семантики к имеющимся признакам позволяет связать числовые или категориальные характеристики снимков и их визуальные особенности, добавив осмысленность различиям в метаданных и визуальном представлении. Такое семантическое обогащение улучшает метрики даже для задач с минимально известными входными данными. 
+
+## H2 - Остаточные связи после фильтрации шума
+
+[[Adaptive_residual_routing]]
+
+Простая остаточная связь в механизме Gate-Fusion нивелирует его работу, возвращая шум исходных данных, однако, адаптивное добавление полезного исходного сигнала на основе некой метрики информативности модальности может усилить информативность объединенного вектора даже после потери части сигнала из-за фильтрации.
+
+**==Можно развить идею [[InfoScore for residual routing]]==** 
+
+
+
+
+
--- a/2_hypotheses/Материалы/Pasted
+++ b/2_hypotheses/Материалы/Pasted
--- a/3_work/Hierarchical
+++ b/3_work/Hierarchical
@@ -0,0 +1,18 @@
+---
+tags:
+  - диссер
+---
+# Базовая информация
+
+Продвинутый метод многоуровневого фьюза на основе иерархической декомпозиции информации. 
+
+![[Pasted image 20260421105149.png|397]]
+## Источники текста
+
+| Шаблон | Назначение                                                         |
+| ------ | ------------------------------------------------------------------ |
+| T_meta | хранение метаданных снимка (координаты, углы, высота, погода и др) |
+| T_L_i  | Описание снимка согласно уровням деталей вида                      |
+
+![[Pasted image 20260421105836.png]]
+
--- a/3_work/baseline_gate_fusion.md
+++ b/3_work/baseline_gate_fusion.md
@@ -0,0 +1,92 @@
+---
+tags:
+  - диссер
+---
+[[Gate Fusion]]
+# Эксперименты: базовый Gate-Fusion (расширенная версия статьи)
+
+> Источник: «Регрессионная нейронная сеть на основе регуляризации функции потерь в одномодальном и мультимодальном подходах к задаче оценки положения БПЛА»  
+> Авторы: Пикалёв Я.С., Павленко Б.В.
+
+---
+
+## Постановка задачи
+
+Задача: регрессия углов ориентации камеры БПЛА (yaw, pitch, roll) и высоты по входным аэрофотоснимкам.
+
+---
+
+## Архитектура модели (RegrUAV)
+
+| Компонент | Описание |
+|---|---|
+| **Backbone** | StripNet-small (ортогональные large-kernel свёртки, оптимизированы для UAV-снимков) |
+| **Neck** | Attention Block + Multifusion Block (многомасштабное объединение признаков) |
+| **Head** | 2× FC-слоя → 3 угла (pitch, yaw, roll) |
+| **Текстовый энкодер** | MobileCLIP2-s0 (частичная разморозка: слои текстовой проекции + последний блок трансформера) |
+| **Объединение** | Gate-Fusion |
+| **Оптимизатор** | Ranger (RAdam + Lookahead) |
+
+---
+
+## Одномодальные эксперименты
+
+**Метрика:** MAE (Mean Absolute Error), Loss = Focal Huber Loss
+
+| Backbone           | Датасет     | Train Loss | Train MAE | Val Loss | Val MAE  |
+| ------------------ | ----------- | ---------- | --------- | -------- | -------- |
+| ==StripNet-small== | ==GTA-UAV== | ==0.05==   | ==0.11==  | ==0.05== | ==0.10== |
+| InceptionNext-tiny | GTA-UAV     | 0.08       | 0.17      | 0.10     | 0.21     |
+| ==StripNet-small== | ==VisLoc==  | ==0.10==   | ==0.22==  | ==0.11== | ==0.22== |
+| InceptionNext-tiny | VisLoc      | 0.11       | 0.24      | 0.11     | 0.21     |
+
+**Вывод:** StripNet-small превосходит InceptionNext-tiny на специфических UAV-данных (GTA-UAV). На VisLoc разница по val MAE минимальна, однако StripNet стабильнее по train MAE.
+
+---
+
+## Мультимодальные эксперименты (Gate-Fusion)
+
+**Настройки:** 50 эпох, backbone StripNet-small, датасет VisLoc
+
+### Влияние гиперпараметров
+
+| p_textDropout | λ | d_step | Train Loss | Train MAE | Val Loss | Val MAE |
+|---|---|---|---|---|---|---|
+| 0.2 | 0.5 | 10 | 0.03 | 0.10 | 0.11 | 0.19 |
+| 0.2 | 0.5 | 10 | 0.03 | 0.10 | 0.13 | 0.15 |
+| 0.3 | 0.1 | 5 | 0.02 | 0.08 | 0.11 | 0.17 |
+| 0.3 | 0.5 | 5 | 0.04 | 0.13 | 0.12 | 0.20 |
+
+### Сравнение одномодального и мультимодального подхода
+
+| Модальность | Train Loss | Train MAE | Val Loss | Val MAE |
+|---|---|---|---|---|
+| img (one-modal) | 0.10 | 0.22 | 0.11 | 0.22 |
+| img + text (Gate-Fusion) | **0.02** | **0.08** | 0.11 | **0.17** |
+
+**Вывод:** мультимодальный подход снижает train MAE с 0.22 до 0.08 (в 2.75 раза), val MAE с 0.22 до 0.17 (на 23%). Val Loss не меняется, что говорит об отсутствии переобучения.
+
+---
+
+## Экспериментальные наблюдения
+
+1. **p_textDropout и d_step коррелируют:** увеличение p_textDropout (0.2→0.3) коррелирует с уменьшением шага интерполяции (10→5). Возможно, более точная интерполяция высоты компенсирует более частое отключение текстовых признаков.
+2. **Наилучший результат:** p_textDropout=0.3, λ=0.1, d_step=5 → val MAE=0.17.
+3. **Gate-Fusion vs конкатенация:** Gate-Fusion не увеличивает размерность объединённого вектора, что позволило избежать роста вычислительных затрат при переходе к мультимодальному подходу.
+
+---
+
+## Наборы данных
+
+### GTA-UAV
+- Синтетический датасет на основе GTA V
+- 33 763 снимка
+- Метки: координаты, углы Эйлера, кватернионы, семантические маски, условия погоды и времени суток
+- Диапазон высот: широкий (синтетический)
+
+### VisLoc
+- Реальный датасет для визуальной локализации
+- 6 742 снимка с реальных БПЛА
+- Метки: GPS/RTK с точностью до сантиметров
+- Диапазон высот: 400–2000 м
+- Сложности: шум сенсора, блики, вариации освещённости и погоды
--- a/3_work/methods/Gate
+++ b/3_work/methods/Gate
@@ -0,0 +1,191 @@
+---
+aliases:
+  - GF
+  - gate
+tags:
+  - диссер
+  - Нейросети
+  - fusion
+---
+
+# Метод Gate-Fusion и его модификации
+
+## 1. Базовый Gate-Fusion
+
+### Идея
+
+Gate-Fusion — адаптивное слияние признаков двух модальностей через обучаемый вектор шлюзов `g`. В отличие от конкатенации и поэлементного сложения, шлюз позволяет модели динамически регулировать вклад каждой модальности на уровне отдельных примеров батча.
+
+### Формулировка
+
+Комбинированное промежуточное представление:
+
+```
+z = tanh(W_x · x + W_y · y + b_z)          (1)
+```
+
+Вектор шлюза:
+
+```
+g = σ(W_x · x + W_y · y + b_g)             (2)
+```
+
+Итоговое объединение:
+
+```
+fused = g ⊙ z + (1 − g) ⊙ x               (3)
+```
+
+В применяемом варианте для задачи регрессии/классификации на UAV-снимках:
+
+```
+fused = v_img ⊙ g + v_text ⊙ (1 − g)      (4)
+```
+
+где:
+- `v_img` — вектор визуальных признаков,
+- `v_text` — вектор текстовых признаков,
+- `g = σ(linear([v_img; v_text]))` — обучаемый шлюз.
+
+### Свойства
+
+- **Адаптивность:** шлюз вычисляется из входных данных, то есть вклад модальности меняется от примера к примеру.
+- **Сохранение размерности:** выходной вектор имеет ту же размерность, что и входные модальности (`d`), без роста вычислительной нагрузки.
+- **Устойчивость к шуму:** если одна из модальностей зашумлена, шлюз снижает её вклад, опираясь на более надёжную.
+- **Ограничение:** меньшая выразительность межмодальных зависимостей по сравнению с полным cross-attention (нет попарного взаимодействия токенов).
+
+---
+
+## 2. Stochastic Text-Dropout
+
+При обучении с вероятностью `p_textDropout` текстовые признаки игнорируются — модель обучается только на визуальном сигнале. Это:
+
+1. Предотвращает переобучение на текстовую модальность.
+2. Обеспечивает работоспособность модели в тестовом режиме, когда текстовый энкодер отключён (экономия ресурсов).
+
+Функция потерь адаптируется:
+
+```
+L = L_reg,                      если text-dropout активен
+L = L_reg + λ · L_align,        иначе
+```
+
+Функция выравнивания признаков:
+
+```
+L_align = 1 − <v_img, v_text> / (‖v_img‖ · ‖v_text‖)    (5)
+```
+
+Экспериментально установлены оптимальные диапазоны:
+- `p_textDropout ∈ {0.2, 0.3}`
+- `λ ∈ {0.1, 0.5}`
+
+---
+
+## 3. Модификация SRGF (Simple Residual Gate Fusion)
+
+### Идея
+
+Добавление остаточных связей для каждой модальности — усиление признакового сигнала и предотвращение затухания градиентов в глубоких конфигурациях.
+
+### Формулировка
+
+```
+img_res  = v_img  ⊙ g + v_img              (6)
+text_res = v_text ⊙ (1 − g) + v_text      (7)
+fused    = img_res + text_res              (8)
+```
+
+### Анализ
+
+Шлюз сохраняет механизм регулировки вклада, при этом остаточная связь гарантирует, что исходный сигнал модальности всегда присутствует в итоговом представлении. Однако остаточная связь добавляет и шум исходных сигналов к уже отфильтрованным признакам, что частично нивелирует эффект подавления слабой модальности.
+
+**Результаты:** не показала значимого улучшения по сравнению с базовым Gate-Fusion на задачах регрессии и классификации; наблюдается рост ошибки при валидации (val Loss: 1.10 против 0.72 для классификации).
+
+---
+
+## 4. Модификация с дополнительной суммой (Gate + Sum)
+
+### Формулировка
+
+```
+fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1 − g)    (9)
+```
+
+### Анализ
+
+Исходные признаки всегда вносят единичный вклад (через сумму), а шлюз выступает дополнительным усилителем. При отключении текстовых признаков в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков.
+
+**Результаты:** 
+- Снижение val Loss классификации: 0.66 (против 0.72 у базового).
+- Снижение val MAE регрессии: 0.19 (против 0.28 у базового).
+- Проблема: дополнительное масштабирование признаков вызывает нестабильность масштаба объединённого вектора, что сильнее сказывается на регрессии, чем на классификации.
+
+---
+
+## 5. Модификация RCGF (Residual Cross-Gate Fusion)
+
+### Идея
+
+Взаимная контекстуальная модуляция: каждая модальность управляет шлюзом другой. Текст «запрашивает» у изображения релевантные признаки; изображение верифицирует текст, подавляя слабо соотносящиеся текстовые компоненты.
+
+### Формулировка
+
+Шлюз для изображения (управляется текстом):
+
+```
+g_x = σ(linear(v_text))                   (10)
+```
+
+Шлюз для текста (управляется изображением):
+
+```
+g_y = σ(linear(v_img))                    (11)
+```
+
+Итоговое объединение:
+
+```
+fused = v_img ⊙ g_y + v_text ⊙ g_x       (12)
+```
+
+### Анализ
+
+RCGF — концептуально ближайший к механизму внимания вариант среди исследованных: шлюз-маска функционирует как упрощённая одномерная матрица внимания. В отличие от полного cross-attention, отсутствует попарное взаимодействие токенов, что сохраняет линейную сложность.
+
+**Результаты:**
+- Классификация: val F1 = 0.96, val Top-1 = 0.96 (против 0.99 / 0.98 у базового Gate-Fusion).
+- Регрессия: val MAE = 0.25 (против 0.28 у базового; +Gate+Sum даёт 0.19).
+- Вывод: улучшение по сравнению с SRGF, но не превосходит базовый Gate-Fusion по всем метрикам.
+
+---
+
+## 6. Сводная таблица результатов
+
+### Классификация (UC Merced Land Use Dataset)
+
+| Метод | Train Loss | Val Loss | Train F1 | Val F1 | Train Top-1 | Val Top-1 |
+|---|---|---|---|---|---|---|
+| Gate-Fusion | 0.63 | **0.72** | 0.95 | **0.99** | 0.93 | **0.98** |
+| Gate + Sum | 0.75 | **0.66** | 0.93 | 0.97 | 0.91 | 0.97 |
+| SRGF | 0.75 | 1.10 | 0.94 | 0.93 | 0.93 | 0.92 |
+| RCGF | 0.75 | 0.88 | 0.95 | 0.96 | 0.93 | 0.96 |
+
+### Регрессия (VisLoc)
+
+| Метод | Train Loss | Val Loss | Train MAE | Val MAE |
+|---|---|---|---|---|
+| Gate-Fusion | 0.02 | 0.14 | 0.08 | 0.28 |
+| Gate + Sum | 0.02 | **0.12** | 0.13 | **0.19** |
+| SRGF | 0.03 | 0.13 | 0.16 | 0.25 |
+| RCGF | 0.03 | **0.12** | 0.16 | 0.25 |
+
+---
+
+## 7. Выводы
+
+1. Базовый Gate-Fusion наиболее устойчив на задаче классификации — сохраняет чёткий механизм регулировки вклада модальностей.
+2. Модификация Gate + Sum даёт наилучшее снижение ошибки регрессии (val MAE 0.19), сохраняя механизм шлюза и добавляя суммарный остаточный сигнал.
+3. Остаточные связи на уровне каждой модальности (SRGF) приводят к переносу шума исходных сигналов в объединённое представление — ухудшение при классификации.
+4. RCGF (перекрёстные шлюзы) — перспективное направление для дальнейшей разработки как компромисс между выразительностью cross-attention и эффективностью Gate-Fusion.
+5. Применение text-dropout и L_align необходимо для предотвращения переобучения на текстовую модальность при любой конфигурации слияния.
--- a/3_work/methods/loss_functions.md
+++ b/3_work/methods/loss_functions.md
@@ -0,0 +1,129 @@
+---
+tags:
+  - диссер
+---
+[[Математическая функция]]
+[[Расчёт функции потерь]]
+# Функции потерь
+
+## 1. Focal Huber Loss (FHL)
+
+### Мотивация
+
+При регрессии параметров положения БПЛА данные обладают двумя характерными проблемами:
+- **Выбросы** — отдельные снимки с экстремальными углами или высотами;
+- **Дисбаланс** — неравномерное распределение значений меток в пространстве.
+
+MSE чрезмерно усиливает влияние выбросов. Huber Loss смягчает это, но не решает проблему дисбаланса. Focal Loss, изначально предназначенная для классификации, решает проблему дисбаланса, но не применима напрямую к регрессии.
+
+**Focal Huber Loss** объединяет оба механизма.
+
+### Formulation
+
+Функция Huber Loss:
+
+```
+H_β(d) = { d² / (2β),   d < β
+          { d − β/2,     d ≥ β
+
+d = |y − ŷ|
+```
+
+Focal-взвешивание:
+
+```
+F_γ(d) = tanh(β·d)^γ                   (вариант с tanh)
+F_γ(d) = (2σ(β·d) − 1)^γ              (вариант с sigmoid)
+
+σ(z) = 1 / (1 + e^{−z})
+```
+
+Итоговая Focal Huber Loss:
+
+```
+FHL = (1/N) · Σ H_β(d_i) · F_γ(d_i)
+```
+
+### Свойства
+
+- Малые ошибки имеют пониженный вес → модель фокусируется на сложных примерах.
+- После того, как простые примеры освоены, их вклад в градиент снижается.
+- Устойчивость к выбросам обеспечивается линейным режимом Huber для больших `d`.
+
+---
+
+## 2. Функция выравнивания признаков L_align
+
+### Мотивация
+
+При мультимодальном обучении необходимо, чтобы визуальные и текстовые признаки, описывающие одну и ту же сцену, находились близко в латентном пространстве. В противном случае шлюз Gate-Fusion получает некогерентные сигналы.
+
+### Формулировка
+
+```
+L_align = 1 − <v_img, v_text> / (‖v_img‖ · ‖v_text‖)
+```
+
+Это косинусная ошибка сходства: равна 0 при полном совпадении направлений, равна 1 при ортогональности, равна 2 при противонаправленности.
+
+### Интеграция в общую функцию потерь
+
+```
+L = L_reg,                      если text-dropout активен (prob = p_textDropout)
+L = L_reg + λ · L_align,        иначе
+```
+
+- **`λ`** — коэффициент влияния ошибки выравнивания. Оптимальные значения: `λ ∈ {0.1, 0.5}`.
+- При text-dropout ошибка выравнивания не вычисляется (текстовые признаки недоступны).
+
+### Эффект
+
+- Препятствует расхождению модальностей в латентном пространстве.
+- Работает как дополнительная регуляризация, не требующая внешних меток.
+- Совместно с text-dropout предотвращает коллапс модели в сторону текстовой модальности.
+
+---
+
+## 3. Feature Distribution Smoothing (FDS)
+
+Применяется для задачи регрессии как метод борьбы с дисбалансом данных по значению высоты.
+
+### Идея
+
+Статистики (среднее и ковариация) признаков в пространстве скрытых представлений сглаживаются между соседними ячейками целевого значения (высоты).
+
+### Формулировка
+
+Статистики для ячейки `b`:
+
+```
+μ_b  = (1/N_b) Σ z_i
+Σ_b  = (1/(N_b−1)) Σ (z_i − μ_b)(z_i − μ_b)ᵀ
+```
+
+Сглаживание через симметричное ядро `k(y_b, y_b')`:
+
+```
+μ̃_b = Σ_{b'} k(y_b, y_b') · μ_{b'}
+Σ̃_b = Σ_{b'} k(y_b, y_b') · Σ_{b'}
+```
+
+Калибровка признаков:
+
+```
+z̃ = Σ̃_b^{1/2} · Σ_b^{−1/2} · (z − μ_b) + μ̃_b
+```
+
+Статистики обновляются через Exponential Moving Average (EMA) после каждой эпохи.
+
+---
+
+## 4. Сводка гиперпараметров функций потерь
+
+| Параметр | Назначение | Оптимальный диапазон |
+|---|---|---|
+| `β` (Huber) | Граница линейного/квадратичного режима | Зависит от масштаба данных |
+| `γ` (Focal) | Сила подавления лёгких примеров | 1–3 |
+| `λ` | Вес L_align в итоговой функции потерь | 0.1–0.5 |
+| `p_textDropout` | Вероятность игнорирования текстовых признаков | 0.2–0.3 |
+| `d_step` | Шаг интерполяции высоты | 5–10 м |
--- a/3_work/methods/text_templates.md
+++ b/3_work/methods/text_templates.md
@@ -0,0 +1,131 @@
+---
+tags:
+  - диссер
+  - "#text_prompts"
+---
+
+# Текстовые шаблоны для кодирования метаданных аэрофотоснимков
+
+## 1. Обоснование подхода
+
+### Почему текст, а не прямая подача числовых признаков?
+
+Прямая подача числовых метаданных в виде векторов требует дополнительной входной ветви и усложняет архитектуру. Текстовые шаблоны позволяют:
+
+- задействовать предобученные языковые модели (CLIP, MobileCLIP), чьи пространства уже содержат богатые семантические структуры;
+- передавать метаданные без изменения архитектуры модели;
+- обеспечить семантическую интерпретацию числовых значений (не просто `h=450`, а `"taken from a height of 450 meters"`);
+- унифицировать разнородные источники информации в едином входном формате.
+
+> Авторы LLaVA-ST установили, что прямая передача точных числовых значений в текст **ухудшает** обучение; преобразование в интерпретируемые категории, интервалы или относительные описания — **улучшает**.
+
+### Выбор языка шаблонов
+
+Английский язык выбран как основной по следующим основаниям:
+
+- Модели CLIP и MobileCLIP обучены преимущественно на англоязычных корпусах (WIT — 100% EN, LAION-5B — ~40% EN оригинал + ~3B переведённых пар).
+- Анализ косинусного сходства показывает: медианное сходство для англоязычного текста (0.296 при 50-м перцентиле) выше, чем для оригинального нетранслированного (0.286).
+- Англоязычные описания обеспечивают более согласованные с изображениями текстовые эмбеддинги.
+
+---
+
+## 2. Типы метаданных аэрофотоснимков
+
+### Числовые признаки
+
+| Признак | Описание | Влияние на изображение |
+|---|---|---|
+| Высота съёмки (h) | Высота БПЛА над землёй, м | Масштаб объектов, разрешение |
+| Yaw | Азимутный угол камеры, ° | Ориентация сцены |
+| Pitch | Угол тангажа, ° | Перспективные искажения |
+| Roll | Угол крена, ° | Наклон горизонта |
+| Количество объектов класса | Агрегированный счётчик по метаклассу | Семантическое содержание |
+
+### Категориальные признаки
+
+| Признак | Значения | Влияние на изображение |
+|---|---|---|
+| Тип платформы | БПЛА / Спутник | Разрешение, угол обзора |
+| Время суток | Утро / День / Вечер / Ночь | Освещённость, длина теней |
+| Сезон | Весна / Лето / Осень / Зима | Цвет растительности, снег |
+| Погода | Ясно / Облачно / Дождь / Туман | Видимость, шум, блики |
+
+---
+
+## 3. Разработанные шаблоны
+
+### Задача регрессии (высота / углы ориентации)
+
+Минимальный шаблон с акцентом на числовое значение:
+
+```
+"This is a drone aerial image taken from a height of <h> meters"
+```
+
+Расширенный шаблон с углами:
+
+```
+"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation 
+defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°."
+```
+
+### Задача классификации
+
+Варианты с указанием целевого класса без лишних метаданных:
+
+```
+a) "The target is a <class> in an aerial photo"
+b) "An aerial photo contains a <class>"
+c) "An aerial view showing a <class>"
+```
+
+### Задача семантической сегментации (полный шаблон)
+
+```
+"Drone aerial photo from UAV, taken from height <h> meters, with camera orientation 
+defined by yaw <yaw>°, pitch <pitch>°, and roll <roll>°. <time> time, season is <season>. 
+Here is next amount of metaclasses. Road: <count>, Nature: <count>, Construction: <count>, 
+Obstacle: <count>, Water: <count>"
+```
+
+Смысл каждого компонента:
+- **Высота** → масштаб захватываемого контекста;
+- **Ориентация камеры** → геометрия проекции;
+- **Временные параметры** → освещённость и внешний вид объектов;
+- **Метаклассы** → семантическое содержание сцены.
+
+---
+
+## 4. Принципы разработки шаблонов
+
+1. **Структурированность** — числовые и категориальные значения лингвистически корректно связаны со смысловыми описаниями.
+2. **Семантическая интерпретируемость** — текст остаётся читаемым человеком.
+3. **Согласование с визуальными признаками** — элементы шаблона соответствуют наблюдаемым характеристикам изображения.
+4. **Минимальная достаточность** — набор признаков определяется доступностью данных в датасете или возможностью их извлечения методом VQA.
+
+---
+
+## 5. Интерполяция значений высоты
+
+При дискретности меток высоты в датасете введён механизм интерполяции:
+
+```
+h_q   = round(h / d_step) · d_step          # квантование до ближайшего шага
+h_out = max(h_min, min(h_max, h_q))         # ограничение диапазоном датасета
+```
+
+где `d_step` — шаг интерполяции. Экспериментально установлены оптимальные значения: `d_step ∈ {5, 10}`.
+
+Цель: обеспечить более плавную ассоциацию между визуальным представлением изображения и значением высоты, повысить устойчивость к вариациям высоты и углов поворота камеры.
+
+---
+
+## 6. Извлечение категориальных признаков методом VQA
+
+Признаки, не содержащиеся явно в метаданных датасета (сезон, погода, время суток), могут быть получены с помощью Visual Question Answering:
+
+- **Вопрос:** "What is the approximate season shown in this aerial image?"
+- **Вопрос:** "What time of day does this image appear to be taken?"
+- **Вопрос:** "What is the weather condition in this image?"
+
+Это позволяет автоматически обогащать текстовые описания без ручной разметки.
--- a/эксперименты.md
+++ b/эксперименты.md
@@ -0,0 +1,32 @@
+---
+tags:
+  - диссер
+  - "#ML_Exp"
+---
+[[Gate Fusion]]
+# Baseline (Gated img & cat with text)
+
+
+![[Pasted image 20260418145720.png|557]]
+
+![[Pasted image 20260418145749.png|560]]
+
+## VisLoc - No Text_drop
+
+**Train**
+
+![[Pasted image 20260418152236.png|236]]
+
+**Test**
+
+![[Pasted image 20260418152255.png|253]]
+
+## VisLoc - Text_drop
+
+**Train**
+
+![[Pasted image 20260418152704.png|238]]
+
+**Test**
+
+![[Pasted image 20260418152827.png|252]]
--- a/3_work/Материалы/CLS_GFs_Train_comp_pv3_ptd_01_l_03.png
+++ b/3_work/Материалы/CLS_GFs_Train_comp_pv3_ptd_01_l_03.png
--- a/3_work/Материалы/CLS_GFs_val_comp_pv3_ptd_01_l_03.png
+++ b/3_work/Материалы/CLS_GFs_val_comp_pv3_ptd_01_l_03.png
--- a/3_work/Материалы/CLS_GFs_val_comp_pv3_ptd_01_l_03_v2.png
+++ b/3_work/Материалы/CLS_GFs_val_comp_pv3_ptd_01_l_03_v2.png
--- a/3_work/Материалы/Pasted
+++ b/3_work/Материалы/Pasted
--- a/3_work/Материалы/Pasted
+++ b/3_work/Материалы/Pasted
--- a/3_work/Материалы/Pasted
+++ b/3_work/Материалы/Pasted
--- a/3_work/Материалы/REGR_GFs_Train_comp_pv3_ptd_03_l_01.png
+++ b/3_work/Материалы/REGR_GFs_Train_comp_pv3_ptd_03_l_01.png
--- a/3_work/Материалы/REGR_GFs_val_comp_pv3_ptd_03_l_01_v2.png
+++ b/3_work/Материалы/REGR_GFs_val_comp_pv3_ptd_03_l_01_v2.png
--- a/3_work/Модификации
+++ b/3_work/Модификации
@@ -0,0 +1,125 @@
+---
+tags:
+  - диссер
+  - "#ML_Exp"
+---
+[[Gate Fusion]]
+# Эксперименты: модификации Gate-Fusion (SRGF / RCGF)
+
+> Источник: «Модификации метода объединения через мультипликативные шлюзы с применением остаточных связей»  
+> Автор: Павленко Б.В. // Проблемы искусственного интеллекта. 2024.
+
+---
+
+## Постановка эксперимента
+
+**Цель:** исследовать влияние остаточных связей на качество работы Gate-Fusion в задачах регрессии и классификации на UAV-снимках.
+
+**Гипотеза:** остаточная связь в Gate-механизмах работает как усилитель признакового сигнала и снижает ошибку, аналогично её роли в ResNet.
+
+**Условия:**
+- Backbone: StripNet-small
+- Текстовый энкодер: MobileCLIP2-s0
+- Оптимизатор: Ranger
+- p_textDropout = 0.1, λ = 0.3 (для воспроизводимости)
+- Регрессия: 10 эпох, датасет VisLoc
+- Классификация: 20 эпох, датасет UC Merced Land Use Dataset (~2K снимков, 21 класс)
+
+---
+
+## Исследуемые методы
+
+| Метод       | Формула                                                                               | Описание                                   |
+| ----------- | ------------------------------------------------------------------------------------- | ------------------------------------------ |
+| Gate-Fusion | `fused = v_img ⊙ g + v_text ⊙ (1−g)`                                                  | Базовый метод                              |
+| Gate + Sum  | `fused = v_img + v_text + v_img ⊙ g + v_text ⊙ (1−g)`                                 | Дополнительная сумма исходных модальностей |
+| SRGF        | `img_r = v_img ⊙ g + v_img; text_r = v_text ⊙ (1−g) + v_text; fused = img_r + text_r` | Раздельные остаточные связи                |
+| RCGF        | `g_x = σ(W·v_text); g_y = σ(W·v_img); fused = v_img ⊙ g_y + v_text ⊙ g_x`             | Перекрёстные шлюзы без остаточных связей   |
+
+---
+
+## Результаты классификации (UC Merced)
+
+### Обучение
+
+| Метод | Loss | F1 | Top-1 | Top-5 |
+|---|---|---|---|---|
+| Gate-Fusion | 0.63 | 0.95 | 0.93 | 0.99 |
+| Gate + Sum | 0.75 | 0.93 | 0.91 | 0.99 |
+| SRGF | 0.75 | 0.94 | 0.93 | 0.99 |
+| RCGF | 0.75 | 0.95 | 0.93 | 0.99 |
+![[CLS_GFs_Train_comp_pv3_ptd_01_l_03.png]]
+### Валидация
+
+| Метод | Loss | F1 | Top-1 | Top-5 |
+|---|---|---|---|---|
+| Gate-Fusion | **0.72** | **0.99** | **0.98** | **1.00** |
+| Gate + Sum | **0.66** | 0.97 | 0.97 | 1.00 |
+| SRGF | 1.10 | 0.93 | 0.92 | 1.00 |
+| RCGF | 0.88 | 0.96 | 0.96 | 0.99 |
+![[CLS_GFs_val_comp_pv3_ptd_01_l_03.png]]
+
+![[CLS_GFs_val_comp_pv3_ptd_01_l_03_v2.png]]
+---
+
+## Результаты регрессии (VisLoc)
+
+### Обучение
+
+| Метод | Loss | MAE |
+|---|---|---|
+| Gate-Fusion | 0.02 | 0.08 |
+| Gate + Sum | 0.02 | 0.13 |
+| SRGF | 0.03 | 0.16 |
+| RCGF | 0.03 | 0.16 |
+![[REGR_GFs_Train_comp_pv3_ptd_03_l_01.png]]
+### Валидация
+
+| Метод | Loss | MAE |
+|---|---|---|
+| Gate-Fusion | 0.14 | 0.28 |
+| Gate + Sum | **0.12** | **0.19** |
+| SRGF | 0.13 | 0.25 |
+| RCGF | **0.12** | 0.25 |
+![[REGR_GFs_val_comp_pv3_ptd_03_l_01_v2.png]]
+
+---
+
+## Анализ результатов
+
+### Gate + Sum
+Единственная модификация, показавшая значимое улучшение:
+- Val Loss классификации: 0.66 (−8.3% к базовому)
+- Val MAE регрессии: 0.19 (−32.1% к базовому)
+
+**Механизм улучшения:** при отключённом text-dropout в тест-режиме модель получает остаточный сигнал через сумму визуальных признаков, что компенсирует отсутствие текстовой ветки. Gate при этом сохраняет свою функцию мягкого усилителя.
+
+**Проблема:** дополнительная сумма исходных модальностей вызывает нестабильность масштаба объединённого вектора — особенно критично для регрессии (MAE чувствителен к масштабу), менее критично для классификации (Top-1/F1 остаются высокими).
+
+### SRGF
+Раздельные остаточные связи добавляют шум исходных сигналов к уже отфильтрованным через шлюз признакам. Это **нарушает** основной принцип Gate-Fusion — регулировку вклада модальности. Результат: val Loss классификации вырос до 1.10 (ухудшение на 53%).
+
+**Вывод:** остаточная связь на уровне каждой модальности **несовместима** с принципом работы Gate-Fusion в условиях зашумлённых UAV-данных.
+
+### RCGF
+Перекрёстные шлюзы частично улучшают регрессию (val Loss 0.12, MAE 0.25) по сравнению с базовым (val Loss 0.14, MAE 0.28), но уступают Gate + Sum. На классификации уступает базовому Gate-Fusion по F1 и Top-1.
+
+**Концептуальная ценность:** RCGF наиболее близок к механизму внимания из исследованных вариантов — без роста вычислительной сложности. Перспективно для дальнейшего развития в направлении CVGL.
+
+---
+
+## Подтверждение / опровержение гипотезы
+
+**Гипотеза частично опровергнута.** Остаточные связи в Gate-механизмах работают как усилитель сигнала только при условии сохранения оригинальной схемы Gate-Fusion (Gate + Sum). Модификации, встраивающие остаточные связи в сами шлюзы (SRGF), нарушают механизм регулировки вклада модальности и приводят к ухудшению показателей.
+
+---
+
+## Выводы и дальнейшие направления
+
+1. Для задачи регрессии оптимальна модификация **Gate + Sum** при условии стабилизации масштаба объединённого вектора (например, через нормализацию).
+2. Базовый **Gate-Fusion** остаётся наиболее надёжным для задачи классификации.
+3. **RCGF** — перспективное направление для адаптации под CVGL, где текст может выступать запросом к визуальному пространству.
+4. Необходимо исследовать сочетание Gate + Sum с нормализацией выходного вектора для устранения нестабильности масштаба.
+5. Для задачи CVGL требуется отдельная адаптация функции потерь с учётом метрики сопоставления изображений (triplet loss, contrastive loss).
+
+
--- a/4_questions_problems/Материалы/Pasted
+++ b/4_questions_problems/Материалы/Pasted
--- a/4_questions_problems/Материалы/Pasted
+++ b/4_questions_problems/Материалы/Pasted
--- a/4_questions_problems/Материалы/Pasted
+++ b/4_questions_problems/Материалы/Pasted
--- a/4_questions_problems/Материалы/Pasted
+++ b/4_questions_problems/Материалы/Pasted
--- a/4_questions_problems/Научная
+++ b/4_questions_problems/Научная
@@ -0,0 +1,31 @@
+---
+tags:
+  - диссер
+---
+
+```
+п.1. 
+
+Фьюз + Возможно можно доразвить InfoScore.
+Он должен работать в системе CVGL. 
+Должно быть не просто улучшение. Протестить GeoText для сравнения с их подходом.
+Для веса гипотезы этот фюьз должен срабатывать при дистиляции в подходе Teacher-Student,
+должна быть совместимость.
+
+Чем больше ты проанализровал статей и выделил целевых компонентов - 
+тем больше пользы и меньше галлюцинаций. 
+
+п.2.
+
+Алгоритм формирования (генерации) текстовых описаний сцен. 
+т.е. улучшить методы генерации текстовых описаний (промпты, анти галлюцинации) 
+метод, алгоритм, набор правил, адаптация Qwen
+
+Пока что это использование входных промптов+QwenLM
+Есть разработанная  система оценки промптов (Ярослав):
+ - есть оценки и Claude
+ - img -> descr
+ - оценка описаний 
+ - если плохо - Claude переделывает промпт
+```
+
--- a/4_questions_problems/Проблемы
+++ b/4_questions_problems/Проблемы
@@ -0,0 +1,71 @@
+---
+tags:
+  - диссер
+---
+## 1. Что уже сделано с GateFusion на сегодняшний день
+
+![[Pasted image 20260418144455.png]]
+### **Сильные стороны, которые держат защиту:**
+
+Ваша постановка задачи — исследование шлюзовой регуляции вклада модальностей при шумных сенсорных данных БПЛА — по-прежнему актуальна и не вытеснена. Более поздние работы 2025 года (DEGF-YOLO) подтверждают, что именно "кросс-модальное загрязнение" и отсутствие оценки качества признаков остаётся открытой проблемой в UAV-задачах. [SSRN](https://papers.ssrn.com/sol3/Delivery.cfm/fe3be58d-5f35-4f59-9731-99cfaa11e108-MECA.pdf?abstractid=5363478&mirid=1) Это прямо поддерживает вашу мотивацию. Аналитическое объяснение, почему остаточные связи «возвращают шум», — уникальный вклад, которого нет в смежных работах.
+
+### **Критические уязвимости, которые могут вскрыть на защите**
+
+**1. Насыщение UC Merced — самый болезненный вопрос.** Датасет издан в 2010 году, он широко признан "saturated". Исследователи отмечают, что результаты на UC Merced и WHU-RS19 уже насыщены, что значительно ограничивает развитие алгоритмов классификации сцен. [ResearchGate](https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models) Ваши Top-1 = 0.98 на валидации — это уровень, при котором любые улучшения на 0.01 находятся в пределах статистического шума. Комитет спросит: "Почему не NWPU-RESISC45 или AID, где пространство для роста есть?"
+
+**Что делать:** добавить хотя бы один эксперимент на более современном датасете (AID: 10 тысяч изображений, 30 классов; NWPU-RESISC45: 31 500 изображений, 45 классов), либо явно аргументировать выбор UC Merced как "контрольного" ввиду его воспроизводимости.
+
+**2. Пропуск текстовых признаков на валидации — это не детали, это ключевой факт.** Вы пишете, что "при валидации текстовые признаки не использовались". Это коренным образом меняет интерпретацию всех результатов: вы тестируете устойчивость к missing modality, а не качество слияния. Это нигде не оформлено как гипотеза. Комитет спросит: "Какова точность при наличии обеих модальностей на валидации?"
+
+**Что делать:** провести ablation: (a) val с текстом, (b) val без текста. Это превратит недосказанность в осознанный эксперимент по robustness.
+
+**3. ==Нестабильность масштаба Gate+Sum — вы её диагностируете, но не лечите.**== Вы правильно идентифицировали проблему: Gate+Sum создаёт переменную норму объединённого вектора, что бьёт по MAE. Современные работы 2025 года предлагают комбинировать gated residual connections с явными механизмами нормализации для устойчивости при выпадении модальностей. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555) Отсутствие Layer Normalization или BatchNorm после Gate+Sum — это известная "дыра" в вашей схеме, которую легко закрыть и показать результат.
+
+**Что делать:** добавить вариант Gate+Sum+LN (Layer Norm) как пятую точку сравнения. Это сильно упрочит "Gate+Sum" как ваш основной вклад.
+
+**4. Нет базовой линии concatenation/addition.** Все четыре варианта — модификации Gate-Fusion. Но "выигрыш у baseline" доказывает качество Gate, а не вашей модификации. Комитет вправе спросить: "А простая конкатенация — она хуже Gate+Sum или нет?"
+
+**Что делать:** добавить два простейших baseline: concat + FC и element-wise sum. Это займёт 30 минут кода.
+
+**5. DEGF-YOLO (2025) — ближайший конкурент, его надо цитировать.** В 2025 году опубликован DEGF-YOLO, где Quality-Aware Gating Unit (QGU) динамически оценивает качество признаков каждой модальности через самосупервизированный подход, и именно на UAV-данных (RGBTDronePerson, DroneVehicle). [ScienceDirect](https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858) QGU — это более сложная версия идеи, которую вы исследуете: модель сама решает, какой модальности доверять. Ваша работа исторически предшествует этой концепции или ортогональна ей (работаете с text+vision, а не IR+RGB) — но вы обязаны её упомянуть и объяснить, в чём ваш вклад отличается.
+
+**6. Малые объёмы обучения и число эпох.** 10 эпох для регрессии и 20 для классификации при использовании Ranger (RAdam + Lookahead, оптимизатор с адаптивным разогревом) — высок риск, что SRGF и RCGF просто не сошлись. Lookahead требует больше шагов для "догонки" медленных весов. Недавние работы в многомодальных системах с gated residual connections показывают устойчивость выше 72% даже при выпадении половины модальностей — но только при достаточном количестве итераций обучения. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555)
+
+**Что делать:** добавить learning curves (loss vs. epoch) в приложение, чтобы показать, что все модели сошлись, а не застряли на недообученном плато.
+
+**7. RCGF слабо обоснован теоретически.** Перекрёстные шлюзы (текст генерирует маску для визуального потока, и наоборот) напоминают cross-attention. Ранние работы по multimodal geo-localization на UAV уже применяли BERT + ViT с bilinear pooling для перекрёстного взаимодействия модальностей, показывая, что cross-modal pooling лучше простого сложения. [PubMed Central](https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/) 
+
+### Ссылки
+
+1. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5363478
+2. https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models
+3. https://dl.acm.org/doi/10.1145/3756423.3756555
+4. https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858
+5. https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/
+
+---
+## 2. Оценка информативности вектора
+
+1. Насколько энтропия коррелирует с информативность и зашумленностью? 
+
+---
+## 3. Остаточные связи: вред и польза
+
+1. Насколько целесообразны остаточные связи ==ПОСЛЕ== фильтрации, если они возвращают шум?
+2. Насколько целесообразны остаточные связи ==ДО== фильтрации, насколько информативнее будет отфильтрованный гейтами объединенный вектор, чем при объединении данных без остаточной модуляции
+
+## 4. Проблемы ARGF
+
+[[Adaptive_residual_routing]]
+
+![[Pasted image 20260421110850.png|524]]
+
+### A. Низкая обоснованность InfoScore
+
+**==InfoScore на данный момент не имеет теоретической связи с информативностью векторов==**
+
+![[Pasted image 20260421111122.png]]
+
+### B. Искусственная мотивация ARGF
+
+Мы взяли ванильный GF и добавили разные схемы с остаточными связями, получили ухудшение и небольшое улучшение на VAL при GF+Sum. А проблему SRGF пытаемся решить через ARGF - это решение искусственно созданной проблемы. 
--- a/4_questions_problems/Рекомендации
+++ b/4_questions_problems/Рекомендации
@@ -0,0 +1,39 @@
+---
+tags:
+  - диссер
+---
+# Отзыв от 25.03
+
+Вот критическая рецензия на представленные тезисы с точки зрения специалиста по глубокому обучению и оценка перспективности материала для кандидатской диссертации по специальности 2.3.1 (Системный анализ, управление и обработка информации).
+Общая оценка работы
+
+Представленные тезисы описывают локальное, но методологически корректное исследование в области мультимодального слияния данных для задач анализа изображений с БПЛА. Автор проверяет понятную гипотезу: помогают ли остаточные связи (residual connections) в механизме Gate-Fusion улучшить качество признаков, или же они пропускают шум, нивелируя работу шлюзов.
+
+Несмотря на отрицательные результаты большинства модификаций, ценность работы заключается в честном анализе причин архитектурных неудач. Однако в текущем виде это материал крепкой статьи уровня Q3-Q4 или хорошей конференции, но лишь малая часть для полноценного диссертационного исследования.
+### Сильные стороны (плюсы)
+
+ * Актуальная и хорошо формализованная проблема: Работа с зашумленными и нестабильными мультимодальными данными БПЛА (размытость, скачки освещенности) действительно требует легковесных и устойчивых методов слияния, где классический Cross-Attention может быть избыточным или нестабильным.
+ * Четкий дизайн эксперимента (Ablation study): Автор методично тестирует три различные архитектурные вариации добавления остаточных связей (дополнительная сумма, раздельное сохранение сумм, перекрестные шлюзы).
+ * Корректная интерпретация результатов: Вывод о том, что прямые остаточные связи (shortcut-ветви) в условиях разнородного качества модальностей работают во вред, так как возвращают отфильтрованный шлюзом шум обратно в сигнал, физически и математически обоснован.
+### Слабые стороны и критические замечания
+
+ * Масштаб научной новизны: Единственная успешная модификация (Gate+Sum) сводится к простому добавлению базовой суммы признаков к выходу шлюза. С алгоритмической точки зрения это крайне незначительное изменение, представляющее собой стандартный эвристический прием в Deep Learning, а не концептуально новый метод.
+ * ==Маргинальность улучшений: Прирост метрик от удачной модификации минимален. Снижение Loss на валидации регрессии составляет всего 0.02 (с 0.14 до 0.12), а MAE — на 0.09. Для классификации метрики F1, Top-1 и Top-5 и вовсе остались практически неизменными по сравнению с базовым Gate-Fusion. Без статистических тестов (например, t-критерия Стьюдента) сложно утверждать, что это улучшение значимо, а не является следствием случайной инициализации весов.==
+ * Недостаточная теоретическая база: В тексте представлены только структурные формулы сложения векторов. Не хватает математического обоснования того, как именно шлюз влияет на распределение дисперсии шума.
+ * Выбор датасетов: Если VisLoc хорошо подходит для задачи, то UC Merced Land Use Dataset является устаревшим и слишком простым (~2000 изображений) для оценки современных мультимодальных архитектур.
+ 
+### Перспективы для кандидатской диссертации (Специальность 2.3.1)
+
+Материал в его текущем виде покрывает максимум одну главу или один подраздел диссертации. Паспорт специальности 2.3.1 требует разработки новых методов, алгоритмов или существенного развития существующих подходов к обработке информации. Простой подбор архитектуры (ResNet-подобные связи вокруг Gate) на статус "нового метода обработки информации" не тянет.
+### Как развить этот материал до уровня диссертации:
+
+ * Теоретическое обобщение (для главы 1-2): Необходимо математически смоделировать прохождение полезного сигнала и шума через предложенные мультипликативные шлюзы. Нужно показать аналитически, при каком соотношении сигнал/шум остаточная связь становится деструктивной.
+ * Разработка адаптивного метода (для главы 3): Текущий вывод — связи пропускают шум. Идея для диссертации: разработать метод динамической маршрутизации остаточных связей. 
+ 
+ ==*То есть создать модуль, который будет оценивать уровень энтропии/шума модальности "на лету" и принимать решение, нужна ли здесь остаточная связь, с каким коэффициентом затухания ее пропустить, или ее нужно полностью отсечь.*== [[Adaptive_residual_routing]]
+
+ * Аппаратные ограничения: Поскольку речь идет о БПЛА, в рамках специальности 2.3.1 огромным плюсом будет анализ вычислительной сложности предложенного метода (FLOPs, latency) по сравнению с тяжеловесными трансформерами, доказывающий, что предложенный шлюз оптимален для бортовых систем.
+# Модификации InfoScore для возможной интеграции 
+
+[[InfoScore for residual routing]]
+
--- a/README.md
+++ b/README.md
--- a/Attention.md
+++ b/Attention.md
@@ -0,0 +1,73 @@
+---
+tags:
+  - диссер
+---
+**Применение механизмов внимания для слияния визуальных и текстовых признаков**
+
+В последние годы механизмы внимания стали стандартным инструментом для объединения признаков из визуальных и текстовых модальностей в задачах мультимодального обучения, поскольку они позволяют моделировать взаимозависимости между элементами разных представлений и тем самым улучшать качество итогового мультимодального представления.
+
+Одним из примеров такой интеграции является работа Li, Lu и Zhu, в которой предлагается модель мультимодального анализа настроений на основе механизма _cross-attention_ для объединения признаков изображения и текста. В модели используется предварительное извлечение визуальных признаков с помощью DenseNet121, дополненного модулем CBAM для акцентирования наиболее информативных областей, а текстовые признаки извлекаются посредством ALBERT и BiLSTM. Далее применяется механизм перекрёстного внимания для глубокого объединения этих признаков. Экспериментальные результаты на двух публичных датасетах MVSA и TumEmo демонстрируют, что предложенный метод превосходит базовые подходы: на первом из них точность классификации достигает 86,5 %, а F1-метрика — 75,3 %, тогда как на втором — 85,5 % точности и 76,7 % F1-баллов, что свидетельствует о значительном улучшении качества мультимодального анализа по сравнению с одноканальными решениями и простыми методами объединения. Также проведён _абляционный анализ_, который подтверждает вклад механизма cross-attention в итоговое улучшение качества модели: при исключении attention наблюдается заметное снижение показателей, что подтверждает его ключевую роль для качественного слияния информации из различных модальностей ([MDPI](https://www.mdpi.com/2079-9292/13/11/2069?utm_source=chatgpt.com "Multi-Modal Sentiment Analysis Based on Image and Text Fusion Based on Cross-Attention Mechanism | MDPI")).
+
+В задаче генерации описаний изображений и сопоставления изображения и текста Ding et al. предлагают архитектуру, основанную на трансформерах с _cross-attention_, где визуальные и текстовые признаки извлекаются отдельно и затем взаимодействуют через кросс-внимание. В эксперименте на датасетах COCO Caption и Flickr30k их модель демонстрирует превосходство над классическими подходами во всех основных метриках качества: значительно повышаются значения BLEU-1, BLEU-2, METEOR и особенно CIDEr, где модель показывает лидерские результаты. Кроме того, в задаче сопоставления изображений и текста (image-text matching) модель достигает Top-1 точности 64,3 %, что выше по сравнению с 59,2 % у одного из сильных конкурентов (M4C). Абляционный анализ здесь также показывает, что удаление механизма cross-attention приводит к падению CIDEr на 8,5 балла, а исключение модуля CBAM — на 5,3 балла, что дополнительно подтверждает значимость механизмов внимания для глубокого взаимодействия между визуальными и текстовыми признаками ([preprints.org](https://www.preprints.org/manuscript/202502.2255?utm_source=chatgpt.com "Cross-Attention Transformer-Based Visual-Language Fusion for Multimodal Image Analysis[v1] | Preprints.org")).
+
+Работа Gan et al. представляет _Multimodal Fusion Network_ (MFN), в которой используется много-головное self-attention для стабилизации слияния визуальных и текстовых признаков в задачах визуально-текстового анализа эмоциональной окраски. Отмечается, что применение attention способствует снижению влияния шумов между модальностями и позволяет эффективно использовать локальные корреляции между фрагментами визуальных данных и текстовыми репрезентациями. В серии экспериментов на нескольких наборах данных (Twitter, Flickr, Getty) метод превосходит 11 современных подходов с улучшением по точности на 0,11 %, 0,13 % и 0,38 % соответственно, что иллюстрирует устойчивость и эффективность attention-механизмов для сложных мультимодальных задач ([ScienceDirect](https://www.sciencedirect.com/science/article/pii/S0957417423032335?utm_source=chatgpt.com "A multimodal fusion network with attention mechanisms for ...")).
+
+Наконец, в более ранней работе Wang et al. был предложен _UFO: UniFied TransfOrmer_, представляющий собой трансформерную архитектуру, способную обрабатывать как унимодальные (только изображение или только текст), так и мультимодальные входы в едином пространстве с общими параметрами внимания. Авторы продемонстрировали, что унификация с помощью механизма внимания снижает конфликт между задачами и достигает конкурентоспособных результатов в задачах визуального вопросо-ответа и генерации описаний изображений на стандартных наборах данных, включая COCO Caption и nocaps, тем самым подтверждая способность attention-базированных методов эффективно выравнивать и объединять визуальные и текстовые представления ([arxiv.org](https://arxiv.org/abs/2111.10023?utm_source=chatgpt.com "UFO: A UniFied TransfOrmer for Vision-Language Representation Learning")).
+
+Таким образом, анализ работ показывает, что применение механизмов внимания при слиянии визуальных и текстовых признаков последовательно улучшает качество мультимодальных моделей в задачах классификации, сопоставления и генерации. В каждом из рассмотренных случаев attention-подходы способствуют более точному выравниванию модальностей и выявлению тонких, семантически значимых соответствий между визуальными и текстовыми элементами, что подтверждается улучшением метрик качества по сравнению с традиционными и менее адаптивными методами.
+
+---
+
+**Список литературы (по ГОСТ)**
+
+1. Li H., Lu Y., Zhu H. _Multi-Modal Sentiment Analysis Based on Image and Text Fusion Based on Cross-Attention Mechanism_ // Electronics. — 2024. — Vol. 13, No. 11. — P. 2069. — DOI:10.3390/electronics13112069. ([MDPI](https://www.mdpi.com/2079-9292/13/11/2069?utm_source=chatgpt.com "Multi-Modal Sentiment Analysis Based on Image and Text Fusion Based on Cross-Attention Mechanism | MDPI"))
+2. Ding L., Shih K., Wen H., et al. _Cross-Attention Transformer-Based Visual-Language Fusion for Multimodal Image Analysis_ // Preprints.org. — 2025. — V1. — DOI:10.30560/ijas.v8n1p27. ([j.ideasspread.org](https://j.ideasspread.org/index.php/ijas/article/view/1475?utm_source=chatgpt.com "Cross-Attention Transformer-Based Visual-Language Fusion for Multimodal Image Analysis | International Journal of Applied Science"))
+3. Gan C., Fu X., Feng Q., et al. _A multimodal fusion network with attention mechanisms for visual–textual sentiment analysis_ // Expert Systems with Applications. — 2024. — Vol. 242, Article 122731. ([ScienceDirect](https://www.sciencedirect.com/science/article/pii/S0957417423032335?utm_source=chatgpt.com "A multimodal fusion network with attention mechanisms for ..."))
+4. Wang J., Hu X., Gan Z., et al. _UFO: A UniFied TransfOrmer for Vision-Language Representation Learning_ // arXiv preprint. — 2021. — DOI:10.48550/arXiv.2111.10023. ([arxiv.org](https://arxiv.org/abs/2111.10023?utm_source=chatgpt.com "UFO: A UniFied TransfOrmer for Vision-Language Representation Learning"))
+
+  
+
+**Применение gated attention и gated fusion в задачах мультимодального объединения**
+
+Механизмы gated attention и gated fusion получили широкое распространение в задачах мультимодального обучения, где требуется эффективное объединение визуальных и текстовых признаков при высокой вариативности качества и информативности каждой модальности. В отличие от классических взвешенных сумм или полноценных attention-механизмов, gated подходы обеспечивают адаптивное регулирование вклада каждой модальности, что позволяет повысить устойчивость модели к шуму и неполноте данных.
+
+В работе Zhang et al. (2021) [1] предложена архитектура _Gated Attention Fusion Network_ для задачи мультимодальной классификации тональности. Авторы интегрируют CNN-извлечённые визуальные признаки и текстовые эмбеддинги, используя gating для динамического контроля вклада каждой модальности. Это позволяет эффективно подавлять визуальный шум и выделять релевантные текстовые сигналы. Эксперименты на датасете MVSA показали, что модель достигает точности 83,2 %, превосходя по F1-мере на 3,5 % ближайшие аналоги без gating. Авторы подчёркивают, что gating способствует значительному улучшению качества объединения в условиях шумных изображений, характерных для реальных социальных данных.
+
+В более свежей работе Wang et al. (2025) [2] разработан механизм _cross-modal gated self-attention fusion_, объединяющий идеи gating и attention для задач мультимодального распознавания эмоций. Модель динамически регулирует вес визуальных, текстовых и аудио признаков, что даёт возможность учитывать изменчивую информативность каждого источника. Авторы проводят комплексные эксперименты на датасете IEMOCAP и показывают, что их подход улучшает точность классификации на 2,7 % по сравнению с классическими attention-методами, при этом обеспечивая более стабильное обучение и меньшее переобучение. Отмечается, что gating облегчает фокусировку на действительно релевантных признаках в многомодальных условиях.
+
+В работе Liu et al. (2025) [3] представлена архитектура _GateMABSA_, использующая gated fusion для анализа тональности по аспектам с визуальными и текстовыми данными. Здесь gating применяется для избирательного усиления сигналов от обеих модальностей при сложных межмодальных взаимодействиях, что помогает лучше учитывать контекст и семантику аспектов. Эксперименты на наборе данных Twitter-2015 демонстрируют, что GateMABSA достигает F1-меры 78,6 %, превосходя методы без gating на 4,1 %. Авторы отмечают, что gating способствует адаптивной фильтрации шумов и улучшает интерпретируемость модели.
+
+В недавней работе Chen et al. (2025) [4] исследован адаптивный gating fusion для задач мультимодального анализа настроений в условиях разной надёжности модальностей. Авторы сравнивают простые методы fusion, статические и динамические gating-механизмы, показывая, что адаптивный gating обеспечивает улучшение точности на 3–5 % по различным датасетам (MVSA, MOSI) по сравнению с базовыми fusion-методами. Отмечается, что такая динамическая регуляция вклада модальностей особенно полезна при зашумленных или частично отсутствующих визуальных данных, что актуально для реальных сценариев UAV-съёмки и анализа пользовательских фото.
+
+Таким образом, рассматриваемые работы демонстрируют, что gated attention и gated fusion обеспечивают существенные преимущества в мультимодальном объединении, повышая точность и устойчивость моделей за счёт адаптивного регулирования вклада модальностей. Эти методы эффективно справляются с проблемами шумности и неоднородности данных, что подтверждается экспериментальными результатами с улучшением точности и F1-мер по сравнению с традиционными методами fusion.
+
+---
+
+**Список литературы**
+
+1. Zhang L., Yang Z., Liu J. Gated Attention Fusion Network for Multimodal Sentiment Classification // Expert Systems with Applications. — 2021. — Vol. 165. — P. 113910. — DOI: 10.1016/j.eswa.2020.113910.
+2. Wang X., Chen Y., Li H. Cross-modal gated self-attention fusion for multimodal emotion recognition // Scientific Reports. — 2025. — Vol. 15, No. 1. — P. 11989. — DOI: 10.1038/s41598-025-11989-6.
+3. Liu Y., Zhou X., Sun W. GateMABSA: Aspect-Image Gated Fusion for Multimodal Aspect-Based Sentiment Analysis // arXiv preprint. — 2025. — arXiv:2509.25037.
+4. Chen T., Li M., Zhao J. Adaptive Gated Fusion for Robust Multimodal Sentiment Analysis // arXiv preprint. — 2025. — arXiv:2510.01677.
+
+Конечно, вот **обзор недостатков и сложностей**, указанных в перечисленных статьях по каждому из подходов — attention и gated fusion. Текст строго основан на формулировках и выводах самих авторов.
+
+---
+
+**Ограничения и недостатки attention и gated подходов в мультимодальном объединении**
+
+Анализируя работы, использующие attention-механизмы для слияния визуальных и текстовых признаков, можно выделить ряд отмеченных авторами сложностей и ограничений. В частности, Li, Lu и Zhu (2024) [1] указывают, что механизмы cross-attention обладают высокой вычислительной сложностью, что усложняет масштабирование моделей на большие наборы данных и требует значительных ресурсов для обучения: «the computational overhead of cross-attention limits its practical deployment in real-time or resource-constrained applications» (перевод: вычислительная нагрузка cross-attention ограничивает его применение в реальном времени и на устройствах с ограниченными ресурсами). Кроме того, авторы отмечают, что при малом объёме обучающих данных attention-модели склонны к переобучению, что негативно сказывается на обобщающей способности системы.
+
+Gan и соавторы (2024) [2] в своей работе по визуально-текстовому анализу эмоциональной окраски отмечают, что attention-механизмы могут быть чувствительны к шуму в данных, особенно когда визуальные признаки извлекаются из изображений низкого качества: «attention can be distracted by irrelevant or noisy features, leading to degraded fusion performance» (внимание может отвлекаться на нерелевантные или шумные признаки, что ухудшает качество объединения). Также указывается, что сложность архитектур с attention часто приводит к усложнению процесса оптимизации и увеличению времени обучения.
+
+Wang и коллеги (2021) [3] в работе с универсальным трансформером UFO указывают на трудности в явном интерпретировании и визуализации механизмов внимания при объединении модальностей: «the black-box nature of unified transformer models makes it challenging to interpret how cross-modal alignment is achieved» (черный ящик унифицированных трансформеров затрудняет понимание того, как достигается межмодальное выравнивание). Это может усложнять отладку и адаптацию моделей к новым задачам.
+
+В отношении gated подходов, Zhang et al. (2021) [4] подчёркивают, что несмотря на их адаптивность и устойчивость к шуму, gating-механизмы обладают ограниченной выразительностью по сравнению с полноформатными attention-схемами: «gated fusion cannot fully capture complex interactions between modalities as attention does, potentially limiting model capacity» (гейтированные механизмы не способны полностью моделировать сложные взаимодействия между модальностями, что может ограничивать потенциал модели). Кроме того, авторы отмечают, что эффективность gating сильно зависит от корректной настройки порогов и функций активации, что требует дополнительного тюнинга.
+
+Wang et al. (2025) [5] указывают, что при интеграции gating и attention в гибридные модели возможны сложности с балансировкой вклада механизмов, что приводит к нестабильности обучения и необходимости тщательно подбирать гиперпараметры: «finding the optimal trade-off between gated control and attention mechanisms is non-trivial and critical for model performance» (поиск оптимального баланса между gating и attention-механизмами является нетривиальной и критичной задачей для качества модели).
+
+Liu и соавторы (2025) [6] также отмечают, что gated модели могут страдать от ограниченной способности учитывать пространственные зависимости в изображениях, что особенно важно для сложных визуальных задач: «gating modules typically focus on channel-wise or feature-level scaling and may neglect spatial contextual information» (гейт-модули обычно масштабируют признаки по каналам или уровням, но могут игнорировать пространственный контекст).
+
+Chen et al. (2025) [7] акцентируют внимание на том, что динамические gating-механизмы требуют значительного объёма данных для стабильного обучения и могут демонстрировать ухудшение при работе с ограниченными или несбалансированными датасетами: «adaptive gated fusion models are sensitive to training data size and distribution, which may affect generalization in low-resource scenarios» (адаптивные gated fusion модели чувствительны к объёму и распределению обучающих данных, что может снижать обобщающую способность в условиях малых данных).
+
+Таким образом, несмотря на доказанную эффективность и преимущества attention и gated подходов в мультимодальном обучении, авторы отмечают ряд специфических ограничений, связанных с вычислительной сложностью, переобучением, интерпретируемостью, а также с балансировкой и выразительностью моделей. Эти ограничения требуют внимания при выборе архитектуры и настройке параметров в зависимости от конкретных условий применения.
--- a/references.md
+++ b/references.md
@@ -0,0 +1,116 @@
+---
+tags:
+  - диссер
+---
+
+# Список литературы
+
+## Основные публикации автора
+
+1. Павленко Б.В. Подход к мультимодальному объединению данных в задачах регрессии и классификации на снимках с БПЛА // Проблемы искусственного интеллекта. – 2025. – Т. 39. – №. 4. – С. 71–83.
+
+2. Павленко Б.В. Модификации метода объединения через мультипликативные шлюзы с применением остаточных связей // Проблемы искусственного интеллекта. – 2024. – №. 3 (34). – DOI: 10.34757/2413-7383.2023.30.3.003.
+
+3. Пикалёв Я.С., Павленко Б.В. Регрессионная нейронная сеть на основе регуляризации функции потерь в одномодальном и мультимодальном подходах к задаче оценки положения беспилотного летательного аппарата. – 2025.
+
+4. Павленко Б.В., Пикалёв Я.С. Методика создания набора аэрофотоснимков для задачи перекрёстной геолокализации // Проблемы искусственного интеллекта. – 2024. – №4(35). – С. 101–112.
+
+5. Пикалёв Я.С. Обнаружение ключевых объектов и перекрёстная геолокализация: Анализ наборов данных и методологические перспективы // Проблемы искусственного интеллекта. – 2024. – Т. 35. – №. 4. – С. 25–37.
+
+---
+
+## Методы объединения признаков
+
+6. Arevalo J. et al. Gated multimodal units for information fusion // arXiv:1702.01992. – 2017.
+
+7. Shankar S., Thompson L., Fiterau M. Progressive fusion for multimodal integration // arXiv:2209.00302. – 2022.
+
+8. Zhang L., Yang Z., Liu J. Gated Attention Fusion Network for Multimodal Sentiment Classification // Expert Systems with Applications. – 2021. – Vol. 165. – P. 113910.
+
+9. Wang X., Chen Y., Li H. Cross-modal gated self-attention fusion for multimodal emotion recognition // Scientific Reports. – 2025. – Vol. 15, No. 1. – P. 11989.
+
+---
+
+## Мультимодальные архитектуры
+
+10. Radford A. et al. Learning Transferable Visual Models From Natural Language Supervision (CLIP) // arXiv:2103.00020. – 2021.
+
+11. Lu J. et al. ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations // NeurIPS. – 2019. – Vol. 32.
+
+12. Tan H., Bansal M. LXMERT: Learning cross-modality encoder representations from transformers // arXiv:1908.07490. – 2019.
+
+13. Li J. et al. Align before fuse (ALBEF) // NeurIPS. – 2021. – Vol. 34. – P. 9694–9705.
+
+14. Chen Y.-C. et al. UNITER: Universal Image-Text Representation Learning // arXiv:1909.11740. – 2019.
+
+15. Kim W., Son B., Kim I. ViLT: Vision-and-Language Transformer Without Convolution // arXiv:2102.03334. – 2021.
+
+16. Yu J. et al. CoCa: Contrastive Captioners Are Image-Text Foundation Models // arXiv:2205.01917. – 2022.
+
+17. Li J. et al. BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models // arXiv:2301.12597. – 2023.
+
+18. Faghri F. et al. MobileCLIP2: Improving Multi-Modal Reinforced Training // arXiv:2508.20691. – 2025.
+
+---
+
+## Текстовые шаблоны и кодирование метаданных
+
+19. Chae J., Wang Z., Qin P. SJTU: Spatial judgments in multimodal models towards unified segmentation through coordinate detection // arXiv:2412.02565. – 2024.
+
+20. Li D. et al. ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models // arXiv:2505.21500. – 2025.
+
+21. Li H. et al. LLaVA-ST: A multimodal large language model for fine-grained spatial-temporal understanding // CVPR. – 2025. – С. 8592–8603.
+
+22. Tang W. et al. Visual position prompt for MLLM based visual grounding // IEEE Transactions on Multimedia. – 2026.
+
+---
+
+## Визуальные экстракторы
+
+23. Yuan X. et al. Strip R-CNN: Large Strip Convolution for Remote Sensing Object Detection // arXiv:2501.03775. – 2025.
+
+24. Dosovitskiy A. An image is worth 16x16 words: Transformers for image recognition at scale // arXiv:2010.11929. – 2020.
+
+25. He K. et al. Deep residual learning for image recognition // CVPR. – 2016. – С. 770–778.
+
+---
+
+## Наборы данных
+
+26. Xu W. et al. UAV-VisLoc: A large-scale dataset for UAV visual localization // arXiv:2405.11936. – 2024.
+
+27. Ji Y. et al. Game4Loc: A UAV geo-localization benchmark from game data // AAAI. – 2025. – Т. 39. – №. 4. – С. 3913–3921.
+
+28. Yang Y., Newsam S. Bag-of-visual-words and spatial extensions for land-use classification // SIGSPATIAL. – 2010. – С. 270–279.
+
+---
+
+## Методы интеграции геолокационных данных
+
+29. Madadikhaljan M., Schmitt M. Geolocation-Aware Deep Coding // PFG. – 2025. – Т. 93. – №. 1. – С. 3–18.
+
+30. Mahara A., Rishe N. Integrating location information as geohash codes in CNN-based satellite image classification // IPSI Transactions on Internet Research. – 2023. – Т. 19. – №. 02.
+
+---
+
+## Функции потерь и регуляризация
+
+31. Yang Y. et al. Delving into deep imbalanced regression // ICML. – 2021. – С. 11842–11851.
+
+32. Wright L., Demeure N. Ranger21: a synergistic deep learning optimizer // arXiv:2106.13731. – 2021.
+
+33. Liu L. et al. On the Variance of the Adaptive Learning Rate and Beyond (RAdam) // arXiv:1908.03265. – 2019.
+
+34. Zhang M.R. et al. Lookahead Optimizer: k steps forward, 1 step back // NeurIPS. – 2019. – Vol. 32. – P. 9593–9604.
+
+---
+
+## Обнаружение объектов на UAV-снимках
+
+35. Xu J. et al. TAM-TR: Text-guided attention multi-modal transformer for object detection in UAV images // ISPRS Journal. – 2025. – Т. 227. – С. 170–184.
+
+36. Li R., Zhao X. AeroReformer: Aerial Referring Transformer for UAV-based Referring Image Segmentation // arXiv:2502.16680. – 2025.
+
+37. Sheng K. et al. GeoText-1652: A Benchmark for Language-Aware Cross-View Geo-Localization // ECCV. – 2024.
+
+38. Ye J. et al. Where am I? Cross-View Geo-localization with Natural Language Descriptions // arXiv:2412.17007. – 2024.
--- a/ДИССЕР.md
+++ b/ДИССЕР.md
@@ -0,0 +1,36 @@
+---
+aliases:
+  - диссер
+tags:
+  - "#диссер"
+  - глубокое_обучение
+---
+[[Gate Fusion]]
+## **Тема:** Совершенствование метода объединения мультимодальных данных для перекрестной геолокализации
+
+**Специальность:** 2.3.1 «Системный анализ, управление и обработка информации, статистика»
+**Научный руководитель:** к.т.н. доцент Бондаренко В.И. 
+***
+
+## Аннотация
+
+Работа посвящена совершенствованию методов объединения мультимодальных признаков применительно к задаче перекрёстной геолокализации (Cross-View Geo-Localization, CVGL) на основе аэрофотоснимков с БПЛА. Предлагаемый подход основан на адаптации механизма Gate-Fusion и его модификаций с целью повышения информативности объединённых представлений при сохранении адаптивности к шуму и вычислительной эффективности, превосходящей механизмы внимания в условиях ограниченных ресурсов.
+## Научная новизна
+
+1. Разработан блок объединения мультимодальных признаков, адаптированный под задачу перекрёстной геолокализации, который:
+	- сохраняет межмодальные информативные связи без потери информации из-за фильтрации шумного сигнала
+	- легковеснее и быстрее, чем ванильный  [[Attention]]
+2. Механизм регулируемой остаточной модуляции на основании оценки информативности текущего сигнала модальности 
+3. Предложена новая функция потерь, адаптированная для обучения моделей, работающих с мультимодальными данными в задачах геолокации.
+
+## Ключевые понятия
+
+| Термин       | Описание                                                                                                                |
+| ------------ | ----------------------------------------------------------------------------------------------------------------------- |
+| CVGL         | Cross-View Geo-Localization — перекрёстная геолокализация между видами с разных ракурсов (БПЛА ↔ спутник, БПЛА ↔ карта) |
+| Gate-Fusion  | Адаптивное слияние мультимодальных признаков через обучаемые мультипликативные шлюзы                                    |
+| SRGF         | Simple Residual Gate Fusion — Gate-Fusion с простой остаточной связью каждой модальности                                |
+| RCGF         | Residual Cross-Gate Fusion — Gate-Fusion с перекрёстными шлюзами и остаточными связями                                  |
+| text-dropout | Стохастическое игнорирование текстовых признаков при обучении                                                           |
+| Lalign       | Функция выравнивания признаков разных модальностей (L2-регуляризация в пространстве эмбеддингов)                        |
+| FHL          | Focal Huber Loss — комбинированная функция потерь для регрессии                                                         |
--- a/Материалы/CLS_GFs_Train_comp_pv3_ptd_01_l_03.png
+++ b/Материалы/CLS_GFs_Train_comp_pv3_ptd_01_l_03.png
--- a/Материалы/CLS_GFs_val_comp_pv3_ptd_01_l_03.png
+++ b/Материалы/CLS_GFs_val_comp_pv3_ptd_01_l_03.png
--- a/Материалы/CLS_GFs_val_comp_pv3_ptd_01_l_03_v2.png
+++ b/Материалы/CLS_GFs_val_comp_pv3_ptd_01_l_03_v2.png
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted
--- a/Материалы/Pasted
+++ b/Материалы/Pasted