---
tags:
  - диссер
---
## 1. Что уже сделано с GateFusion на сегодняшний день

![[Pasted image 20260418144455.png]]
### **Сильные стороны, которые держат защиту:**

Ваша постановка задачи — исследование шлюзовой регуляции вклада модальностей при шумных сенсорных данных БПЛА — по-прежнему актуальна и не вытеснена. Более поздние работы 2025 года (DEGF-YOLO) подтверждают, что именно "кросс-модальное загрязнение" и отсутствие оценки качества признаков остаётся открытой проблемой в UAV-задачах. [SSRN](https://papers.ssrn.com/sol3/Delivery.cfm/fe3be58d-5f35-4f59-9731-99cfaa11e108-MECA.pdf?abstractid=5363478&mirid=1) Это прямо поддерживает вашу мотивацию. Аналитическое объяснение, почему остаточные связи «возвращают шум», — уникальный вклад, которого нет в смежных работах.

### **Критические уязвимости, которые могут вскрыть на защите**

**1. Насыщение UC Merced — самый болезненный вопрос.** Датасет издан в 2010 году, он широко признан "saturated". Исследователи отмечают, что результаты на UC Merced и WHU-RS19 уже насыщены, что значительно ограничивает развитие алгоритмов классификации сцен. [ResearchGate](https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models) Ваши Top-1 = 0.98 на валидации — это уровень, при котором любые улучшения на 0.01 находятся в пределах статистического шума. Комитет спросит: "Почему не NWPU-RESISC45 или AID, где пространство для роста есть?"

- https://www.researchgate.net/figure/UCMerced-Land-use-dataset-results_fig5_319404195
- https://www.researchgate.net/figure/21-class-UC-Merced-land-use-Dataset-RGB-a-agricultural-b-airplane-c_fig3_312185111
- https://www.collegetuitioncompare.com/edu/445188/university-of-california-merced/
- https://captain-whu.github.io/AID/

**Что делать:** добавить хотя бы один эксперимент на более современном датасете (AID: 10 тысяч изображений, 30 классов; NWPU-RESISC45: 31 500 изображений, 45 классов), либо явно аргументировать выбор UC Merced как "контрольного" ввиду его воспроизводимости.

**2. Пропуск текстовых признаков на валидации — это не детали, это ключевой факт.** Вы пишете, что "при валидации текстовые признаки не использовались". Это коренным образом меняет интерпретацию всех результатов: вы тестируете устойчивость к missing modality, а не качество слияния. Это нигде не оформлено как гипотеза. Комитет спросит: "Какова точность при наличии обеих модальностей на валидации?"

**Что делать:** провести ablation: (a) val с текстом, (b) val без текста. Это превратит недосказанность в осознанный эксперимент по robustness.

**3. Нестабильность масштаба Gate+Sum — вы её диагностируете, но не лечите.**
Вы правильно идентифицировали проблему: Gate+Sum создаёт переменную норму объединённого вектора, что бьёт по MAE. Современные работы 2025 года предлагают комбинировать gated residual connections с явными механизмами нормализации для устойчивости при выпадении модальностей. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555) Отсутствие Layer Normalization или BatchNorm после Gate+Sum — это известная "дыра" в вашей схеме, которую легко закрыть и показать результат.

**Что делать:** добавить вариант Gate+Sum+LN (Layer Norm). Это сильно упрочит "Gate+Sum" как ваш основной вклад.

**4. Нет базовой линии concatenation/addition.** Все четыре варианта — модификации Gate-Fusion. Но "выигрыш у baseline" доказывает качество Gate, а не вашей модификации. Комитет вправе спросить: "А простая конкатенация — она хуже Gate+Sum или нет?"

**Что делать:** добавить два простейших baseline: concat + FC и element-wise sum. Это займёт 30 минут кода.

**5. DEGF-YOLO (2025) — ближайший конкурент, его надо цитировать.** В 2025 году опубликован DEGF-YOLO, где Quality-Aware Gating Unit (QGU) динамически оценивает качество признаков каждой модальности через самосупервизированный подход, и именно на UAV-данных (RGBTDronePerson, DroneVehicle). [ScienceDirect](https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858) QGU — это более сложная версия идеи, которую вы исследуете: модель сама решает, какой модальности доверять. Ваша работа исторически предшествует этой концепции или ортогональна ей (работаете с text+vision, а не IR+RGB) — но вы обязаны её упомянуть и объяснить, в чём ваш вклад отличается.

**6. Малые объёмы обучения и число эпох.** 10 эпох для регрессии и 20 для классификации при использовании Ranger (RAdam + Lookahead, оптимизатор с адаптивным разогревом) — высок риск, что SRGF и RCGF просто не сошлись. Lookahead требует больше шагов для "догонки" медленных весов. Недавние работы в многомодальных системах с gated residual connections показывают устойчивость выше 72% даже при выпадении половины модальностей — но только при достаточном количестве итераций обучения. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555)

**Что делать:** добавить learning curves (loss vs. epoch) в приложение, чтобы показать, что все модели сошлись, а не застряли на недообученном плато.

**7. RCGF слабо обоснован теоретически.** Перекрёстные шлюзы (текст генерирует маску для визуального потока, и наоборот) напоминают cross-attention. Ранние работы по multimodal geo-localization на UAV уже применяли BERT + ViT с bilinear pooling для перекрёстного взаимодействия модальностей, показывая, что cross-modal pooling лучше простого сложения. [PubMed Central](https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/) 

### Ссылки

1. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5363478
2. https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models
3. https://dl.acm.org/doi/10.1145/3756423.3756555
4. https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858
5. https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/

---
## 2. Оценка информативности вектора

1. Насколько энтропия коррелирует с информативность и зашумленностью? 

---
## 3. Остаточные связи: вред и польза

1. Насколько целесообразны остаточные связи ==ПОСЛЕ== фильтрации, если они возвращают шум?
2. Насколько целесообразны остаточные связи ==ДО== фильтрации, насколько информативнее будет отфильтрованный гейтами объединенный вектор, чем при объединении данных без остаточной модуляции

## 4. Проблемы ARGF

[[Adaptive_residual_routing]]

![[Pasted image 20260421110850.png|524]]

### A. Низкая обоснованность InfoScore

**InfoScore на данный момент не имеет теоретической связи с информативностью векторов**

![[Pasted image 20260421111122.png]]

### B. Искусственная мотивация ARGF

Мы взяли ванильный GF и добавили разные схемы с остаточными связями, получили ухудшение и небольшое улучшение на VAL при GF+Sum. А проблему SRGF пытаемся решить через ARGF - это решение искусственно созданной проблемы. 
