78 lines
10 KiB
Markdown
78 lines
10 KiB
Markdown
---
|
||
tags:
|
||
- диссер
|
||
---
|
||
## 1. Что уже сделано с GateFusion на сегодняшний день
|
||
|
||
![[Pasted image 20260418144455.png]]
|
||
### **Сильные стороны, которые держат защиту:**
|
||
|
||
Ваша постановка задачи — исследование шлюзовой регуляции вклада модальностей при шумных сенсорных данных БПЛА — по-прежнему актуальна и не вытеснена. Более поздние работы 2025 года (DEGF-YOLO) подтверждают, что именно "кросс-модальное загрязнение" и отсутствие оценки качества признаков остаётся открытой проблемой в UAV-задачах. [SSRN](https://papers.ssrn.com/sol3/Delivery.cfm/fe3be58d-5f35-4f59-9731-99cfaa11e108-MECA.pdf?abstractid=5363478&mirid=1) Это прямо поддерживает вашу мотивацию. Аналитическое объяснение, почему остаточные связи «возвращают шум», — уникальный вклад, которого нет в смежных работах.
|
||
|
||
### **Критические уязвимости, которые могут вскрыть на защите**
|
||
|
||
**1. Насыщение UC Merced — самый болезненный вопрос.** Датасет издан в 2010 году, он широко признан "saturated". Исследователи отмечают, что результаты на UC Merced и WHU-RS19 уже насыщены, что значительно ограничивает развитие алгоритмов классификации сцен. [ResearchGate](https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models) Ваши Top-1 = 0.98 на валидации — это уровень, при котором любые улучшения на 0.01 находятся в пределах статистического шума. Комитет спросит: "Почему не NWPU-RESISC45 или AID, где пространство для роста есть?"
|
||
|
||
- https://www.researchgate.net/figure/UCMerced-Land-use-dataset-results_fig5_319404195
|
||
- https://www.researchgate.net/figure/21-class-UC-Merced-land-use-Dataset-RGB-a-agricultural-b-airplane-c_fig3_312185111
|
||
- https://www.collegetuitioncompare.com/edu/445188/university-of-california-merced/
|
||
- https://captain-whu.github.io/AID/
|
||
|
||
**Что делать:** добавить хотя бы один эксперимент на более современном датасете (AID: 10 тысяч изображений, 30 классов; NWPU-RESISC45: 31 500 изображений, 45 классов), либо явно аргументировать выбор UC Merced как "контрольного" ввиду его воспроизводимости.
|
||
|
||
**2. Пропуск текстовых признаков на валидации — это не детали, это ключевой факт.** Вы пишете, что "при валидации текстовые признаки не использовались". Это коренным образом меняет интерпретацию всех результатов: вы тестируете устойчивость к missing modality, а не качество слияния. Это нигде не оформлено как гипотеза. Комитет спросит: "Какова точность при наличии обеих модальностей на валидации?"
|
||
|
||
**Что делать:** провести ablation: (a) val с текстом, (b) val без текста. Это превратит недосказанность в осознанный эксперимент по robustness.
|
||
|
||
**3. Нестабильность масштаба Gate+Sum — вы её диагностируете, но не лечите.**
|
||
Вы правильно идентифицировали проблему: Gate+Sum создаёт переменную норму объединённого вектора, что бьёт по MAE. Современные работы 2025 года предлагают комбинировать gated residual connections с явными механизмами нормализации для устойчивости при выпадении модальностей. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555) Отсутствие Layer Normalization или BatchNorm после Gate+Sum — это известная "дыра" в вашей схеме, которую легко закрыть и показать результат.
|
||
|
||
**Что делать:** добавить вариант Gate+Sum+LN (Layer Norm). Это сильно упрочит "Gate+Sum" как ваш основной вклад.
|
||
|
||
**4. Нет базовой линии concatenation/addition.** Все четыре варианта — модификации Gate-Fusion. Но "выигрыш у baseline" доказывает качество Gate, а не вашей модификации. Комитет вправе спросить: "А простая конкатенация — она хуже Gate+Sum или нет?"
|
||
|
||
**Что делать:** добавить два простейших baseline: concat + FC и element-wise sum. Это займёт 30 минут кода.
|
||
|
||
**5. DEGF-YOLO (2025) — ближайший конкурент, его надо цитировать.** В 2025 году опубликован DEGF-YOLO, где Quality-Aware Gating Unit (QGU) динамически оценивает качество признаков каждой модальности через самосупервизированный подход, и именно на UAV-данных (RGBTDronePerson, DroneVehicle). [ScienceDirect](https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858) QGU — это более сложная версия идеи, которую вы исследуете: модель сама решает, какой модальности доверять. Ваша работа исторически предшествует этой концепции или ортогональна ей (работаете с text+vision, а не IR+RGB) — но вы обязаны её упомянуть и объяснить, в чём ваш вклад отличается.
|
||
|
||
**6. Малые объёмы обучения и число эпох.** 10 эпох для регрессии и 20 для классификации при использовании Ranger (RAdam + Lookahead, оптимизатор с адаптивным разогревом) — высок риск, что SRGF и RCGF просто не сошлись. Lookahead требует больше шагов для "догонки" медленных весов. Недавние работы в многомодальных системах с gated residual connections показывают устойчивость выше 72% даже при выпадении половины модальностей — но только при достаточном количестве итераций обучения. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555)
|
||
|
||
**Что делать:** добавить learning curves (loss vs. epoch) в приложение, чтобы показать, что все модели сошлись, а не застряли на недообученном плато.
|
||
|
||
**7. RCGF слабо обоснован теоретически.** Перекрёстные шлюзы (текст генерирует маску для визуального потока, и наоборот) напоминают cross-attention. Ранние работы по multimodal geo-localization на UAV уже применяли BERT + ViT с bilinear pooling для перекрёстного взаимодействия модальностей, показывая, что cross-modal pooling лучше простого сложения. [PubMed Central](https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/)
|
||
|
||
### Ссылки
|
||
|
||
1. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5363478
|
||
2. https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models
|
||
3. https://dl.acm.org/doi/10.1145/3756423.3756555
|
||
4. https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858
|
||
5. https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/
|
||
|
||
---
|
||
## 2. Оценка информативности вектора
|
||
|
||
1. Насколько энтропия коррелирует с информативность и зашумленностью?
|
||
|
||
---
|
||
## 3. Остаточные связи: вред и польза
|
||
|
||
1. Насколько целесообразны остаточные связи ==ПОСЛЕ== фильтрации, если они возвращают шум?
|
||
2. Насколько целесообразны остаточные связи ==ДО== фильтрации, насколько информативнее будет отфильтрованный гейтами объединенный вектор, чем при объединении данных без остаточной модуляции
|
||
|
||
## 4. Проблемы ARGF
|
||
|
||
[[Adaptive_residual_routing]]
|
||
|
||
![[Pasted image 20260421110850.png|524]]
|
||
|
||
### A. Низкая обоснованность InfoScore
|
||
|
||
**InfoScore на данный момент не имеет теоретической связи с информативностью векторов**
|
||
|
||
![[Pasted image 20260421111122.png]]
|
||
|
||
### B. Искусственная мотивация ARGF
|
||
|
||
Мы взяли ванильный GF и добавили разные схемы с остаточными связями, получили ухудшение и небольшое улучшение на VAL при GF+Sum. А проблему SRGF пытаемся решить через ARGF - это решение искусственно созданной проблемы.
|