10 KiB
tags
| tags | |
|---|---|
|
1. Что уже сделано с GateFusion на сегодняшний день
!
Сильные стороны, которые держат защиту:
Ваша постановка задачи — исследование шлюзовой регуляции вклада модальностей при шумных сенсорных данных БПЛА — по-прежнему актуальна и не вытеснена. Более поздние работы 2025 года (DEGF-YOLO) подтверждают, что именно "кросс-модальное загрязнение" и отсутствие оценки качества признаков остаётся открытой проблемой в UAV-задачах. SSRN Это прямо поддерживает вашу мотивацию. Аналитическое объяснение, почему остаточные связи «возвращают шум», — уникальный вклад, которого нет в смежных работах.
Критические уязвимости, которые могут вскрыть на защите
1. Насыщение UC Merced — самый болезненный вопрос. Датасет издан в 2010 году, он широко признан "saturated". Исследователи отмечают, что результаты на UC Merced и WHU-RS19 уже насыщены, что значительно ограничивает развитие алгоритмов классификации сцен. ResearchGate Ваши Top-1 = 0.98 на валидации — это уровень, при котором любые улучшения на 0.01 находятся в пределах статистического шума. Комитет спросит: "Почему не NWPU-RESISC45 или AID, где пространство для роста есть?"
- https://www.researchgate.net/figure/UCMerced-Land-use-dataset-results_fig5_319404195
- https://www.researchgate.net/figure/21-class-UC-Merced-land-use-Dataset-RGB-a-agricultural-b-airplane-c_fig3_312185111
- https://www.collegetuitioncompare.com/edu/445188/university-of-california-merced/
- https://captain-whu.github.io/AID/
Что делать: добавить хотя бы один эксперимент на более современном датасете (AID: 10 тысяч изображений, 30 классов; NWPU-RESISC45: 31 500 изображений, 45 классов), либо явно аргументировать выбор UC Merced как "контрольного" ввиду его воспроизводимости.
2. Пропуск текстовых признаков на валидации — это не детали, это ключевой факт. Вы пишете, что "при валидации текстовые признаки не использовались". Это коренным образом меняет интерпретацию всех результатов: вы тестируете устойчивость к missing modality, а не качество слияния. Это нигде не оформлено как гипотеза. Комитет спросит: "Какова точность при наличии обеих модальностей на валидации?"
Что делать: провести ablation: (a) val с текстом, (b) val без текста. Это превратит недосказанность в осознанный эксперимент по robustness.
3. Нестабильность масштаба Gate+Sum — вы её диагностируете, но не лечите. Вы правильно идентифицировали проблему: Gate+Sum создаёт переменную норму объединённого вектора, что бьёт по MAE. Современные работы 2025 года предлагают комбинировать gated residual connections с явными механизмами нормализации для устойчивости при выпадении модальностей. ACM Other conferences Отсутствие Layer Normalization или BatchNorm после Gate+Sum — это известная "дыра" в вашей схеме, которую легко закрыть и показать результат.
Что делать: добавить вариант Gate+Sum+LN (Layer Norm). Это сильно упрочит "Gate+Sum" как ваш основной вклад.
4. Нет базовой линии concatenation/addition. Все четыре варианта — модификации Gate-Fusion. Но "выигрыш у baseline" доказывает качество Gate, а не вашей модификации. Комитет вправе спросить: "А простая конкатенация — она хуже Gate+Sum или нет?"
Что делать: добавить два простейших baseline: concat + FC и element-wise sum. Это займёт 30 минут кода.
5. DEGF-YOLO (2025) — ближайший конкурент, его надо цитировать. В 2025 году опубликован DEGF-YOLO, где Quality-Aware Gating Unit (QGU) динамически оценивает качество признаков каждой модальности через самосупервизированный подход, и именно на UAV-данных (RGBTDronePerson, DroneVehicle). ScienceDirect QGU — это более сложная версия идеи, которую вы исследуете: модель сама решает, какой модальности доверять. Ваша работа исторически предшествует этой концепции или ортогональна ей (работаете с text+vision, а не IR+RGB) — но вы обязаны её упомянуть и объяснить, в чём ваш вклад отличается.
6. Малые объёмы обучения и число эпох. 10 эпох для регрессии и 20 для классификации при использовании Ranger (RAdam + Lookahead, оптимизатор с адаптивным разогревом) — высок риск, что SRGF и RCGF просто не сошлись. Lookahead требует больше шагов для "догонки" медленных весов. Недавние работы в многомодальных системах с gated residual connections показывают устойчивость выше 72% даже при выпадении половины модальностей — но только при достаточном количестве итераций обучения. ACM Other conferences
Что делать: добавить learning curves (loss vs. epoch) в приложение, чтобы показать, что все модели сошлись, а не застряли на недообученном плато.
7. RCGF слабо обоснован теоретически. Перекрёстные шлюзы (текст генерирует маску для визуального потока, и наоборот) напоминают cross-attention. Ранние работы по multimodal geo-localization на UAV уже применяли BERT + ViT с bilinear pooling для перекрёстного взаимодействия модальностей, показывая, что cross-modal pooling лучше простого сложения. PubMed Central
Ссылки
- https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5363478
- https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models
- https://dl.acm.org/doi/10.1145/3756423.3756555
- https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858
- https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/
2. Оценка информативности вектора
- Насколько энтропия коррелирует с информативность и зашумленностью?
3. Остаточные связи: вред и польза
- Насколько целесообразны остаточные связи ==ПОСЛЕ== фильтрации, если они возвращают шум?
- Насколько целесообразны остаточные связи ==ДО== фильтрации, насколько информативнее будет отфильтрованный гейтами объединенный вектор, чем при объединении данных без остаточной модуляции
4. Проблемы ARGF
!Pasted image 20260421110850.png
A. Низкая обоснованность InfoScore
InfoScore на данный момент не имеет теоретической связи с информативностью векторов
!
B. Искусственная мотивация ARGF
Мы взяли ванильный GF и добавили разные схемы с остаточными связями, получили ухудшение и небольшое улучшение на VAL при GF+Sum. А проблему SRGF пытаемся решить через ARGF - это решение искусственно созданной проблемы.