10 KiB
tags
| tags | |
|---|---|
|
1. Что уже сделано с GateFusion на сегодняшний день
!
Сильные стороны, которые держат защиту:
Ваша постановка задачи — исследование шлюзовой регуляции вклада модальностей при шумных сенсорных данных БПЛА — по-прежнему актуальна и не вытеснена. Более поздние работы 2025 года (DEGF-YOLO) подтверждают, что именно "кросс-модальное загрязнение" и отсутствие оценки качества признаков остаётся открытой проблемой в UAV-задачах. SSRN Это прямо поддерживает вашу мотивацию. Аналитическое объяснение, почему остаточные связи «возвращают шум», — уникальный вклад, которого нет в смежных работах.
Критические уязвимости, которые могут вскрыть на защите
1. Насыщение UC Merced — самый болезненный вопрос. Датасет издан в 2010 году, он широко признан "saturated". Исследователи отмечают, что результаты на UC Merced и WHU-RS19 уже насыщены, что значительно ограничивает развитие алгоритмов классификации сцен. ResearchGate Ваши Top-1 = 0.98 на валидации — это уровень, при котором любые улучшения на 0.01 находятся в пределах статистического шума. Комитет спросит: "Почему не NWPU-RESISC45 или AID, где пространство для роста есть?"
Что делать: добавить хотя бы один эксперимент на более современном датасете (AID: 10 тысяч изображений, 30 классов; NWPU-RESISC45: 31 500 изображений, 45 классов), либо явно аргументировать выбор UC Merced как "контрольного" ввиду его воспроизводимости.
2. Пропуск текстовых признаков на валидации — это не детали, это ключевой факт. Вы пишете, что "при валидации текстовые признаки не использовались". Это коренным образом меняет интерпретацию всех результатов: вы тестируете устойчивость к missing modality, а не качество слияния. Это нигде не оформлено как гипотеза. Комитет спросит: "Какова точность при наличии обеих модальностей на валидации?"
Что делать: провести ablation: (a) val с текстом, (b) val без текста. Это превратит недосказанность в осознанный эксперимент по robustness.
3. ==Нестабильность масштаба Gate+Sum — вы её диагностируете, но не лечите.== Вы правильно идентифицировали проблему: Gate+Sum создаёт переменную норму объединённого вектора, что бьёт по MAE. Современные работы 2025 года предлагают комбинировать gated residual connections с явными механизмами нормализации для устойчивости при выпадении модальностей. ACM Other conferences Отсутствие Layer Normalization или BatchNorm после Gate+Sum — это известная "дыра" в вашей схеме, которую легко закрыть и показать результат.
Что делать: добавить вариант Gate+Sum+LN (Layer Norm) как пятую точку сравнения. Это сильно упрочит "Gate+Sum" как ваш основной вклад.
4. Нет базовой линии concatenation/addition. Все четыре варианта — модификации Gate-Fusion. Но "выигрыш у baseline" доказывает качество Gate, а не вашей модификации. Комитет вправе спросить: "А простая конкатенация — она хуже Gate+Sum или нет?"
Что делать: добавить два простейших baseline: concat + FC и element-wise sum. Это займёт 30 минут кода.
5. DEGF-YOLO (2025) — ближайший конкурент, его надо цитировать. В 2025 году опубликован DEGF-YOLO, где Quality-Aware Gating Unit (QGU) динамически оценивает качество признаков каждой модальности через самосупервизированный подход, и именно на UAV-данных (RGBTDronePerson, DroneVehicle). ScienceDirect QGU — это более сложная версия идеи, которую вы исследуете: модель сама решает, какой модальности доверять. Ваша работа исторически предшествует этой концепции или ортогональна ей (работаете с text+vision, а не IR+RGB) — но вы обязаны её упомянуть и объяснить, в чём ваш вклад отличается.
6. Малые объёмы обучения и число эпох. 10 эпох для регрессии и 20 для классификации при использовании Ranger (RAdam + Lookahead, оптимизатор с адаптивным разогревом) — высок риск, что SRGF и RCGF просто не сошлись. Lookahead требует больше шагов для "догонки" медленных весов. Недавние работы в многомодальных системах с gated residual connections показывают устойчивость выше 72% даже при выпадении половины модальностей — но только при достаточном количестве итераций обучения. ACM Other conferences
Что делать: добавить learning curves (loss vs. epoch) в приложение, чтобы показать, что все модели сошлись, а не застряли на недообученном плато.
7. RCGF слабо обоснован теоретически. Перекрёстные шлюзы (текст генерирует маску для визуального потока, и наоборот) напоминают cross-attention. Ранние работы по multimodal geo-localization на UAV уже применяли BERT + ViT с bilinear pooling для перекрёстного взаимодействия модальностей, показывая, что cross-modal pooling лучше простого сложения. PubMed Central
Ссылки
- https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5363478
- https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models
- https://dl.acm.org/doi/10.1145/3756423.3756555
- https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858
- https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/
2. Оценка информативности вектора
- Насколько энтропия коррелирует с информативность и зашумленностью?
3. Остаточные связи: вред и польза
- Насколько целесообразны остаточные связи ==ПОСЛЕ== фильтрации, если они возвращают шум?
- Насколько целесообразны остаточные связи ==ДО== фильтрации, насколько информативнее будет отфильтрованный гейтами объединенный вектор, чем при объединении данных без остаточной модуляции
4. Проблемы ARGF
!Pasted image 20260421110850.png
A. Низкая обоснованность InfoScore
==InfoScore на данный момент не имеет теоретической связи с информативностью векторов==
!
B. Искусственная мотивация ARGF
Мы взяли ванильный GF и добавили разные схемы с остаточными связями, получили ухудшение и небольшое улучшение на VAL при GF+Sum. А проблему SRGF пытаемся решить через ARGF - это решение искусственно созданной проблемы.