first commit

4_questions_problems/Научная новизна.md

@@ -0,0 +1,31 @@
+---
+tags:
+  - диссер
+---
+
+```
+п.1. 
+
+Фьюз + Возможно можно доразвить InfoScore.
+Он должен работать в системе CVGL. 
+Должно быть не просто улучшение. Протестить GeoText для сравнения с их подходом.
+Для веса гипотезы этот фюьз должен срабатывать при дистиляции в подходе Teacher-Student,
+должна быть совместимость.
+
+Чем больше ты проанализровал статей и выделил целевых компонентов - 
+тем больше пользы и меньше галлюцинаций. 
+
+п.2.
+
+Алгоритм формирования (генерации) текстовых описаний сцен. 
+т.е. улучшить методы генерации текстовых описаний (промпты, анти галлюцинации) 
+метод, алгоритм, набор правил, адаптация Qwen
+
+Пока что это использование входных промптов+QwenLM
+Есть разработанная  система оценки промптов (Ярослав):
+ - есть оценки и Claude
+ - img -> descr
+ - оценка описаний 
+ - если плохо - Claude переделывает промпт
+```
+

4_questions_problems/Проблемы и вопросы.md

@@ -0,0 +1,71 @@
+---
+tags:
+  - диссер
+---
+## 1. Что уже сделано с GateFusion на сегодняшний день
+
+![[Pasted image 20260418144455.png]]
+### **Сильные стороны, которые держат защиту:**
+
+Ваша постановка задачи — исследование шлюзовой регуляции вклада модальностей при шумных сенсорных данных БПЛА — по-прежнему актуальна и не вытеснена. Более поздние работы 2025 года (DEGF-YOLO) подтверждают, что именно "кросс-модальное загрязнение" и отсутствие оценки качества признаков остаётся открытой проблемой в UAV-задачах. [SSRN](https://papers.ssrn.com/sol3/Delivery.cfm/fe3be58d-5f35-4f59-9731-99cfaa11e108-MECA.pdf?abstractid=5363478&mirid=1) Это прямо поддерживает вашу мотивацию. Аналитическое объяснение, почему остаточные связи «возвращают шум», — уникальный вклад, которого нет в смежных работах.
+
+### **Критические уязвимости, которые могут вскрыть на защите**
+
+**1. Насыщение UC Merced — самый болезненный вопрос.** Датасет издан в 2010 году, он широко признан "saturated". Исследователи отмечают, что результаты на UC Merced и WHU-RS19 уже насыщены, что значительно ограничивает развитие алгоритмов классификации сцен. [ResearchGate](https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models) Ваши Top-1 = 0.98 на валидации — это уровень, при котором любые улучшения на 0.01 находятся в пределах статистического шума. Комитет спросит: "Почему не NWPU-RESISC45 или AID, где пространство для роста есть?"
+
+**Что делать:** добавить хотя бы один эксперимент на более современном датасете (AID: 10 тысяч изображений, 30 классов; NWPU-RESISC45: 31 500 изображений, 45 классов), либо явно аргументировать выбор UC Merced как "контрольного" ввиду его воспроизводимости.
+
+**2. Пропуск текстовых признаков на валидации — это не детали, это ключевой факт.** Вы пишете, что "при валидации текстовые признаки не использовались". Это коренным образом меняет интерпретацию всех результатов: вы тестируете устойчивость к missing modality, а не качество слияния. Это нигде не оформлено как гипотеза. Комитет спросит: "Какова точность при наличии обеих модальностей на валидации?"
+
+**Что делать:** провести ablation: (a) val с текстом, (b) val без текста. Это превратит недосказанность в осознанный эксперимент по robustness.
+
+**3. ==Нестабильность масштаба Gate+Sum — вы её диагностируете, но не лечите.**== Вы правильно идентифицировали проблему: Gate+Sum создаёт переменную норму объединённого вектора, что бьёт по MAE. Современные работы 2025 года предлагают комбинировать gated residual connections с явными механизмами нормализации для устойчивости при выпадении модальностей. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555) Отсутствие Layer Normalization или BatchNorm после Gate+Sum — это известная "дыра" в вашей схеме, которую легко закрыть и показать результат.
+
+**Что делать:** добавить вариант Gate+Sum+LN (Layer Norm) как пятую точку сравнения. Это сильно упрочит "Gate+Sum" как ваш основной вклад.
+
+**4. Нет базовой линии concatenation/addition.** Все четыре варианта — модификации Gate-Fusion. Но "выигрыш у baseline" доказывает качество Gate, а не вашей модификации. Комитет вправе спросить: "А простая конкатенация — она хуже Gate+Sum или нет?"
+
+**Что делать:** добавить два простейших baseline: concat + FC и element-wise sum. Это займёт 30 минут кода.
+
+**5. DEGF-YOLO (2025) — ближайший конкурент, его надо цитировать.** В 2025 году опубликован DEGF-YOLO, где Quality-Aware Gating Unit (QGU) динамически оценивает качество признаков каждой модальности через самосупервизированный подход, и именно на UAV-данных (RGBTDronePerson, DroneVehicle). [ScienceDirect](https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858) QGU — это более сложная версия идеи, которую вы исследуете: модель сама решает, какой модальности доверять. Ваша работа исторически предшествует этой концепции или ортогональна ей (работаете с text+vision, а не IR+RGB) — но вы обязаны её упомянуть и объяснить, в чём ваш вклад отличается.
+
+**6. Малые объёмы обучения и число эпох.** 10 эпох для регрессии и 20 для классификации при использовании Ranger (RAdam + Lookahead, оптимизатор с адаптивным разогревом) — высок риск, что SRGF и RCGF просто не сошлись. Lookahead требует больше шагов для "догонки" медленных весов. Недавние работы в многомодальных системах с gated residual connections показывают устойчивость выше 72% даже при выпадении половины модальностей — но только при достаточном количестве итераций обучения. [ACM Other conferences](https://dl.acm.org/doi/10.1145/3756423.3756555)
+
+**Что делать:** добавить learning curves (loss vs. epoch) в приложение, чтобы показать, что все модели сошлись, а не застряли на недообученном плато.
+
+**7. RCGF слабо обоснован теоретически.** Перекрёстные шлюзы (текст генерирует маску для визуального потока, и наоборот) напоминают cross-attention. Ранние работы по multimodal geo-localization на UAV уже применяли BERT + ViT с bilinear pooling для перекрёстного взаимодействия модальностей, показывая, что cross-modal pooling лучше простого сложения. [PubMed Central](https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/) 
+
+### Ссылки
+
+1. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5363478
+2. https://www.researchgate.net/publication/381622097_Classification_of_University_of_California_UC_Merced_Land-Use_Dataset_Remote_Sensing_Images_Using_Pre-Trained_Deep_Learning_Models
+3. https://dl.acm.org/doi/10.1145/3756423.3756555
+4. https://www.sciencedirect.com/science/article/abs/pii/S0031320325013858
+5. https://pmc.ncbi.nlm.nih.gov/articles/PMC9866486/
+
+---
+## 2. Оценка информативности вектора
+
+1. Насколько энтропия коррелирует с информативность и зашумленностью? 
+
+---
+## 3. Остаточные связи: вред и польза
+
+1. Насколько целесообразны остаточные связи ==ПОСЛЕ== фильтрации, если они возвращают шум?
+2. Насколько целесообразны остаточные связи ==ДО== фильтрации, насколько информативнее будет отфильтрованный гейтами объединенный вектор, чем при объединении данных без остаточной модуляции
+
+## 4. Проблемы ARGF
+
+[[Adaptive_residual_routing]]
+
+![[Pasted image 20260421110850.png|524]]
+
+### A. Низкая обоснованность InfoScore
+
+**==InfoScore на данный момент не имеет теоретической связи с информативностью векторов==**
+
+![[Pasted image 20260421111122.png]]
+
+### B. Искусственная мотивация ARGF
+
+Мы взяли ванильный GF и добавили разные схемы с остаточными связями, получили ухудшение и небольшое улучшение на VAL при GF+Sum. А проблему SRGF пытаемся решить через ARGF - это решение искусственно созданной проблемы. 

4_questions_problems/Рекомендации и идеи.md

@@ -0,0 +1,39 @@
+---
+tags:
+  - диссер
+---
+# Отзыв от 25.03
+
+Вот критическая рецензия на представленные тезисы с точки зрения специалиста по глубокому обучению и оценка перспективности материала для кандидатской диссертации по специальности 2.3.1 (Системный анализ, управление и обработка информации).
+Общая оценка работы
+
+Представленные тезисы описывают локальное, но методологически корректное исследование в области мультимодального слияния данных для задач анализа изображений с БПЛА. Автор проверяет понятную гипотезу: помогают ли остаточные связи (residual connections) в механизме Gate-Fusion улучшить качество признаков, или же они пропускают шум, нивелируя работу шлюзов.
+
+Несмотря на отрицательные результаты большинства модификаций, ценность работы заключается в честном анализе причин архитектурных неудач. Однако в текущем виде это материал крепкой статьи уровня Q3-Q4 или хорошей конференции, но лишь малая часть для полноценного диссертационного исследования.
+### Сильные стороны (плюсы)
+
+ * Актуальная и хорошо формализованная проблема: Работа с зашумленными и нестабильными мультимодальными данными БПЛА (размытость, скачки освещенности) действительно требует легковесных и устойчивых методов слияния, где классический Cross-Attention может быть избыточным или нестабильным.
+ * Четкий дизайн эксперимента (Ablation study): Автор методично тестирует три различные архитектурные вариации добавления остаточных связей (дополнительная сумма, раздельное сохранение сумм, перекрестные шлюзы).
+ * Корректная интерпретация результатов: Вывод о том, что прямые остаточные связи (shortcut-ветви) в условиях разнородного качества модальностей работают во вред, так как возвращают отфильтрованный шлюзом шум обратно в сигнал, физически и математически обоснован.
+### Слабые стороны и критические замечания
+
+ * Масштаб научной новизны: Единственная успешная модификация (Gate+Sum) сводится к простому добавлению базовой суммы признаков к выходу шлюза. С алгоритмической точки зрения это крайне незначительное изменение, представляющее собой стандартный эвристический прием в Deep Learning, а не концептуально новый метод.
+ * ==Маргинальность улучшений: Прирост метрик от удачной модификации минимален. Снижение Loss на валидации регрессии составляет всего 0.02 (с 0.14 до 0.12), а MAE — на 0.09. Для классификации метрики F1, Top-1 и Top-5 и вовсе остались практически неизменными по сравнению с базовым Gate-Fusion. Без статистических тестов (например, t-критерия Стьюдента) сложно утверждать, что это улучшение значимо, а не является следствием случайной инициализации весов.==
+ * Недостаточная теоретическая база: В тексте представлены только структурные формулы сложения векторов. Не хватает математического обоснования того, как именно шлюз влияет на распределение дисперсии шума.
+ * Выбор датасетов: Если VisLoc хорошо подходит для задачи, то UC Merced Land Use Dataset является устаревшим и слишком простым (~2000 изображений) для оценки современных мультимодальных архитектур.
+ 
+### Перспективы для кандидатской диссертации (Специальность 2.3.1)
+
+Материал в его текущем виде покрывает максимум одну главу или один подраздел диссертации. Паспорт специальности 2.3.1 требует разработки новых методов, алгоритмов или существенного развития существующих подходов к обработке информации. Простой подбор архитектуры (ResNet-подобные связи вокруг Gate) на статус "нового метода обработки информации" не тянет.
+### Как развить этот материал до уровня диссертации:
+
+ * Теоретическое обобщение (для главы 1-2): Необходимо математически смоделировать прохождение полезного сигнала и шума через предложенные мультипликативные шлюзы. Нужно показать аналитически, при каком соотношении сигнал/шум остаточная связь становится деструктивной.
+ * Разработка адаптивного метода (для главы 3): Текущий вывод — связи пропускают шум. Идея для диссертации: разработать метод динамической маршрутизации остаточных связей. 
+ 
+ ==*То есть создать модуль, который будет оценивать уровень энтропии/шума модальности "на лету" и принимать решение, нужна ли здесь остаточная связь, с каким коэффициентом затухания ее пропустить, или ее нужно полностью отсечь.*== [[Adaptive_residual_routing]]
+
+ * Аппаратные ограничения: Поскольку речь идет о БПЛА, в рамках специальности 2.3.1 огромным плюсом будет анализ вычислительной сложности предложенного метода (FLOPs, latency) по сравнению с тяжеловесными трансформерами, доказывающий, что предложенный шлюз оптимален для бортовых систем.
+# Модификации InfoScore для возможной интеграции 
+
+[[InfoScore for residual routing]]
+