---
tags:
  - диссер
---
# Отзыв от 25.03

Вот критическая рецензия на представленные тезисы с точки зрения специалиста по глубокому обучению и оценка перспективности материала для кандидатской диссертации по специальности 2.3.1 (Системный анализ, управление и обработка информации).
Общая оценка работы

Представленные тезисы описывают локальное, но методологически корректное исследование в области мультимодального слияния данных для задач анализа изображений с БПЛА. Автор проверяет понятную гипотезу: помогают ли остаточные связи (residual connections) в механизме Gate-Fusion улучшить качество признаков, или же они пропускают шум, нивелируя работу шлюзов.

Несмотря на отрицательные результаты большинства модификаций, ценность работы заключается в честном анализе причин архитектурных неудач. Однако в текущем виде это материал крепкой статьи уровня Q3-Q4 или хорошей конференции, но лишь малая часть для полноценного диссертационного исследования.
### Сильные стороны (плюсы)

 * Актуальная и хорошо формализованная проблема: Работа с зашумленными и нестабильными мультимодальными данными БПЛА (размытость, скачки освещенности) действительно требует легковесных и устойчивых методов слияния, где классический Cross-Attention может быть избыточным или нестабильным.
 * Четкий дизайн эксперимента (Ablation study): Автор методично тестирует три различные архитектурные вариации добавления остаточных связей (дополнительная сумма, раздельное сохранение сумм, перекрестные шлюзы).
 * Корректная интерпретация результатов: Вывод о том, что прямые остаточные связи (shortcut-ветви) в условиях разнородного качества модальностей работают во вред, так как возвращают отфильтрованный шлюзом шум обратно в сигнал, физически и математически обоснован.
### Слабые стороны и критические замечания

 * Масштаб научной новизны: Единственная успешная модификация (Gate+Sum) сводится к простому добавлению базовой суммы признаков к выходу шлюза. С алгоритмической точки зрения это крайне незначительное изменение, представляющее собой стандартный эвристический прием в Deep Learning, а не концептуально новый метод.
 * ==Маргинальность улучшений: Прирост метрик от удачной модификации минимален. Снижение Loss на валидации регрессии составляет всего 0.02 (с 0.14 до 0.12), а MAE — на 0.09. Для классификации метрики F1, Top-1 и Top-5 и вовсе остались практически неизменными по сравнению с базовым Gate-Fusion. Без статистических тестов (например, t-критерия Стьюдента) сложно утверждать, что это улучшение значимо, а не является следствием случайной инициализации весов.==
 * Недостаточная теоретическая база: В тексте представлены только структурные формулы сложения векторов. Не хватает математического обоснования того, как именно шлюз влияет на распределение дисперсии шума.
 * Выбор датасетов: Если VisLoc хорошо подходит для задачи, то UC Merced Land Use Dataset является устаревшим и слишком простым (~2000 изображений) для оценки современных мультимодальных архитектур.
 
### Перспективы для кандидатской диссертации (Специальность 2.3.1)

Материал в его текущем виде покрывает максимум одну главу или один подраздел диссертации. Паспорт специальности 2.3.1 требует разработки новых методов, алгоритмов или существенного развития существующих подходов к обработке информации. Простой подбор архитектуры (ResNet-подобные связи вокруг Gate) на статус "нового метода обработки информации" не тянет.
### Как развить этот материал до уровня диссертации:

 * Теоретическое обобщение (для главы 1-2): Необходимо математически смоделировать прохождение полезного сигнала и шума через предложенные мультипликативные шлюзы. Нужно показать аналитически, при каком соотношении сигнал/шум остаточная связь становится деструктивной.
 * Разработка адаптивного метода (для главы 3): Текущий вывод — связи пропускают шум. Идея для диссертации: разработать метод динамической маршрутизации остаточных связей. 
 
 ==*То есть создать модуль, который будет оценивать уровень энтропии/шума модальности "на лету" и принимать решение, нужна ли здесь остаточная связь, с каким коэффициентом затухания ее пропустить, или ее нужно полностью отсечь.*== [[Adaptive_residual_routing]]

 * Аппаратные ограничения: Поскольку речь идет о БПЛА, в рамках специальности 2.3.1 огромным плюсом будет анализ вычислительной сложности предложенного метода (FLOPs, latency) по сравнению с тяжеловесными трансформерами, доказывающий, что предложенный шлюз оптимален для бортовых систем.
# Модификации InfoScore для возможной интеграции 

[[InfoScore for residual routing]]