fuze_task/docs/01_tasks/02_BLIZNO_TOKEN_BOTTLENECK.md

Задание Близно Максиму Витальевичу

1. Трек

Token/Bottleneck Full-Modal Aggregation.

Дополнительная командная роль: владелец общего benchmark, run registry, метрик, statistical comparison и воспроизводимости.

2. Исследовательский вопрос

Как выполнить cross-modal reasoning между StripNet features, text, segmentation и geometry через компактный token set, не обрабатывая все spatial positions квадратично и не допуская collapse к одной модальности?

3. Обязательное чтение

Общий пакет

• docs/02_references/01_required/
• docs/02_references/02_fusion_core/СИНТЕЗ_3_fusion.md
• docs/02_references/02_fusion_core/ОБЗОР_fusion_rgb_multimodal_full_v1.md
• StripNet analysis B14.

Персональный пакет

• F45_2024_Flex-MoE_Modeling_Arbitrary_Modality_Combination.md
• F46_2024_FuseMoE_Mixture-of-Experts_Transformers_Fleximodal.md
• P50_2026_MMGeo_deep_dive_for_MERIDIAN.md
• ImageBind One Embedding Space To Bind Them All.md
• F40_2025_M3amba_CLIP-driven_Mamba_Multi-modal_RS.md
• F4_2025_EARTHMIND ... MULTIMODAL LLM.md

Канонические опоры (проверенные выводы из vault, использовать в evidence matrix)

Источник	Факт	Следствие для трека B
P50 MMGeo deep dive	Mutable Token (Query) над Modality Pool (K/V); softmax перенормирует веса при удалении модальности; multimodal-trained модель превосходит RGB-only-trained даже на RGB-only inference	главный CVGL-прецедент трека; ⚠️ конкретные числа (88.5→97.3 R@1) проверить по PDF до цитирования
MBT (NeurIPS 2021, arXiv 2107.00135, см. TRIAGE §1)	весь кросс-модальный поток через малый набор bottleneck-токенов; выход фиксированной формы при любом подмножестве модальностей	peer-reviewed первоисточник bottleneck-схемы
Perceiver IO (ICLR 2022) / BLIP-2 Q-Former (ICML 2023), TRIAGE §2	фиксированный латентный массив ⊥ длине входа; query-bottleneck над frozen encoder	прецеденты learned-resampler кандидата B-C1/B-C2
CMNeXt (CVPR 2023, TRIAGE §1)	Self-Query Hub: ~0.01M params на модальность, масштабируется 1→81 модальностей, отсутствующая aux вносит ноль	дёшевый RGB-anchored hub как альтернатива полному token pool
ImageBind	late-fusion-by-alignment	нижняя граница: если bottleneck не бьёт ImageBind-style late fusion, он не нужен

Внешние статьи (MBT, Perceiver IO, BLIP-2, CMNeXt) найти по arXiv ID из 02_fusion_core/TRIAGE_teacher_fusion_dropout_2026-06-11.md и прочитать оригиналы — конспектов в пакете нет.

4. Общая обязанность: benchmark

Совместно с коллегами реализовать единый запуск, который меняет только fusion variant.

Обязательные возможности:

1. Gin config.
2. Seed control.
3. Config snapshot.
4. Git commit в manifest.
5. Train/eval metrics CSV.
6. Multi-match R@K.
7. Peak VRAM и latency.
8. Diagnostics aggregation.
9. Experiment registry update.
10. Одинаковый loss/sampler для всех variants.

5. Персональные задачи

B0. Evidence matrix

Минимальные поля:

Source	Tokenizer	Aggregator	Complexity	Modality identity	Collapse control	Transfer risk

B1. Определить token contract

Для каждой modality указать:

Поле	RGB	Text	Segmentation	Geometry
Source tensor
Number of tokens
Token dim
Position encoding
Modality embedding
View embedding
Normalization

B2. Сжать StripNet features

Сравнить:

1. Stage-4 GAP: 1 token.
2. Stage-4 adaptive grid 4x4: 16 tokens.
3. Stage-3/4 pyramid: например 4x4 + 2x2.
4. Learned resampler с K queries.

Рассчитать attention complexity для каждого варианта при общей token dimension 256 и 512.

B3. Tokenization segmentation

Сравнить:

• global class histogram token;
• mask-pooled class tokens;
• fixed spatial grid over embedded class map;
• learned query pooling.

Обработать отсутствующие классы через mask, не создавая NaN при делении на ноль.

B4. Tokenization geometry

Для depth и CHM сравнить:

• pooled dense encoder features;
• adaptive spatial grid;
• global statistics + spatial tokens;
• gradient-aware tokenization.

Input encoders view-specific, output token contract общий.

B5. Tokenization text

Сравнить:

• один global text token;
• L1/L2/L3 как три tokens;
• learned resampling sequence в K tokens.

Text token count и encoder фиксируются до primary comparison.

B6. Сформировать три кандидата

Candidate	Required design
B-C1	mutable query читает общий modality token pool
B-C2	shared bottleneck tokens с 1-2 aggregation layers
B-C3	soft modality experts + unified readout

Top-k routing не использовать в primary без доказанной необходимости, так как он усложняет стабильность и fair comparison.

B7. Выбрать primary и fallback

Сравнить по:

• R@1 potential;
• token count;
• quadratic cost;
• gradient flow;
• modality attribution;
• load balancing;
• implementation complexity.

B8. Формализовать aggregation

Для primary задать:

T_v = concat(T_rgb, T_text, T_seg, T_geom) + E_mod + E_view + E_pos

Q_v^{k+1} = Q_v^k + CrossAttention(Q_v^k, T_v, T_v)

или альтернативную точную формулу.

Указать Q/K/V direction, heads, layers, token dim, MLP ratio, residual и normalization.

B9. Предотвратить collapse

Диагностика обязательна, regularization выбирается только по данным.

Минимально логировать:

• attention mass per modality;
• cosine similarity bottleneck tokens;
• token covariance rank;
• gradient norm per modality tokenizer;
• readout sensitivity leave-one-group-out.

Кандидаты контроля:

• modality-balanced attention penalty;
• token diversity loss;
• decorrelation;
• auxiliary modality readouts;
• soft expert load balancing.

Выбрать один минимальный механизм для primary, если baseline показывает collapse.

B10. Readout

Сравнить:

1. One fused token.
2. Mean bottleneck tokens.
3. Attention pooling.
4. Concat token readout + RGB GAP.
5. Residual fused token к RGB descriptor.

B11. Tests

1. Token count для каждой modality соответствует config.
2. Masked/empty class tokens не дают NaN.
3. Attention mask блокирует invalid tokens.
4. Output shape и norm.
5. Gradient достигает каждого tokenizer.
6. Token order permutation test там, где position не должен влиять.
7. Complexity estimator выдаёт ожидаемый порядок роста.

B12. Персональные ablations

ID	Сравнение
B-AB1	GAP vs adaptive grid vs learned resampler
B-AB2	stage 4 vs stages 3-4
B-AB3	mutable query vs bottleneck
B-AB4	bottleneck vs soft experts
B-AB5	token dim 256 vs 512
B-AB6	1 vs 2 vs 4 layers
B-AB7	no collapse control vs selected control
B-AB8	single token vs pooled readout
B-AB9	with vs without modality embeddings
B-AB10	fused-only vs RGB-residual readout

B13. Statistical comparison

Для финалистов:

• mean/std по 3 seed;
• paired per-query success table;
• bootstrap CI R@1 delta;
• Holm correction, если выполняется много pairwise tests;
• Pareto table accuracy/VRAM/latency.

B14. Falsification

Гипотеза token aggregation не подтверждена, если:

• late concat не хуже;
• token representations коллапсируют;
• gain исчезает при RGB-residual control;
• attention cost растёт без retrieval gain;
• результат чувствителен к несущественному token order;
• улучшение не повторяется по seed.

6. Кодовые артефакты

src/fuse_proj/models/fusion/token_bottleneck.py
scripts/run_experiment.py
scripts/aggregate_results.py
scripts/benchmark_latency.py
in/config_files/fusion_token_bottleneck.gin
tests/test_token_bottleneck.py
experiments/experiment_registry.csv
reports/blizno/DESIGN.md
reports/blizno/IMPLEMENTATION_AND_RESULTS.md

7. Definition of Done

• Общий benchmark принят всей командой.
• Token contract заполнен для всех modalities.
• Три candidates сравнены.
• Primary/fallback выбраны.
• Attention complexity рассчитана.
• Collapse diagnostics реализованы.
• Все tests проходят.
• B-AB1..B-AB10 выполнены в согласованном объёме.
• Павленко выполнил code review.
• Финальные runs сведены статистически.