forked from Pikaliov/fuze_task
2c6a00a4ca
Multimodal fusion research on StripNet+GTA-UAV proxy: - 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C) - Shared interfaces, protocol, dataset audit, baseline benchmarks - Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE) - Personalized task plans and decision tables for each researcher - 3 generated DOCX task assignment files with milestones and DoD checklist - Full modality dropout diagnostics and missing-modality robustness requirements - Data contract, benchmark registry, experiment tracking infrastructure Operational documents: - docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification - docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration - docs/02_references/: Core literature, version-chain bases, code maps - docs/03_codebase_guides/: Existing code snapshots from vault - scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure - vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code - reports/, results/, experiments/: Shared output structure for all 3 researchers 3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format): - План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner) - План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner) - План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner) Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
167 lines
13 KiB
Markdown
167 lines
13 KiB
Markdown
# Карта чтения
|
||
|
||
Все материалы в этой директории являются физическими копиями. Для выполнения задания не требуется доступ к исходному Obsidian vault.
|
||
|
||
## 0. Как устроены канонические документы: цепочки версий
|
||
|
||
Стратегические документы проекта ведутся как **цепочки версий**: базовая версия содержит полный анализ, а каждая следующая (v2, v3, v4, v5) — только changelog поверх предыдущей. Поэтому:
|
||
|
||
- **полное содержание** находится в базовой версии (в подпапке `_version_chain/`);
|
||
- **актуальные правки** — в верхней версии (в корне тематической папки);
|
||
- порядок чтения цепочки: база → v2 → v3 → последняя; при противоречии прав более поздний документ.
|
||
|
||
| Цепочка | Полная база (в `_version_chain/`) | Актуальная вершина |
|
||
|---|---|---|
|
||
| SPEC fusion ACF MERIDIAN | `SPEC_fusion_ACF_MERIDIAN_v1.md` (+v2, v3, v4) | `SPEC_fusion_ACF_MERIDIAN_v5.md` |
|
||
| ANALYSIS fusion | `ANALYSIS_fusion.md` (+v2, v3) | `ANALYSIS_fusion_v4.md` |
|
||
| FiLM alternatives taxonomy | `ANALYSIS_FiLM_alternatives_taxonomy.md` (+v2, v3) | `ANALYSIS_FiLM_alternatives_taxonomy_v4.md` |
|
||
| FiLM alternatives student-only | `ANALYSIS_FiLM_alternatives_student_only.md` (+v2, v3) | `ANALYSIS_FiLM_alternatives_student_only_v4.md` |
|
||
| HYP fusion variants | `HYP_fusion_variants.md` (+v2, v3) | `HYP_fusion_variants_v4.md` |
|
||
| DELTA E1 fusion taxonomy audit | `DELTA_E1_fusion_taxonomy_audit.md` (+v2, v3) | `DELTA_E1_fusion_taxonomy_audit_v4.md` |
|
||
| DELTA E1 teacher 5-modal Arch A | `DELTA_E1_teacher_5modal_Arch_A_final.md` (+v2, v3) | `DELTA_E1_teacher_5modal_Arch_A_final_v4.md` |
|
||
| BLUEPRINT unified teacher partD3 | `BLUEPRINT_unified_teacher_partD3.md` | `BLUEPRINT_unified_teacher_partD3_v2.md` |
|
||
| DELTA pair A (segmentation) | `03_segmentation/_version_chain/DELTA_pair_A_seg_revised.md` (+v2) | `DELTA_pair_A_seg_revised_v3.md` |
|
||
| DELTA pair B (depth UAV) | `04_geometry/_version_chain/DELTA_pair_B_depth_uav.md` (+v2) | `DELTA_pair_B_depth_uav_v3.md` |
|
||
| DELTA pair C (CHM sat) | `04_geometry/_version_chain/DELTA_pair_C_chm_sat.md` (+v2) | `DELTA_pair_C_chm_sat_v3.md` |
|
||
|
||
⚠️ Верхние версии (v3/v4/v5) — это файлы на 1–8 KB с changelog. Если читать только их, содержания вы не получите. Обязательный минимум по каждой нужной цепочке: **полная база + верхняя дельта**.
|
||
|
||
## 1. Старт для всех (до любых статей)
|
||
|
||
| # | Документ | Зачем |
|
||
|---|---|---|
|
||
| 1 | `docs/00_project/06_MERIDIAN_CONTEXT.md` | место проекта в системе MERIDIAN, вторичный критерий missing-modality, терминология |
|
||
| 2 | `docs/01_tasks/00_MASTER_ASSIGNMENT.md` | постановка и этапы |
|
||
| 3 | `docs/00_project/01_INPUT_OUTPUT_CONTRACT.md` | контракт тензоров |
|
||
| 4 | `02_fusion_core/TRIAGE_teacher_fusion_dropout_2026-06-11.md` | свежий (2026-06-11) аудит fusion-литературы: dropout-safe семейства операторов, каноничные прецеденты, порядок чтения внешних статей |
|
||
|
||
## 2. Обязательный пакет для всех
|
||
|
||
Папка: `01_required/`.
|
||
|
||
| Документ | Что извлечь | Результат чтения |
|
||
|---|---|---|
|
||
| `Методология_автоматического_аннотирования_World_UAV_v5.md` | форматы depth/segmentation/CHM, SafeTensors, pipeline QA | таблица входных tensor formats |
|
||
| `обзор_моделей_depth_normals_segmentation.md` | ограничения и качество генераторов | список рисков auxiliary inputs |
|
||
| `профилирование_VRAM_pipeline_256.md` | VRAM и последовательная загрузка моделей | compute assumptions |
|
||
| `CHMv2 vs Depth Anything V3 для CVGL.md` | различие CHM и depth | view-specific geometry contract |
|
||
| `PROTOCOL_text_encoder_benchmark_StripNet_GTA_UAV.md` | StripNet contract, GTA-UAV split, text format, metrics | фиксированные baseline assumptions |
|
||
|
||
Материалы содержат более широкий исторический контекст. В текущем проекте извлекаются только сведения о модальностях, StripNet, данных, fusion и экспериментах; постановка определяется файлами `docs/00_project/` и `docs/01_tasks/`.
|
||
|
||
## 3. Fusion core
|
||
|
||
Папка: `02_fusion_core/`.
|
||
|
||
### Прочитать всем полностью
|
||
|
||
1. `СИНТЕЗ_3_fusion.md` — кросс-анализ fusion-литературы vault.
|
||
2. `СИНТЕЗ_3_fusion_taxonomy_audit.md` — аудит таксономии.
|
||
3. `ОБЗОР_fusion_rgb_multimodal_full_v1.md` — обзор полной мультимодальной fusion.
|
||
4. Цепочка taxonomy: `_version_chain/ANALYSIS_FiLM_alternatives_taxonomy.md` → `ANALYSIS_FiLM_alternatives_taxonomy_v4.md`.
|
||
5. Цепочка SPEC: `_version_chain/SPEC_fusion_ACF_MERIDIAN_v1.md` → `SPEC_fusion_ACF_MERIDIAN_v5.md` — текущий канон fusion в MERIDIAN (то, что вы можете подтвердить или опровергнуть).
|
||
6. `TRIAGE_teacher_fusion_dropout_2026-06-11.md` — особенно §6a «Re-read из vault» и «Сквозные выводы»: три dropout-safe семейства, хрупкие механизмы, прецеденты rates.
|
||
|
||
### Использовать как справочник
|
||
|
||
- Цепочка `ANALYSIS_fusion` (база 73 KB — самый подробный разбор операторов fusion).
|
||
- Цепочка `HYP_fusion_variants` — гипотезы по вариантам fusion.
|
||
- Цепочка `DELTA_E1_teacher_5modal_Arch_A_final` — как E1-эксперимент Teacher спланирован в MERIDIAN.
|
||
- Цепочка `DELTA_E1_fusion_taxonomy_audit` — аудит taxonomy под E1.
|
||
- `BLUEPRINT_unified_teacher_partD3` (база + v2) — полный blueprint единого Teacher.
|
||
- `ANALYSIS_FiLM_alternatives_student_only` (база + v4) — FiLM-альтернативы для student-ветки MERIDIAN; читать как каталог операторов, контекст у него другой (edge/INT8).
|
||
- `01_film_fusion.md` — конспект FiLM-подхода.
|
||
- `ОБЗОР_fusion_detailed_v1.md`, `ОБЗОР_cvgl_detailed_v1.md`.
|
||
- `ОБЗОР_fusion_rgb_edges_v1.md` — только для понимания dense structural signals; edges не входят в primary input.
|
||
|
||
## 4. Павленко (condition-aware)
|
||
|
||
Порядок:
|
||
|
||
1. F39 CAFuser — канонический condition-aware прецедент (condition token из RGB).
|
||
2. F37 AsymFormer — асимметричная RGB-heavy/aux-light fusion.
|
||
3. F43 Robust PEFT (SSF) — peer-reviewed (TPAMI 2024) опора zero-init/identity-adapters и поведения при missing modalities.
|
||
4. F47 TacFiLM — zero-init FiLM на практике.
|
||
5. F40 M3amba — frozen CLIP + per-modality adapters; ⚠️ предполагает все модальности присутствующими.
|
||
6. F44 Fusion-Mamba — gating в Mamba-fusion.
|
||
7. F68 RemoteDet-Mamba — гибридная RS fusion.
|
||
8. F4 EarthMind — MAS-диагностика modality balance.
|
||
9. B14 StripNet — backbone contract.
|
||
|
||
После каждого документа заполнить строку evidence matrix по controller, residual path, gate granularity и identity preservation.
|
||
|
||
Дополнительно из TRIAGE §6a: C5/F14 WeatherPrompt (в `05_text/`) — instance-conditioned Dynamic Gate 80.20 > Concat 78.90 > Static 78.45; FiLM 73.37 > CrossAttn 68.10 > Concat 62.50. Это прямые количественные аргументы трека A.
|
||
|
||
## 5. Близно (token/bottleneck)
|
||
|
||
Порядок:
|
||
|
||
1. F45 Flex-MoE — произвольные комбинации модальностей через experts.
|
||
2. F46 FuseMoE — MoE-fusion, peer-reviewed (NeurIPS 2024).
|
||
3. P50 MMGeo — **главный CVGL-прецедент трека**: Mutable Token (Query) над Modality Pool (K/V); softmax перенормируется при удалении модальности. ⚠️ Числа deep-dive (88.5→97.3 R@1) перед цитированием проверить по PDF статьи.
|
||
4. ImageBind — late-fusion-by-alignment как нижняя граница глубокой fusion.
|
||
5. F40 M3amba.
|
||
6. F4 EarthMind.
|
||
7. B14 StripNet.
|
||
|
||
После каждого документа выписать tokenization, aggregation, token count, complexity, modality identity и collapse control.
|
||
|
||
Дополнительно из TRIAGE §1: внешние прецеденты MBT (NeurIPS 2021, bottleneck-токены), Perceiver IO, BLIP-2 Q-Former, CMNeXt Self-Query Hub (~0.01M params/модальность) — найти и прочитать оригинальные статьи по arXiv ID из TRIAGE.
|
||
|
||
## 6. Мороз (role-aware)
|
||
|
||
### Segmentation
|
||
|
||
1. `03_segmentation/REVIEW_segmentation_pairA.md` — полный обзор pair A.
|
||
2. Цепочка pair A: `03_segmentation/_version_chain/DELTA_pair_A_seg_revised.md` (база, 48 KB) → `DELTA_pair_A_seg_revised_v3.md`.
|
||
3. `ОБЗОР_fusion_rgb_segmentation_v1.md`.
|
||
4. F36 FC-CLIP — frozen-провайдер сегментации.
|
||
5. P52 guided CVGL segmentation — land-cover как guidance, LUPI-evidence.
|
||
|
||
### Geometry
|
||
|
||
1. `04_geometry/REVIEW_depth_normals_pairB.md` — полный обзор pair B.
|
||
2. Цепочка pair B: `04_geometry/_version_chain/DELTA_pair_B_depth_uav.md` (база, 34 KB) → `DELTA_pair_B_depth_uav_v3.md`.
|
||
3. `04_geometry/REVIEW_chm_pairC.md` — полный обзор pair C.
|
||
4. Цепочка pair C: `04_geometry/_version_chain/DELTA_pair_C_chm_sat.md` (база, 30 KB) → `DELTA_pair_C_chm_sat_v3.md`.
|
||
5. M11 CHMv2 — субстрат CHM, curriculum warmup.
|
||
6. M4 JRN-Geo — ⚠️ геометрия = модулятор, не самостоятельный поток (normals alone → 37%).
|
||
7. P44 MGS2 — Sobel-on-depth: ориентационные карты вместо raw values.
|
||
|
||
### Text
|
||
|
||
1. `05_text/REVIEW_text_pairD_methodology.md`.
|
||
2. `05_text/REVIEW_text_pairD_final.md`.
|
||
3. F14 WeatherPrompt deep dive — точная спецификация text→FiLM MLP (zero-init, two-speed LR, EMA).
|
||
4. F47 TacFiLM.
|
||
5. P64 CGSI — асимметричный cross-attention (visual Q, text K/V).
|
||
6. C5 WeatherPrompt (NeurIPS 2025).
|
||
|
||
## 7. Как анализировать статью
|
||
|
||
Для каждого документа заполнить:
|
||
|
||
| Поле | Вопрос |
|
||
|---|---|
|
||
| Task | Для какой исходной задачи разработан метод? |
|
||
| Inputs | Какие модальности и их формы? |
|
||
| Fusion level | Early, mid, late, multi-level? |
|
||
| Operator | Add, concat, FiLM, attention, token bottleneck, experts? |
|
||
| Direction | Симметричная или асимметричная fusion? |
|
||
| Identity path | Сохраняется ли базовый RGB signal? |
|
||
| Missing-modality | Что происходит при отсутствии модальности? |
|
||
| Compute | Что растёт по числу tokens/channels/stages? |
|
||
| Evidence | Какой experimental result подтверждает механизм? |
|
||
| Transfer | Что переносимо на StripNet/GTA-UAV? |
|
||
| Risk | Как метод может провалиться в retrieval? |
|
||
| Decision | Использовать, адаптировать или отклонить? |
|
||
|
||
## 8. Требования к evidence matrix
|
||
|
||
- Не менее 8 источников на персональный трек.
|
||
- Не менее 3 источников должны быть deep-dive analyses.
|
||
- Не менее 2 источников должны быть непосредственно связаны с cross-view/remote sensing.
|
||
- Любое конкретное число проверяется по документу; числа из deep-dive с пометкой «antigravity» (P50, P64) — по PDF оригинальной статьи.
|
||
- Нельзя выдавать проектное предположение за результат статьи.
|
||
- Каждая архитектурная деталь primary должна иметь source или явное инженерное обоснование.
|