Pikaliov/fuze_task
1
0
Fork 1
Code Issues Pull Requests 1 Actions Packages Projects Releases Wiki Activity
Files
main
fuze_task/docs/02_references/00_READING_MAP.md
Pikaliov 2c6a00a4ca fuse_proj: Initial operational package for 3 researchers (Pavlenko/Blizno/Moroz) 
Multimodal fusion research on StripNet+GTA-UAV proxy:
- 3 independent fusion tracks: condition-aware (A), token/bottleneck (B), role-aware (C)
- Shared interfaces, protocol, dataset audit, baseline benchmarks
- Canonical version-chain references to vault (SPEC, ANALYSIS, TRIAGE)
- Personalized task plans and decision tables for each researcher
- 3 generated DOCX task assignment files with milestones and DoD checklist
- Full modality dropout diagnostics and missing-modality robustness requirements
- Data contract, benchmark registry, experiment tracking infrastructure

Operational documents:
- docs/00_project/: MERIDIAN context, protocol, repository reuse guide, experiment specification
- docs/01_tasks/: Master assignment + 3 individual researcher tracks + joint integration
- docs/02_references/: Core literature, version-chain bases, code maps
- docs/03_codebase_guides/: Existing code snapshots from vault
- scripts/: gen_task_plans.js (DOCX generation), placeholder infrastructure
- vendor_reference/: Snapshots of caption_test, depth_edges_annotate, existing SOFIA/SegModel code
- reports/, results/, experiments/: Shared output structure for all 3 researchers

3 DOCX files generated from gen_task_plans.js (Times New Roman 14pt, GOST format):
- План_заданий_Павленко_БВ.docx (Condition-Aware track, fusion API owner)
- План_заданий_Близно_МВ.docx (Token/Bottleneck track, benchmark owner)
- План_заданий_Мороз_ЕС.docx (Role-Aware track, data contract owner)

Co-Authored-By: Claude Haiku 4.5 <noreply@anthropic.com>
2026-06-11 17:16:57 +03:00

13 KiB
Raw Permalink Blame History

Карта чтения

Все материалы в этой директории являются физическими копиями. Для выполнения задания не требуется доступ к исходному Obsidian vault.

0. Как устроены канонические документы: цепочки версий

Стратегические документы проекта ведутся как цепочки версий: базовая версия содержит полный анализ, а каждая следующая (v2, v3, v4, v5) — только changelog поверх предыдущей. Поэтому:

  • полное содержание находится в базовой версии (в подпапке _version_chain/);
  • актуальные правки — в верхней версии (в корне тематической папки);
  • порядок чтения цепочки: база → v2 → v3 → последняя; при противоречии прав более поздний документ.
Цепочка Полная база (в _version_chain/) Актуальная вершина
SPEC fusion ACF MERIDIAN SPEC_fusion_ACF_MERIDIAN_v1.md (+v2, v3, v4) SPEC_fusion_ACF_MERIDIAN_v5.md
ANALYSIS fusion ANALYSIS_fusion.md (+v2, v3) ANALYSIS_fusion_v4.md
FiLM alternatives taxonomy ANALYSIS_FiLM_alternatives_taxonomy.md (+v2, v3) ANALYSIS_FiLM_alternatives_taxonomy_v4.md
FiLM alternatives student-only ANALYSIS_FiLM_alternatives_student_only.md (+v2, v3) ANALYSIS_FiLM_alternatives_student_only_v4.md
HYP fusion variants HYP_fusion_variants.md (+v2, v3) HYP_fusion_variants_v4.md
DELTA E1 fusion taxonomy audit DELTA_E1_fusion_taxonomy_audit.md (+v2, v3) DELTA_E1_fusion_taxonomy_audit_v4.md
DELTA E1 teacher 5-modal Arch A DELTA_E1_teacher_5modal_Arch_A_final.md (+v2, v3) DELTA_E1_teacher_5modal_Arch_A_final_v4.md
BLUEPRINT unified teacher partD3 BLUEPRINT_unified_teacher_partD3.md BLUEPRINT_unified_teacher_partD3_v2.md
DELTA pair A (segmentation) 03_segmentation/_version_chain/DELTA_pair_A_seg_revised.md (+v2) DELTA_pair_A_seg_revised_v3.md
DELTA pair B (depth UAV) 04_geometry/_version_chain/DELTA_pair_B_depth_uav.md (+v2) DELTA_pair_B_depth_uav_v3.md
DELTA pair C (CHM sat) 04_geometry/_version_chain/DELTA_pair_C_chm_sat.md (+v2) DELTA_pair_C_chm_sat_v3.md

⚠️ Верхние версии (v3/v4/v5) — это файлы на 1–8 KB с changelog. Если читать только их, содержания вы не получите. Обязательный минимум по каждой нужной цепочке: полная база + верхняя дельта.

1. Старт для всех (до любых статей)

# Документ Зачем
1 docs/00_project/06_MERIDIAN_CONTEXT.md место проекта в системе MERIDIAN, вторичный критерий missing-modality, терминология
2 docs/01_tasks/00_MASTER_ASSIGNMENT.md постановка и этапы
3 docs/00_project/01_INPUT_OUTPUT_CONTRACT.md контракт тензоров
4 02_fusion_core/TRIAGE_teacher_fusion_dropout_2026-06-11.md свежий (2026-06-11) аудит fusion-литературы: dropout-safe семейства операторов, каноничные прецеденты, порядок чтения внешних статей

2. Обязательный пакет для всех

Папка: 01_required/.

Документ Что извлечь Результат чтения
Методология_автоматического_аннотирования_World_UAV_v5.md форматы depth/segmentation/CHM, SafeTensors, pipeline QA таблица входных tensor formats
обзор_моделей_depth_normals_segmentation.md ограничения и качество генераторов список рисков auxiliary inputs
профилирование_VRAM_pipeline_256.md VRAM и последовательная загрузка моделей compute assumptions
CHMv2 vs Depth Anything V3 для CVGL.md различие CHM и depth view-specific geometry contract
PROTOCOL_text_encoder_benchmark_StripNet_GTA_UAV.md StripNet contract, GTA-UAV split, text format, metrics фиксированные baseline assumptions

Материалы содержат более широкий исторический контекст. В текущем проекте извлекаются только сведения о модальностях, StripNet, данных, fusion и экспериментах; постановка определяется файлами docs/00_project/ и docs/01_tasks/.

3. Fusion core

Папка: 02_fusion_core/.

Прочитать всем полностью

  1. СИНТЕЗ_3_fusion.md — кросс-анализ fusion-литературы vault.
  2. СИНТЕЗ_3_fusion_taxonomy_audit.md — аудит таксономии.
  3. ОБЗОР_fusion_rgb_multimodal_full_v1.md — обзор полной мультимодальной fusion.
  4. Цепочка taxonomy: _version_chain/ANALYSIS_FiLM_alternatives_taxonomy.md → ANALYSIS_FiLM_alternatives_taxonomy_v4.md.
  5. Цепочка SPEC: _version_chain/SPEC_fusion_ACF_MERIDIAN_v1.md → SPEC_fusion_ACF_MERIDIAN_v5.md — текущий канон fusion в MERIDIAN (то, что вы можете подтвердить или опровергнуть).
  6. TRIAGE_teacher_fusion_dropout_2026-06-11.md — особенно §6a «Re-read из vault» и «Сквозные выводы»: три dropout-safe семейства, хрупкие механизмы, прецеденты rates.

Использовать как справочник

  • Цепочка ANALYSIS_fusion (база 73 KB — самый подробный разбор операторов fusion).
  • Цепочка HYP_fusion_variants — гипотезы по вариантам fusion.
  • Цепочка DELTA_E1_teacher_5modal_Arch_A_final — как E1-эксперимент Teacher спланирован в MERIDIAN.
  • Цепочка DELTA_E1_fusion_taxonomy_audit — аудит taxonomy под E1.
  • BLUEPRINT_unified_teacher_partD3 (база + v2) — полный blueprint единого Teacher.
  • ANALYSIS_FiLM_alternatives_student_only (база + v4) — FiLM-альтернативы для student-ветки MERIDIAN; читать как каталог операторов, контекст у него другой (edge/INT8).
  • 01_film_fusion.md — конспект FiLM-подхода.
  • ОБЗОР_fusion_detailed_v1.md, ОБЗОР_cvgl_detailed_v1.md.
  • ОБЗОР_fusion_rgb_edges_v1.md — только для понимания dense structural signals; edges не входят в primary input.

4. Павленко (condition-aware)

Порядок:

  1. F39 CAFuser — канонический condition-aware прецедент (condition token из RGB).
  2. F37 AsymFormer — асимметричная RGB-heavy/aux-light fusion.
  3. F43 Robust PEFT (SSF) — peer-reviewed (TPAMI 2024) опора zero-init/identity-adapters и поведения при missing modalities.
  4. F47 TacFiLM — zero-init FiLM на практике.
  5. F40 M3amba — frozen CLIP + per-modality adapters; ⚠️ предполагает все модальности присутствующими.
  6. F44 Fusion-Mamba — gating в Mamba-fusion.
  7. F68 RemoteDet-Mamba — гибридная RS fusion.
  8. F4 EarthMind — MAS-диагностика modality balance.
  9. B14 StripNet — backbone contract.

После каждого документа заполнить строку evidence matrix по controller, residual path, gate granularity и identity preservation.

Дополнительно из TRIAGE §6a: C5/F14 WeatherPrompt (в 05_text/) — instance-conditioned Dynamic Gate 80.20 > Concat 78.90 > Static 78.45; FiLM 73.37 > CrossAttn 68.10 > Concat 62.50. Это прямые количественные аргументы трека A.

5. Близно (token/bottleneck)

Порядок:

  1. F45 Flex-MoE — произвольные комбинации модальностей через experts.
  2. F46 FuseMoE — MoE-fusion, peer-reviewed (NeurIPS 2024).
  3. P50 MMGeo — главный CVGL-прецедент трека: Mutable Token (Query) над Modality Pool (K/V); softmax перенормируется при удалении модальности. ⚠️ Числа deep-dive (88.5→97.3 R@1) перед цитированием проверить по PDF статьи.
  4. ImageBind — late-fusion-by-alignment как нижняя граница глубокой fusion.
  5. F40 M3amba.
  6. F4 EarthMind.
  7. B14 StripNet.

После каждого документа выписать tokenization, aggregation, token count, complexity, modality identity и collapse control.

Дополнительно из TRIAGE §1: внешние прецеденты MBT (NeurIPS 2021, bottleneck-токены), Perceiver IO, BLIP-2 Q-Former, CMNeXt Self-Query Hub (~0.01M params/модальность) — найти и прочитать оригинальные статьи по arXiv ID из TRIAGE.

6. Мороз (role-aware)

Segmentation

  1. 03_segmentation/REVIEW_segmentation_pairA.md — полный обзор pair A.
  2. Цепочка pair A: 03_segmentation/_version_chain/DELTA_pair_A_seg_revised.md (база, 48 KB) → DELTA_pair_A_seg_revised_v3.md.
  3. ОБЗОР_fusion_rgb_segmentation_v1.md.
  4. F36 FC-CLIP — frozen-провайдер сегментации.
  5. P52 guided CVGL segmentation — land-cover как guidance, LUPI-evidence.

Geometry

  1. 04_geometry/REVIEW_depth_normals_pairB.md — полный обзор pair B.
  2. Цепочка pair B: 04_geometry/_version_chain/DELTA_pair_B_depth_uav.md (база, 34 KB) → DELTA_pair_B_depth_uav_v3.md.
  3. 04_geometry/REVIEW_chm_pairC.md — полный обзор pair C.
  4. Цепочка pair C: 04_geometry/_version_chain/DELTA_pair_C_chm_sat.md (база, 30 KB) → DELTA_pair_C_chm_sat_v3.md.
  5. M11 CHMv2 — субстрат CHM, curriculum warmup.
  6. M4 JRN-Geo — ⚠️ геометрия = модулятор, не самостоятельный поток (normals alone → 37%).
  7. P44 MGS2 — Sobel-on-depth: ориентационные карты вместо raw values.

Text

  1. 05_text/REVIEW_text_pairD_methodology.md.
  2. 05_text/REVIEW_text_pairD_final.md.
  3. F14 WeatherPrompt deep dive — точная спецификация text→FiLM MLP (zero-init, two-speed LR, EMA).
  4. F47 TacFiLM.
  5. P64 CGSI — асимметричный cross-attention (visual Q, text K/V).
  6. C5 WeatherPrompt (NeurIPS 2025).

7. Как анализировать статью

Для каждого документа заполнить:

Поле Вопрос
Task Для какой исходной задачи разработан метод?
Inputs Какие модальности и их формы?
Fusion level Early, mid, late, multi-level?
Operator Add, concat, FiLM, attention, token bottleneck, experts?
Direction Симметричная или асимметричная fusion?
Identity path Сохраняется ли базовый RGB signal?
Missing-modality Что происходит при отсутствии модальности?
Compute Что растёт по числу tokens/channels/stages?
Evidence Какой experimental result подтверждает механизм?
Transfer Что переносимо на StripNet/GTA-UAV?
Risk Как метод может провалиться в retrieval?
Decision Использовать, адаптировать или отклонить?

8. Требования к evidence matrix

  • Не менее 8 источников на персональный трек.
  • Не менее 3 источников должны быть deep-dive analyses.
  • Не менее 2 источников должны быть непосредственно связаны с cross-view/remote sensing.
  • Любое конкретное число проверяется по документу; числа из deep-dive с пометкой «antigravity» (P50, P64) — по PDF оригинальной статьи.
  • Нельзя выдавать проектное предположение за результат статьи.
  • Каждая архитектурная деталь primary должна иметь source или явное инженерное обоснование.
Reference in New Issue View Git Blame Copy Permalink