6.5 KiB
tags
| tags | |
|---|---|
|
Список литературы
Основные публикации автора
-
Павленко Б.В. Подход к мультимодальному объединению данных в задачах регрессии и классификации на снимках с БПЛА // Проблемы искусственного интеллекта. – 2025. – Т. 39. – №. 4. – С. 71–83.
-
Павленко Б.В. Модификации метода объединения через мультипликативные шлюзы с применением остаточных связей // Проблемы искусственного интеллекта. – 2024. – №. 3 (34). – DOI: 10.34757/2413-7383.2023.30.3.003.
-
Пикалёв Я.С., Павленко Б.В. Регрессионная нейронная сеть на основе регуляризации функции потерь в одномодальном и мультимодальном подходах к задаче оценки положения беспилотного летательного аппарата. – 2025.
-
Павленко Б.В., Пикалёв Я.С. Методика создания набора аэрофотоснимков для задачи перекрёстной геолокализации // Проблемы искусственного интеллекта. – 2024. – №4(35). – С. 101–112.
-
Пикалёв Я.С. Обнаружение ключевых объектов и перекрёстная геолокализация: Анализ наборов данных и методологические перспективы // Проблемы искусственного интеллекта. – 2024. – Т. 35. – №. 4. – С. 25–37.
Методы объединения признаков
-
Arevalo J. et al. Gated multimodal units for information fusion // arXiv:1702.01992. – 2017.
-
Shankar S., Thompson L., Fiterau M. Progressive fusion for multimodal integration // arXiv:2209.00302. – 2022.
-
Zhang L., Yang Z., Liu J. Gated Attention Fusion Network for Multimodal Sentiment Classification // Expert Systems with Applications. – 2021. – Vol. 165. – P. 113910.
-
Wang X., Chen Y., Li H. Cross-modal gated self-attention fusion for multimodal emotion recognition // Scientific Reports. – 2025. – Vol. 15, No. 1. – P. 11989.
Мультимодальные архитектуры
-
Radford A. et al. Learning Transferable Visual Models From Natural Language Supervision (CLIP) // arXiv:2103.00020. – 2021.
-
Lu J. et al. ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations // NeurIPS. – 2019. – Vol. 32.
-
Tan H., Bansal M. LXMERT: Learning cross-modality encoder representations from transformers // arXiv:1908.07490. – 2019.
-
Li J. et al. Align before fuse (ALBEF) // NeurIPS. – 2021. – Vol. 34. – P. 9694–9705.
-
Chen Y.-C. et al. UNITER: Universal Image-Text Representation Learning // arXiv:1909.11740. – 2019.
-
Kim W., Son B., Kim I. ViLT: Vision-and-Language Transformer Without Convolution // arXiv:2102.03334. – 2021.
-
Yu J. et al. CoCa: Contrastive Captioners Are Image-Text Foundation Models // arXiv:2205.01917. – 2022.
-
Li J. et al. BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models // arXiv:2301.12597. – 2023.
-
Faghri F. et al. MobileCLIP2: Improving Multi-Modal Reinforced Training // arXiv:2508.20691. – 2025.
Текстовые шаблоны и кодирование метаданных
-
Chae J., Wang Z., Qin P. SJTU: Spatial judgments in multimodal models towards unified segmentation through coordinate detection // arXiv:2412.02565. – 2024.
-
Li D. et al. ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models // arXiv:2505.21500. – 2025.
-
Li H. et al. LLaVA-ST: A multimodal large language model for fine-grained spatial-temporal understanding // CVPR. – 2025. – С. 8592–8603.
-
Tang W. et al. Visual position prompt for MLLM based visual grounding // IEEE Transactions on Multimedia. – 2026.
Визуальные экстракторы
-
Yuan X. et al. Strip R-CNN: Large Strip Convolution for Remote Sensing Object Detection // arXiv:2501.03775. – 2025.
-
Dosovitskiy A. An image is worth 16x16 words: Transformers for image recognition at scale // arXiv:2010.11929. – 2020.
-
He K. et al. Deep residual learning for image recognition // CVPR. – 2016. – С. 770–778.
Наборы данных
-
Xu W. et al. UAV-VisLoc: A large-scale dataset for UAV visual localization // arXiv:2405.11936. – 2024.
-
Ji Y. et al. Game4Loc: A UAV geo-localization benchmark from game data // AAAI. – 2025. – Т. 39. – №. 4. – С. 3913–3921.
-
Yang Y., Newsam S. Bag-of-visual-words and spatial extensions for land-use classification // SIGSPATIAL. – 2010. – С. 270–279.
Методы интеграции геолокационных данных
-
Madadikhaljan M., Schmitt M. Geolocation-Aware Deep Coding // PFG. – 2025. – Т. 93. – №. 1. – С. 3–18.
-
Mahara A., Rishe N. Integrating location information as geohash codes in CNN-based satellite image classification // IPSI Transactions on Internet Research. – 2023. – Т. 19. – №. 02.
Функции потерь и регуляризация
-
Yang Y. et al. Delving into deep imbalanced regression // ICML. – 2021. – С. 11842–11851.
-
Wright L., Demeure N. Ranger21: a synergistic deep learning optimizer // arXiv:2106.13731. – 2021.
-
Liu L. et al. On the Variance of the Adaptive Learning Rate and Beyond (RAdam) // arXiv:1908.03265. – 2019.
-
Zhang M.R. et al. Lookahead Optimizer: k steps forward, 1 step back // NeurIPS. – 2019. – Vol. 32. – P. 9593–9604.
Обнаружение объектов на UAV-снимках
-
Xu J. et al. TAM-TR: Text-guided attention multi-modal transformer for object detection in UAV images // ISPRS Journal. – 2025. – Т. 227. – С. 170–184.
-
Li R., Zhao X. AeroReformer: Aerial Referring Transformer for UAV-based Referring Image Segmentation // arXiv:2502.16680. – 2025.
-
Sheng K. et al. GeoText-1652: A Benchmark for Language-Aware Cross-View Geo-Localization // ECCV. – 2024.
-
Ye J. et al. Where am I? Cross-View Geo-localization with Natural Language Descriptions // arXiv:2412.17007. – 2024.