Neuroverse3D: Developing In-Context Learning Universal Model for Neuroimaging in 3D

摘要

针对上下文学习无法保留神经影像中的三维结构信息问题，本文提出了Neuroverse3D模型，首次实现了3D神经影像场景下的通用ICL能力。该模型采用自适应并行-顺序处理机制（Adaptive Parallel-Sequential Processing, APSP），结合U型上下文融合策略，有效解决了3D脑图像在ICL场景下面临的内存瓶颈问题，可灵活支持任意数量的上下文图像输入，显著提升了模型的可扩展性与实用性。同时，团队还设计了一种多任务优化损失函数，强化了模型对解剖结构边界的识别能力，显著提升了模型在高难度分割任务中的表现。在43,000余个来自19个公开数据集的多模态神经影像训练基础上，Neuroverse3D在14项具有代表性的任务上进行了广泛评估。结果显示，该模型在无需针对特定任务进行调优的情况下，依然取得了优于现有ICL方法的性能，甚至在多个任务上接近甚至超越了任务专用模型的表现，平均在部分关键任务上获得超过20个Dice分数点的提升。本研究为多中心、多病种、多模态的神经影像分析提供了一种高度可迁移、无需重新训练的统一解决方案，为脑疾病的智能辅助诊断、治疗响应监测以及多源影像协同分析奠定了坚实基础。未来，该方法有望广泛应用于临床AI系统构建与脑影像大模型的发展中，助力构建更加开放、高效、智能的医学影像分析生态体系。