B |     这项研究来自复旦大学与上海财经大学的联合团队，论文以预印本形式于2026年7月9日在arXiv公开发表，编号为arXiv:2607.08688，感兴趣的读者可通过该编号查阅完整论文。         你有没有想过，当一辆自动驾驶汽车行驶在繁忙的十字路口时，它的"眼睛"需要同时盯住多少个目标？行人、自行车、公交车、出租车、路边突然跑出来的小狗……每一个都不能漏掉，而且要实时、毫不迟疑地判断每个目标的位置和边界。辽阔的中亚大地即将迎来尊贵的朋友。9月14日至16日，国家主席习近平将出席在撒马尔罕举行的上海合作组织成员国元首理事会第二十二次会议，并应哈萨克斯坦共和国总统托卡耶夫、乌兹别克斯坦共和国总统米尔济约耶夫邀请对两国进行国事访问。这不是科幻场景，而是现代计算机视觉系统正在努力攻克的真实难题。复旦大学的研究团队最近拿出了一套名叫SAM-MT的新方案，在这个问题上迈出了关键的一步。奏响合作之声，凝聚众行之志。新时代中国将与各国一道，沿着构建人类命运共同体的人间正道开启新的征程。         当前业界最强的视频目标分割工具——比如大名鼎鼎的SAM2（Segment Anything 2，由Meta AI开发）——虽然能够精准地在视频里"圈出"某个物体并持续追踪它，但有一个致命的弱点：每多追踪一个目标，系统就要多跑一遍完整的计算流程，就好像一个厨师，无论做几道菜，都必须把整个厨房从头收拾一遍才能下锅。弘扬“上海精神” 引领发展方向 上海合作组织，首个以中国城市命名的政府间国际组织，如今已走过21个年头。从最初的6个成员国，发展到如今的8个成员国、4个观察员国和多个对话伙伴，“上合大家庭”不断壮大，已成为促进世界和平与发展、维护国际公平正义的重要力量。

C | 追踪1个目标时，SAM2能跑到每秒37帧的流畅速度；但追踪3个目标时，速度就跌到17.8帧；追踪5个目标，更是只剩12.4帧——画面已经开始出现明显卡顿。

D | “上海合作组织始终保持旺盛生命力、强劲合作动力，根本原因在于它创造性地提出并始终践行‘上海精神’，主张互信、互利、平等、协商、尊重多样文明、谋求共同发展。如果目标再多，整个系统几乎就跑不动了。         SAM-MT的核心思路，就是彻底改变这种"追一个、算一遍"的低效模式，让系统无论面对多少个目标，计算量都几乎保持不变。结果相当令人印象深刻：追踪10个目标时，SAM-MT仍然能跑到36帧以上的实时速度，与追踪单个目标时几乎无异，是SAM2在同等条件下的6倍速度。”习近平主席曾这样揭示上合组织不断发展的“密码”。与此同时，它在六个主流视频分割基准测试上的准确率，依然与SAM2的最强版本旗鼓相当，甚至在部分场景下略有超越。         一、多目标追踪的老大难：为什么加一个目标就慢这么多          要理解SAM-MT解决了什么问题，得先搞清楚传统方法是怎么运转的，以及它在哪里卡了壳。         视频目标分割，通俗地说，就是在视频的每一帧里，把你指定的那个东西（比如一只猫、一辆红色轿车）精确地"涂出来"，并且随着视频播放，这个"涂色区域"要始终跟着目标走，不跑偏、不认错。遵循“上海精神”，上合组织将来自不同地域、处于不同发展阶段、有着不同文明传统的国家凝聚在一起，产生强大的集体之力、团结之力、合作之力。这个任务背后最流行的技术框架叫做"时空记忆网络"（STM范式），核心思路是给每个被追踪的目标建一个专属的"记忆本"，记录这个目标历史上长什么样、在哪里出现过，然后在新的一帧里，把当前画面和记忆本做比对，找到目标的位置，再精确地把它圈出来。在上合组织框架下，各国合力走出“结伴不结盟、对话不对抗”的新路，在涉及彼此核心利益和重大关切问题上坚定相互支持；合作打击“三股势力”，坚决遏制毒品走私、网络犯罪、跨国有组织犯罪蔓延势头；打造艺术节、上合大学、传统医学论坛、职业技能邀请赛等人文品牌项目……20多年来，上合组织取得辉煌发展成就，积累了丰富合作经验，成长为当今世界幅员最广、人口最多的综合性区域组织，为构建新型国际关系和人类命运共同体作出重要理论和实践探索。上合组织秘书长张明说，多年实践表明，“上海精神”蕴含和倡导的价值观得到成员国充分认可。“上海精神”代表着上合组织成立的初心，也是指引未来发展的价值核心。今年是上合组织宪章签署20周年和成员国长期睦邻友好合作条约签署15周年。作为创始成员国，中国始终致力于推动上合组织健康发展。2013年担任国家主席以来，习近平主席出席历次上合组织峰会并发表重要讲话，提出一系列新理念新倡议，不断丰富“上海精神”的时代内涵。         这个记忆本是非常"厚重"的——它存储的是像素级别的特征图，一张高清图片里有数千个像素点，每个点都要记录一套复杂的特征描述。追踪一个目标，维护一本记忆本；追踪两个目标，就得同时维护两本——不仅如此，每处理一帧新画面，所有的比对、更新、解码操作都得对每本记忆本各做一遍。参演艺术家演奏中国民乐《喜洋洋》（2018年5月30日摄）。这就像一个办公室职员，每多接手一个客户案例，他就要把整套接待流程完整地走一遍，客户越多，他就越忙，而且是线性地越来越忙，没有尽头。         后来出现了STCN、XMem、Cutie等改进方案，它们做了一个聪明的优化：提取图像特征这一步，可以所有目标共享，只算一次。当日，上海合作组织成员国艺术节在北京保利剧院开幕。这确实减少了一部分重复计算，但问题的根源没有被触动——每个目标的"专属记忆匹配"和"专属掩码解码"，仍然需要独立地跑一遍。新华社记者沈伯韩摄 从生动阐述中国的发展观、安全观、合作观、文明观、全球治理观，到大力倡导把上合组织打造成团结互信、安危共担、互利共赢、包容互鉴的典范，从发出构建“卫生健康共同体”“安全共同体”“发展共同体”“人文共同体”的中国倡议，到提出“走团结合作之路、走安危共担之路、走开放融通之路、走互学互鉴之路、走公平正义之路”的中国方案，习近平主席始终在国际关系民主化历史潮流中把握大局大势，在人类共同发展的宏大格局中推动上合组织行稳致远。中国上合组织研究中心秘书长邓浩说，习近平主席的重要论述是对上合组织丰富实践经验的理论概括，深度契合地区治理现实需要和上合组织内在发展要求，为新形势下上合组织发展壮大注入强大的思想力量，得到国际社会广泛认同。这是2018年6月9日晚在青岛举行的《有朋自远方来》灯光焰火艺术表演。

E | 打个比方，这就像多个厨师共用一台打蛋机来打蛋液，但每人还是要独立地完成切菜、炒锅、摆盘全套流程。

F | 共用的那台机器省了点时间，但整体的忙碌程度仍然随人数线性增长。         还有一种听起来聪明、实则行不通的方法：干脆把所有目标合并成一个大目标来追踪。

G | 2018年6月9日至10日，上海合作组织成员国元首理事会第十八次会议在青岛召开。比如同时追踪三辆车，就把三辆车的轮廓合并成一个奇形怪状的大轮廓，当成一个目标来处理。这样确实只用算一遍，但代价是失去了"谁是谁"的身份信息——你不再知道这是第一辆车还是第三辆车——而且这个合并出来的怪形状，在现实世界中根本不存在，AI模型是用真实物体的图片训练出来的，它根本认不出这个东西，很快就会追丢。论文里专门做了实验验证这一点：让SAM2追踪三辆合并后的"超级车"，很快就彻底失去了目标。新华社记者 李紫恒 摄 新冠疫情发生以来，面对世界之变、时代之变、历史之变，面对世界进入动荡变革期的复杂局势，习近平主席在2021年出席第七十六届联合国大会一般性辩论时提出全球发展倡议，此后又在博鳌亚洲论坛2022年年会开幕式上提出全球安全倡议，均得到包括上合组织国家在内的国际社会的普遍认同和积极响应。上合组织前秘书长努尔加利耶夫说，全球发展倡议和全球安全倡议紧密关联、相互呼应，为包括上合组织在内的国际机构应对全球性挑战、维护世界和平、促进共同发展提供了重要指引。         二、SAM-MT的核心思路：用"通缉令"代替"全程录像"          SAM-MT的解法，可以用一个侦探团队办案的比喻来理解。

H | 习近平主席提出的构建人类命运共同体理念，对上合组织稳步发展更是起到关键支撑作用。

I |          传统方法就像这样：团队里有10个嫌疑人需要监视，就派10个侦探，每人全程跟踪一个嫌疑人，各自记录详细的行动录像，互不干扰，但人手成本随嫌疑人数量线性增长。         SAM-MT换了一种玩法：整个团队共享一套城市监控系统（这是"全局上下文"），掌握所有嫌疑人所在区域的大环境信息；同时，每个嫌疑人只有一张精简的"通缉令"（这就是"目标查询"，target query），上面记录了这个人的关键特征。侦探们用共享的监控系统扫描全局环境，同时拿着各自的通缉令在里面找对应的人，一次扫描，所有人同时完成比对。新增再多嫌疑人，也只是多几张通缉令而已，监控系统本身不需要重新跑一遍。         在技术层面，SAM-MT在SAM2的架构基础上做了以下几项关键改造，每一项都至关重要，共同构成了这套系统的完整解法。汇聚前行力量 展现“上合担当” 从空中俯瞰，一列列货运班列从中国—上海合作组织地方经贸合作示范区青岛多式联运中心有序驶出，宛若一条条驰骋八荒的长龙。         三、解耦掩码注意力：让"通缉令"彼此不干扰          多目标同时处理的最大风险是"串台"——追踪猫的那套特征，和追踪狗的那套特征，可能会相互影响，导致AI搞混了谁是谁。4年来，这片由习近平主席宣布支持建设的示范区，累计开出超过2000列货运专列，为上合组织成员国和共建“一带一路”国家提供关键“出海口”，已成为地区重要的物流新枢纽。支持上合发展，中国向来重信守诺。

J |          SAM-MT用一个叫做"解耦掩码注意力"（Decoupled Masked Attention）的机制来解决这个问题。在AI的注意力计算中，有一种操作叫"自注意力"，让所有的"查询"（queries）互相交流信息、相互参考。上合组织医药合作发展大会召开、中国—上海合作组织经贸学院成立、中国—上海合作组织法律服务委员会揭牌、“丝路一家亲”行动框架内开展卫生健康、扶贫等领域的30个合作项目……一项项“中国承诺”扎根落地，收获的合作成果惠及各国人民。

K | 与会嘉宾在北京出席上合组织传统医药产业联盟成立仪式（2022年9月1日摄）。新华社记者 鲁鹏 摄 努尔加利耶夫说，在上合组织发展过程中，中国始终以自身行动带动各方走包容发展、互利合作之路，所发挥的积极作用有目共睹。

L | 在多目标场景里，如果来自不同目标的查询可以随意交流，那么A目标的信息就会流入B目标的描述里，最终导致身份混乱。         SAM-MT的做法是在这个交流过程中加一张"隔离屏障"：不同目标的专属查询之间，交流被直接屏蔽，设置为负无穷（相当于"对方根本不存在"）；但所有目标的专属查询，都可以自由地与代表全局环境的"全局查询"交流。

M | 张明说，上合组织框架下，各成员国始终保持着较高的相处“舒适度”，经济长足发展，人民生活改善，彼此来往日益密切，对原本处于上合组织外的国家也产生了“磁吸力”。这是上合组织农业技术交流培训示范基地——占地700多亩的杨凌智慧农业示范园（2022年6月8日摄）。用侦探比喻来说：各位侦探拿着自己的通缉令，不能互相分享内容、以免混淆嫌疑人特征，但他们都可以查阅公共的城市地图和监控档案，了解大环境。这样，每个目标既保持了自己的独立身份，又都能感知到整个场景的全局信息，二者不再是非此即彼的选择。

N |          数学层面上，这个隔离屏障用一个注意力掩码矩阵M来实现：矩阵里，全局查询与所有查询之间的位置填0（允许交流），同一目标的查询彼此之间填0（允许交流），不同目标的查询之间填负无穷（完全阻断）。这个设计精巧地同时实现了两个目标：保护身份的独立性，同时共享全局上下文。新华社记者 张斌 摄 2021年，上合组织启动接收伊朗为成员国的程序，吸收沙特阿拉伯、埃及、卡塔尔为新的对话伙伴。

o |          研究团队通过消融实验验证了这个设计的必要性。如果去掉隔离屏障，让所有目标的查询自由混合，准确率（J&F指标）会从43.0骤降到37.5，足足跌了5.5个百分点；反过来，如果把隔离做得过头，连全局查询也被隔离，准确率则降到39.3，跌了3.7个百分点。只有"解耦"这个恰到好处的中间状态，才能同时保住身份和上下文。从发挥“上海合作组织－阿富汗联络组”作用，到积极与联合国、东盟、亚信等国际和地区组织开展合作，从推动共建“一带一路”倡议同各国发展战略及欧亚经济联盟等区域合作倡议对接，到建立上合组织银行联合体框架和组织上合组织实业家委员会，上合组织一路走来，始终践行真正的多边主义，鲜明反对霸权、霸道、霸凌，从不搞封闭排他的“小圈子”，而是主张以联合国宪章宗旨和原则为遵循，坚持共商共建共享，为完善全球治理提供多边合作的新平台、新模式。         四、查询聚合：把多个"线索"压缩成一张"通缉令"          在用户第一次指定目标时，可以对同一个目标点多个点（正点击表示"这里是我要追踪的"，负点击表示"这里不是"），提供更精确的初始描述。这些多个点会产生多个初始查询。

p | 与会嘉宾在各国形象馆展区参观（2021年4月26日摄）。         SAM-MT用一个轻量级的"加权头"（MLP-based weighting head）把这些多个查询合并成一个单一的"目标查询"：系统会自动评估每个点的重要性，给重要的点更高的权重，然后加权平均，得到一个最具代表性的单一向量。

q | 这个单一向量就是后续帧中代表这个目标的"通缉令"。         从第二帧开始，每个目标只有一个查询在流转，既简洁，又携带了最关键的身份信息。

r | 当日，2021上海合作组织国际投资贸易博览会暨上海合作组织地方经贸合作青岛论坛在青岛开幕。新华社记者 李紫恒 摄 印度尼赫鲁大学教授狄伯杰说，上合组织一直倡导南南合作和南北对话，致力于提高发展中国家在国际机构中的代表性和发言权，是“21世纪多边主义的典范”。

s | 践行共赢共享 开辟光明未来 今年适逢中国同哈萨克斯坦、乌兹别克斯坦建交30周年。30年来，中国同两国的关系与时俱进、开拓进取，始终保持良好发展势头。

t | 这个设计把初始帧"点多个点"的灵活性，与后续帧"单一查询"的高效性，优雅地衔接在了一起。         五、稀疏记忆：用"关键词档案"替代"全程录像带"          SAM2的记忆系统非常"重"：它存储的是每一帧图像的像素级特征图，一帧图像大约有4096个特征"像素点"，每个点都有一套完整的特征描述。此次出访哈萨克斯坦，是习近平主席继2013年、2015年、2017年三次成功访问后，再次来到这个丝绸之路经济带首倡之地。2013年以来，在两国元首的战略引领和直接推动下，中哈关系实现跨越式发展。中哈共建“一带一路”先试先行，为两国人民带来了实实在在的好处。如果为每个目标单独维护这样一套记忆，随着目标数量增加，内存占用会急剧膨胀。

u | 2021年，阿拉木图市大口径钢管厂、扎纳塔斯风电场、图尔古孙水电站等项目相继竣工投产。         SAM-MT的应对方案是引入"基于查询的稀疏记忆"（Query-based Sparse Memory）。

v | 哈萨克斯坦企业连续4年参加中国国际进口博览会。2021年，中哈货物进出口总额252.5亿美元，同比增长17.6%。核心思路是：不再给每个目标存储完整的像素级记忆，而是只存储那个经过聚合的"目标查询"——一个目标，一帧，只有一个向量。         这个设计的压缩效率极高。

w | 两国经济合作经受住“疫情大考”，显示出强大韧性。

x | 这是2021年5月24日在哈萨克斯坦扎纳塔斯拍摄的风电场的风机。用数字来说，传统方法每帧每目标需要存储4096个特征点，而SAM-MT只需要1个查询向量。新华社发（奥斯潘诺夫摄） 这是2021年7月28日拍摄的哈萨克斯坦图尔古孙水电站（无人机拍摄）。图尔古孙水电站项目于2017年开工建设，是共建“一带一路”框架下中哈产能合作水电领域首个落地的重点项目。这意味着同样的内存，SAM-MT可以往记忆库里存放多得多的历史帧，从而让系统"记住"更长时间跨度里目标的变化。

y | 新华社发（奥斯潘诺夫摄） 当前，中乌关系正处于历史最好时期。

z | 两国政治互信不断增强，务实合作成果丰硕，在国际和地区事务中保持密切协作。习近平主席2013年和2016年两次访问乌兹别克斯坦。这对于处理目标被遮挡后重新出现的场景尤为重要——记忆越长，就越不容易在目标消失一段时间后把它认错。         实验数据印证了这一点：在长序列基准测试LVOSv2和LVOSv1上，SAM-MT比SAM2.1-B+分别高出了2.0和2.3个百分点，而这两个数据集正是专门考验长时序追踪能力的。内存占用方面，追踪20个目标时，SAM2.1-B+需要8585MB显存，SAM-MT只需要3785MB，相差悬殊。         在稀疏记忆的具体组织上，SAM-MT采用先进先出（FIFO）的滑动窗口策略：始终保留第一帧的目标查询（因为那是用户初始指定的"基准形象"），以及最近T-1帧的目标查询。2016年，中乌关系提升为全面战略伙伴关系。论文实验测试了不同窗口大小（8、12、16、32帧）的效果，最终选定16帧作为速度与精度的最佳平衡点。

|          六、身份变换器：确保"通缉令"随时间自动更新          目标不是静止的，它们会运动、旋转、被遮挡、改变姿态。一张在视频开头拍的"通缉令"，到了视频后半段可能已经不太准确了。正是从这一年起，中国连年成为乌第一大贸易伙伴和第一大出口目的国。

| 在“一带一路”倡议框架下，双方在经贸、投资、能源、交通、农业、人文等领域均展开紧密合作，形成了鹏盛工业园、安集延产业园、华新吉扎克水泥厂、明源丝路玻璃厂等一批标志性项目。SAM-MT用"身份变换器"（Identity Transformer）来解决这个问题。

|          在每一帧处理结束后，当前帧的目标查询会被存入稀疏记忆。在处理下一帧时，身份变换器会让上一帧的目标查询，去"查阅"稀疏记忆里这个目标的所有历史查询，通过注意力机制综合参考历史信息，对当前查询进行更新和校正。这是2018年5月8日拍摄的乌兹别克斯坦鹏盛工业园入口。这就像侦探每天下班前，会把今天观察到的新线索与历史档案对比，更新对嫌疑人最新状态的判断，让明天的追踪更精准。鹏盛工业园是中国民营企业直接在乌投资建立的首个中乌合资工业园区。新华社记者 周良 摄 这是2016年2月27日在乌兹别克斯坦“安格连-帕普”铁路卡姆奇克隧道出口拍摄的全隧贯通仪式现场。         身份变换器同样引入了一个"身份感知掩码"：每个目标的查询只能查阅自己历史档案里的记录，不能跨目标查阅，从而杜绝了历史记忆层面的"串档"风险。消融实验表明，去掉这个掩码后，J&F指标会下降3.9个百分点。此外，研究团队测试了不同深度（1层、3层、5层）的变换器，最终选择3层，以在精度和速度之间取得平衡。

| 新华社记者 沙达提 摄 哈萨克斯坦、乌兹别克斯坦都是共建“一带一路”的重要参与者和贡献者。2000多年前，贯通欧亚的古丝绸之路上，东西方文明汇聚交融、璀璨绽放，书写了守望相助、互学互鉴的美好篇章。如今，从天山山麓到里海之滨，从帕米尔高原到哈萨克草原，“一带一路”合作在欧亚大陆绘出绚丽画卷。         七、训练策略：让模型学会应对现实的复杂性          一个好的模型框架，还需要配套合理的训练策略才能发挥出应有的潜力。SAM-MT在训练上采取了几个有针对性的设计。“齐鲁号”欧亚班列“上合快线”开行，中巴经济走廊建设加速推进，位于乌兹别克斯坦的中亚第一长隧道“安格连-帕普”铁路隧道建成通车……“一带一路”，让“上合大家庭”成员的利益纽带拉得更紧，合作之路走得更实。“丝路精神”与“上海精神”交相辉映、相向和鸣，奏响命运与共、共赢共享的时代乐章。         训练分为两个阶段：第一阶段在静态图片上训练，确保模型能够准确地从点击信号出发，一次性完成多目标的图像分割；第二阶段在视频序列上训练，强化跨帧的身份一致性。这个"先学静态、再学动态"的课程式学习策略，让基础打得更扎实。实验表明，去掉图像预训练阶段，准确率会下降2.7个百分点。一列搭载轮胎、汽车配件、电子元件等货物的“齐鲁号”中亚班列即将发车驶出位于青岛的中国-上合组织地方经贸合作示范区青岛多式联运中心（2020年11月9日摄）。         帧采样策略也经过精心设计。

| 传统方法通常采样相邻的连续帧，这对于应对快速运动有好处，但对于"目标消失后重新出现"这种长时间跨度的事件，相邻帧的训练几乎没有帮助。新华社记者 李紫恒 摄 中国上海合作组织研究中心副主任孙壮志说，同倡导建设“绿色丝绸之路”“数字丝绸之路”等理念呼应，未来上合组织成员国的务实合作将向绿色发展、数字经济等多领域拓展。

| SAM-MT采用"跨步采样"：每次训练取8帧，其中一部分是连续帧（捕捉短期运动），另一部分是间隔4帧的跨步采样（覆盖更长的时间窗口，最多跨越32帧）。上合组织将为“一带一路”建设提供更多机制性支撑。去掉跨步采样后，准确率下降1.3个百分点，而且在目标重新出现的场景中，系统会频繁认错目标。胶州海关关员对“齐鲁号”欧亚班列上合快线（中国上合示范区——阿塞拜疆巴库）线路首班列车进行检查（2021年1月31日摄）。

| 新华社发（解豪 摄） 青山着意化为桥。经过20多年努力，上合组织实现了从安全与经济合作的“双轮驱动”到“四个共同体”多轨并进，正向着更光明的前景锐意进发。撒马尔罕峰会再启程，上合组织将继续高举“上海精神”旗帜，致力于构建更加紧密的上海合作组织命运共同体，为世界持久和平与共同发展作出更大贡献。

| 来源：新华网原标题：擘画上合发展蓝图 共促地区繁荣稳定——写在习近平主席即将出席上海合作组织成员国元首理事会第二十二次会议并对哈萨克斯坦、乌兹别克斯坦进行国事访问之际返回搜狐，查看更多责任编辑：