21世纪经济报道记者孔海丽、实习生王甜 北京报道
继2023年4月首次推出SAM，实现对图像的精准分割后，Meta于北京时间7月30日推出了能够分割视频的新模型SAM 2（Segment Anything Model 2）。SAM 2将图像分割和视频分割功能整合到一个模型中。所谓“分割”，是指区别视频中的特定对象与背景，并可以追踪目标。
SAM 2将图像分割能力泛化到了视频领域，其响应能力和准确度是一代的6倍，也是目前最优秀的视觉分割模型。Meta AI发布此版本时强调：“相信我们的数据、模型和见解将成为视频分割和相关感知任务的重要里程碑。”
同日，扎克伯格在与黄仁勋的对谈中，透露出更多Meta 的AI进展，包括将推出一款基于Llama3.1模型构建的名为AI Studio的新工具，允许用户创建、分享和设计个性化的AI聊天机器人，用户还可以在社交媒体平台上分享他们的人工智能角色。
“细分一切”
SAM 2可以识别视频中的特定对象，并实时实现该对象的追踪与提取，在视频编辑与特效制作中，可以高效辅助工作。该模型也可以根据用户具体诉求，选择分割某个物体或某个区域，使控制更加精准。
与其他模型不同的是，SAM 2拥有对不熟悉物体和图像的零样本泛化能力，无需额外训练，只需单击一帧视频中的任何物体，即可实现对目标对象的实时追踪，快速处理未来每一帧。
除此以外，该模型还可以集成到更大的系统中，它善于从其他智能系统中获取提示，使系统之间完成协作。例如，SAM 2能够在AR/VR穿戴式设备中选择用户注视对象，也可以读取分割对象的边界框提示，完成文本提示到视频图像分割的转化。
为了训练SAM 2，Meta自己建构了一个数据引擎——SA-V数据集，有效收集大量多样化的视频分割数据集并利用其去迭代模型。SA-V数据集包含5.1万个视频和64.3万个时空分割掩码（即masklet），是迄今为止最大的数据集，收集了47个国家/地区地理分布各异的真实世界场景的视频。SAM 2就在Meta开源的SA-V数据集上进行训练，为SAM 2提供的注释包括整个物体、部分物体和物体被遮挡的情况。
SAM 2模型辅助人类标注目标对象的掩码，与此同时，SAM 2将标注的掩码传播到视频其他帧，生成时空掩码，接受提示的SAM 2受益于对象在时间维度上的记忆，生成掩码预测。如此循环往复，使SAM 2得到不断更新。业内观点认为，SAM 2为视觉数据提供更快的注释工具，有望被用来训练下一代计算机视觉系统。
对于视频中的动态物体，SAM 2如何精准识别呢？Meta为SAM引入了一种记忆机制。对于视频，记忆组件可以存储对象的有关交互信息和之前处理过的信息，使SAM 2能够在整个视频中实现预测行为。根据其提示式设计理念，如果在其他帧上提供了相关提示，SAM 2还可以根据存储的对象记忆上下文（前后帧）有效地纠正其预测，显著减少人工标注时间。
Meta官网提供了一个例子，目标对象被遮挡或从视野中消失。为了向模型解释这种新的模式，在SAM 2里新应用了“遮挡头”模型，用于预测当前帧中是否存在目标对象，判断物体是否可见，即使在物体暂时被遮挡时也有助于分割物体，使SAM 2能够有效地处理遮挡。
不过，当遇到长时间遮挡或者场景中有多个相似对象等情况时，SAM 2可能会丢失对物体的跟踪或是混淆物体。但同时，以上情况可以通过人为干预提供细化提示来解决。
尽管Meta自曝了SAM 2的不足，用户对该模型的未来依然寄予厚望。
在以往的视频编辑技术中，视频抠图需要一帧一帧地编辑。比如，国内明星真人秀节目数次遇到的“因某明星个人危机，需重新剪辑全部画面”问题，可能不再需要视频剪辑通宵达旦、连续加班。
SAM 2的应用范围广泛，在许多需要实时反馈的应用场景中将发挥其作用，包括自动驾驶、医学、视频拍摄剪辑、监控等。比如，捕捉动态对象实现实时交互，提高车载计算机视觉系统的敏锐性；在辅助医学治疗中，定位腹腔镜摄像机锚定的区域；在追踪摄影中，帮助无人机镜头跟随追踪濒危动物；在机场、车站人流密度大的区域实时监控人群，预警异常情况；也为视频内容博主提供了更多视频创意创作的可能性。
更好的开源生态
SAM 2也为新模型的出现埋下伏笔。SAM 2的分割生成结果可以输出给其他AI系统（例如现代视频生成模型），SAM 2本身也可以接受其他AI系统的输入提示，实现与目标对象的实时交互，比如，应用于直播时的AI公众形象搭建，自动驾驶路况分析等。
为了使学术界能够在目前的基础上继续研究，Meta公开发布了预先训练的SAM 2模型、SA-V数据集、演示和代码。值得注意的是，尽管需要巨大算力支持，SAM 2仍坚持开源，并允许广大用户免费使用（在Amazon SageMaker平台上托管）。这让Meta庞大的透明开源生态又添一员。
近期，扎克伯格多番强调了人工智能开源的意义，他曾撰写的长文中表示：“开源人工智能比任何其他现代技术都更具有潜力，可以提高人类的生产力、创造力和生活质量，同时还能加速经济增长并推动突破性的医学和科学研究。”
“当今大多数领先的科技公司和科学研究都是建立在开源软件之上的。最重要的是，开源人工智能代表了世界上利用这项技术为每个人创造最大经济机会和安全的最佳机会。”扎克伯格补充说。
在与黄仁勋的对谈中，扎克伯格也再次表达了“希望下一代计算机发展回到开放生态系统获胜的局势”。
随着历史的车轮驶入2024年，大模型、AIGC等话题引发广泛热议，云计算与AI技术展现出了前所未有的深度融合趋势，就如同寒武纪的生物大爆发，激发着各行各业的创新浪潮。新质生产力时代到来，政企用云进 3月18日，荣耀在国内市场发布全新AI使能的全场景战略，推出平台级AI赋能、以人为中心的跨操作系统体验，以及与全球产业链共振创新的一系列智能设备。荣耀CEO赵明表示，人工智能大模型时代，他们的AI战 记者19日从兰州大学获悉，天华肉羊通过国家畜禽遗传资源委员会审定鉴定，成为我国首个适应高寒气候的肉羊品种。该品种由兰州大学草地农业科技学院李发弟教授和乐祥鹏教授团队，联合甘肃省武威市天 记者3月17日从浙江大学获悉，该校医学院附属第二医院王良静教授团队、附属邵逸夫医院陈淑洁主任医师团队联合研究发现，一种肠道菌群产生的小分子代谢物吲哚丙酸，可以增强抗癌药物抗PD-1单抗对结 “截至2023年底，与2018年同期相比，京津冀治理区浅层地下水位平均回升2.59米，深层承压水水位平均回升7.06米。”3月22日世界水日到来之际，水利部水资源管理司副司长张鸿星21日接受科技日报记者采 3月19日，记者从中国科学院海洋研究所了解到，该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然》子刊《科学数据》。银鲳广泛分布于西北太 。本文链接：从“抠图”到“抠视频” Meta上新AI工具SAM 2http://www.sushuapos.com/show-2-7792-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
下一篇： 北京中轴线申遗，数字技术参与深度前所未有