微速讯:迪丽热巴工作室回应粉丝近期诉求 称会改进不足
25日,迪丽热巴工作室发文回应粉丝近期诉求,一一回复了粉丝关心的平台
AI 简报 20230626 期
原文:https://zhuanlan.zhihu.com/p/639179724
(相关资料图)
MetaAI提出的能够“分割一切”的视觉基础大模型SAM提供了很好的分割效果,为探索视觉大模型提供了一个新的方向。
虽然sam的效果很好,但由于sam的backbone使用了vit,导致推理时显存的占用较多,推理速度偏慢,对硬件的要求较高,在项目应用上有很大的限制。
也看到一些研究在尝试解决这个问题。
其中一个是清华团队的Expedit-SAM,对模型进行加速,论文结果最多可以提速1.5倍。主要思路是用2个不需要参数的操作:token clustering layer和token reconstruction layer。token clustering layer通过聚类将高分辨率特征转到低分辨率,推理时用低分辨率的进行卷积等操作,这样可以加速推理时间;token reconstruction layer是将低分辨率特征重新转回高分辨率。个人测试好像没有明显提升,不过已经打开了sam推理加速的思路。
最近看到FastSAM,论文结果最快提出50倍,参数更少,显存占用减少,适合应用部署。
web demo: FastSAM - a Hugging Face Space by An-619
预训练模型
fastsam-x
fastsam-s
以yolov8-seg的instance segmentation为基础,检测时集成instance segmentation分支。
(1)point prompt:点prompt用点和实例分割输出的mask进行匹配。和sam一样,利用前景点/背景点作为prompt。如果一个前景点落在多个mask中,可以通过背景点进行过滤。通过使用一组前景/背景点,能够在感兴趣的区域内选择多个mask,然后将这些mask合并为一个mask,用于完整的标记感兴趣的对象。此外,利用形态学操作来提高掩模合并的性能。
(2)box prompt:与实例分割输出的mask的box和输入的box进行iou计算,利用iou得分过滤mask。
(3)text prompt:利用clip模型,利用图像编码和文本编码直接的相似性,提取分数较高的mask。因为引入clip模型,text prompt的运行速度比较慢。
项目网站:https://promptappgpt.wangzhishi.net/
项目代码:https://github.com/mleoking/PromptAppGPT
关键词:
25日,迪丽热巴工作室发文回应粉丝近期诉求,一一回复了粉丝关心的平台
北京多部门联合专项整治非法倒票抓获143名“黄牛”---新华社北京6月26
工行淮安洪泽人民路支行都坚持“以客户为中心”,紧贴当地群众金融服务
重庆市统一高考志愿采取网上填报的方式,集中安排在6月27日9︰00至6月3
贺州园博园位于中国广西壮族自治区的贺州市,是一座集自然景观、文化遗
庄红韬热闹的端午节假期刚刚过去,经文化和旅游部数据中心综合测算,今
中国邮电大学、广东科技管理大学……这些“高大上”的学校,你们听过么
在一片欢呼声中,来自卡塔尔和厄瓜多尔的球员为我们献上了一场精彩的比
张静波,女1968年出生,博士。肾脏内科副教授,副主任医师,硕士研究生
e公司讯,①华康医疗:公司中标武汉市肺科医院异地迁建项目医疗专项施
1、明宗岩在揭阳市区西南端的紫峰山上。2、明宗岩始建于明朝末年期间,
2023年6月26日银河电子002519发布公告称南京证券股份有限公司赵伟支金
根据《江西省普通高中招生指标均衡分配到初中招生的实施意见》及《南昌
据中央纪委国家监委驻中国银行纪检监察组、江西省纪委监委消息,中国银
“1号机组首次并网一次成功了!”6月19日20时23分,湖北能源襄阳宜城发
响堂作为叮咚平台栀子花鲜切花的独家供应商,将与叮咚开展包括“叮咚栀
【大河财立方记者徐兵实习生刘豫通讯员 孙琦英】6月25日,大河财立方记
近日一段高考查分的视频引发热议视频显示,在安徽合肥一所高中查分时,
金投网提供工商银行喜结良缘金条30克价格今天多少一克(2023年06月25日
中国山东网-感知山东6月24日讯(记者刘淑红通讯员陶雯雯)6月23日晚,
为弘扬民族精神,传承中华传统,秦安县税务局开展“学思践悟立新功粽享
自今年年初以来,我们一直听到很多有关苹果即将推出的产品线iPhone15的
随着经济重心逐步向城市转移,浙江各地的城市发展也迎来了全新的机遇!
6月24日,记者从定安县旅文局获悉,端午节假期间,定安县游客总人数达2
考生获得高考成绩后,如对本人某科成绩有疑问,可在6月26日17:00前携