SAMURAI增强版分割模型
1. 背景
最近在11月18日看到arxiv上发表了SAMURAI,是华盛顿大学做的一个针对万物切割SAM(segment anything model)的开源项目,目的是为了解决传统目标跟踪算法在复杂场景比如快速移动、移动遮挡等环境中遇到的跟踪丢失、目标不全等问题。其实在去年华盛顿大学已经开源过一个版本SAM,不过相比于SAM,SAMURAI具备更好的性能,在物体部分遮挡的时候依旧有很好的性能。关于官网的产品介绍如下:
网站:https://yangchris11.github.io/samurai
论文:https://arxiv.org/abs/2411.11922
github:https://github.com/yangchris11/samurai
视频案例如下:
1917 (2019), directed by Sam Mendes.
1917 (2019), directed by Sam Mendes.
可以看到官网的案例,整体视频追踪的效果看起来还是不错的,我们整体安装试试。
2. 安装
首先查看自己的python、torch和torchvision的版本,要求:python>=3.10, torch>=2.3.1 ,torchvision>=0.18.1,可以用如下脚本进行检查:
import sys
import torch
import torchvision
# 检查 Python 版本
print("Python version:", sys.version)
# 检查 PyTorch 版本
print("PyTorch version:", torch.__version__)
# 检查 torchvision 版本
print("torchvision version:", torchvision.__version__)
先不安装,直接测试
3. 实际测试
直接可以在官网测试:
https://sam2.metademolab.com/demo本文发布于2024年11月25日20:13,已经过了664天,若内容或图片失效,请留言反馈 -
whisper.cpp安装
1. 背景 whisper是OpenAI官方发布的一款开源语音识别大模型,使用python实现。可以将语音信息转化为文本信息。其实也叫做ASR"自动语音识别”(Automatic Speech Rec...
2025/03/02
-
mem0-大模型的长期记忆
1. 背景 最近在使用虾哥开源的小智机器人软件中,看到了mem0的软件方案,好奇之下搜索了一下,发现大有来头。在OpenAI 投资了 370 万美金给一个叫 Dot 的应用,这个应用背后的核心技术是「...
2025/04/01
-
whisper.cpp测试与使用
whipser.cpp安装完毕后,加载了多个大模型,分别进行测试。 测试项目 下载模型命令: bash sh ./models/download-ggml-model.sh base 测试命令: 转化...
2025/04/21
-
whisper.cpp 关键词纠错
粗糙转写会在后续放大错误,Whisper.cpp支持自有词典场景关键词拼写纠偏。指令如下: 查看文档:https://www.openhab.org/addons/voice/whisperstt/ ...
2025/04/21
apostle9891
暂无评论