来源：FacebookAI编辑：好困
【新智元导读】时隔一年，FacebookAI携PyTorchVideo重回视频理解的xg111net战场华为手机开源代码是什么 。其不仅可以「无缝」接入各类代码库，甚至还「略懂」LeCun最爱的自监督学习。顺便一提，手机也能玩！
视频已逐渐超过文字和图片，可以说成为了太平洋在线手机版现在使用最广的媒体形式，同时也占据了用户更多的浏览时间，这就使得视频理解变得尤为重要华为手机开源代码是什么 。
各大互联网公司与顶尖高校纷纷绞尽脑汁，竞相研究SOTA的视频理解模型与算法华为手机开源代码是什么 。
在谷歌，脸书，Open-MMLab等分别祭出各家杀器之后，脸书人工智能实验室（FacebookAI）在推出PySlowFast之后时隔一年，携PyTorchVideo重回战场华为手机开源代码是什么 。
今天我太平洋在线xg111们就来扒一下，PyTorchVideo究竟是怎样的一个代码库，又如何能在开源当天就跻身于GitHubTrending榜单华为手机开源代码是什么 。
展开全文
PyTorchVideo哪儿都能用
不同于在座的各位视频代码理解框架只醉心于自家框架，无法移步与其他代码库华为手机开源代码是什么 。
PyTorchVideo像是torchvision等基础代码库一般，「哪儿都能用」！PyTorchVideo不但可以用在视频理解任务中，甚至可以用在其他任务的代码库华为手机开源代码是什么 。
脸书人工智能实验室的大佬们不但在「自家人」的PySlowFast代码库上无缝使用上了PyTorchVideo，并且还在ClassyVision，PyTorchLightening等等框架上无缝插入华为手机开源代码是什么 。
作为含着金钥匙出生的PyTorchVideo，其直接成为了PyTorchLightning-Flash的视频理解担当，作为基础库被默认使用华为手机开源代码是什么 。
这不，在FiftyOne项目中，开源社区的吃瓜群众就利用Lightning-Flash搞出了一个浏览视频的工具箱，可以直接查看视频的动作类别华为手机开源代码是什么 。
PyTorchVideo啥都能做
更厉害的是，PyTorchVideo似乎「啥都能做」！不但在视频分类，动作检测等任务中深耕SOTA华为手机开源代码是什么 。
甚至还「略懂」LeCun最爱的自监督学习，以及音频事件检测等等千奇百怪的任务也不在话下华为手机开源代码是什么 。
基于PyTorchVideo的SlowFast模型进行动作监测
PyTorchVideo手机也能玩
更丧心病狂的是，PyTorchVideo一并开源了移动端的加速优化，不但提供了手把手的教程，将视频模型一步步优化核心Kernel，量化（quantilize）加速华为手机开源代码是什么 。
数倍加速后在移动端实时运行，甚至官方直接暴力放出Android和iOS移动端开源代码，将SOTA的视频模型直接塞到手机里跑着玩玩华为手机开源代码是什么 。
在三星GalaxyS10手机上运行的PyTorchVideo加速X3D模型华为手机开源代码是什么 ，运行速度快8倍，处理一秒视频大约需要130毫秒
PyTorchVideo是个啥
PyTorchVideo的真身是一个视频理解的机器学习库，可以服务于各种代码库，以及各类SOTA视频模型模型和开源视频模型华为手机开源代码是什么 。
以及各种视频基础算法，视频数据操作，各类流行视频数据集，视频增广，视频模型加速量化，等等一些列的全栈视频相关内容华为手机开源代码是什么 。
PyTorchVideo怎么玩
首先pip一下华为手机开源代码是什么 。
pipinstallpytorchvideo
然后华为手机开源代码是什么 ，在浏览官方的教程并上手实验了一下之后，发现通过PyTorchVideo只需要寥寥几行就可以训练一个视频模型：
frompytorchvideoimportdata,models,accelerator#Createvisualandacousticmodels.visual_model=models.slowfast.create_slowfast(model_num_class=400,)acoustic_model=models.resnet.create_acoustic_resnet(model_num_class=400,)#CreateKineticsdataloader.kinetics_loader=torch.utils.data.DataLoader(data.Kinetics(data_path=DATA_PATH,clip_sampler=data.make_clip_sampler("uniform",CLIP_DURATION,),)batch_size=BATCH_SIZE,)#Deploymodel.visual_net_inst_deploy=accelerator.deployment.convert_to_deployable_form(net_inst,input_tensor)
那么从开源的训练模型库中直接使用模型效果如何华为手机开源代码是什么 ？
model=torch.hub.load("facebookresearch/pytorchvideo",model=model_name,pretrained=True)
官方的模型库太丰富，简直眼花缭乱华为手机开源代码是什么 。
Kinetics-400
Something-SomethingV2
Charades
AVA(V2.2)
甚至通过PyTorchVideo加持的LightningFlash，分类视频仅仅只需三行华为手机开源代码是什么 。
fromflashimportVideoClassifiermodel=VideoClassifier.load_from_checkpoint("checkpoint_uri")model.predict("path_to_video_folder")
据官方博客透露华为手机开源代码是什么 ，PyTorchVideo开源了一大票视频模型，包括脸书人工智能实验室近期出现在ICCV，ICML等工作：
似乎MultiScaleVisionTransform也位列其中，有兴趣的朋友可以去一探究竟华为手机开源代码是什么 。
参考资料：
—完—
欢迎点赞~关注新智元及时华为手机开源代码是什么 了解人工智能新动态~
标签： 开源 PyTorchVideo FacebookAI 最强 模型
