×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

如何通过AI去绿幕直播-Background Matting 优优2021-04-04 15:19:17 回复 查看 视频分析 video流处理工具
如何通过AI去绿幕直播-Background Matting
分享到:

公司最近在为企业打造定制化带绿幕的直播间,目前客户要求应用于抖音直播平台!

客户基本需求:

  1. 视频要求实时PC抖音平台直播;

  2. 采集视频要求4K高清电子摄像头,价位在1.5K左右;

  3. 目前主播可以基本处于慢动作,后期需要站立或者演讲状态;


调试现场问题:

 目前涉及去绿幕问题和难点:去绿幕问题   


处理方案思路:

       1.建议客户不再使用绿幕完成直播设计;

       2.使用AI芯片通过算力实现实时去背景的抠图模式;

目前解决方案简述:目前微软有一虚拟舞台的项目非常类似,我们分享如下:

image.png

项目链接:微软虚拟舞台项目


【Background Matting简述】

       使用人工智能技术实现类似PhotoShop等工具的抠图功能是一个非常有趣且有科研前景的一个方向。

和分割算法只有 [公式] 和 [公式] 两个值相比,抠图得到的边缘更加平滑和自然,且包含透明通道信息。抠图方法

可以概括为: [公式] 。其中 [公式] 是输入图像, [公式] 表示图像 [公式] 的的前景, [公式] 表示背景

, [公式] 表示该像素为前景的概率,Matting通常是指由图像内容和用户提供的先验信息来推测 [公式] , [公式] 以及 [公式] 。

从技术角度来讲,抠图有传统方法和深度学习方法两种;从交互方式来看,抠图包括有交互和无交互两种,有交互

的抠图通常需要用户手动提供一个草图(Scratch)或者一个三元图(Trimap)。这篇文章要介绍的是一篇基于

深度学习的无交互的抠图方法,在目前所有的无交互的抠图算法中,Background matting是效果最好的一个。

它的特点是要求用户手动提供一张无前景的纯背景图,如图1所示,这个方法往往比绘制三元图更为简单,尤其

是在视频抠图方向 。这个要求虽然不适用于所有场景,但在很多场景中纯背景图还是很容易获得的。


image.png


【算法参考】

https://zhuanlan.zhihu.com/p/148265115?from_voters_page=true


【源代码】

https://github.com/senguptaumd/Background-Matting




【项目合作联系方式】

公司目前致力于高端直播项目开发设计及其实施,欢迎有AI视频流处理能力人士随时联系交流!

联系人:李经理

联系电话:18675515034



版权所有 © 2024 寒武纪 Cambricon.com 备案/许可证号:京ICP备17003415号-1
关闭