【安卓】技术分享 | 美术教学中视频矫正是怎么做的?

技术分享 | 美术教学中视频矫正是怎么做的?

拍乐云Pano发布于 41 分钟前

一、什么是视频矫正?

“基于参数估计的自由几何变换算法”的视频矫正技术,是基于实时音视频之上的技术优化,通过独有的图像处理算法,对视频画面进行矫正的技术。举个例子,美术线上课堂中,学生远程在画纸上绘画,摄像头对着画纸,通常难以保证摄像头可以正对画纸中心进行拍摄,一旦偏离画纸中心,拍摄出的视频中,画纸会变形,这项技术可以使老师将学生的视频进行失真矫正,将拍摄出来的梯形画纸调整成为长方形。

【安卓】技术分享 | 美术教学中视频矫正是怎么做的?

二、视频矫正的技术关键点有哪些?

用手机等设备拍摄图像时,如果摄像头无法正对被拍摄像对象(如画板),会产生一系列的几何失真,这是由于摄像头在拍摄时,真实世界是三维空间,展示在手机上时,已经变成了二维平面。物体与摄像头的真实空间关系,可以由被拍摄对象在空间内的几何位置关系,估算得到被拍摄对象的几何失真参数,然后重新计算拟进行矫正区域与真失被拍摄对象的映射关系。将得到的映射关系利用低复杂度高效的处理算法,对原始视频进行处理,得到矫正后的视频。其中,关键的技术点包括:1、独创的几何失真参数估计a、将拍摄的物体,例如画板,在拍摄空间进行数学建模,建立空间坐标系;b、根据物体在空间内的位置关系,估算摄像头的采集参数,特别是平移、旋转、缩放和投影参数。

【安卓】技术分享 | 美术教学中视频矫正是怎么做的?

2、独创的映射关系计算,将摄像头的采集参数与假设的鸟瞰摄像采集参数进行映射,得到真实的视频渲染参数矩阵

【安卓】技术分享 | 美术教学中视频矫正是怎么做的?

3、高效快速的视频处理算法,在实时视频通信中,视频数据量巨大,该技术需要对视频中每个像素进行映射变换,运算量随像素点数的增加,急剧增加,为此,我们设计了高度并行的处理算法,使得每个像素点都可独立进行运算,从面可以利用GPU进行加速处理,即使超高清视频都可以在毫秒级别进行处理。

相关开发指南页面:

Android: VideoQuadTransform

com.pano.rtc.api.Constants.PanoOptionType 枚举类型参考​developer.pano.video

iOS: kPanoOptionQuadTransform

PanoEnumerates.h 文件参考​developer.pano.video

以上就是关于视频矫正的一些分享,欢迎大家体验。关注拍乐云Pano的公众号,我们会在后续的文章中分享更多关于音视频开发的技术知识。

iosandroidc++webrtcRTC

阅读 20发布于 41 分钟前

本作品系原创,采用《署名-非商业性使用-禁止演绎 4.0 国际》许可协议


拍乐云Pano

我们是一家由顶级音视频团队构建的实时通信Paas云服务公司,红杉资本投资,思科WebEx背景。我们通过提供...

avatar

拍乐云Pano

我们是专注于RTC实时通信的拍乐云Pano,红杉资本投资,思科WebEx背景。我们通过提供极简、稳定和安全的SDK服务,让你的应用轻松实现音视频通话、互动白板、互动直播等能力。在这里,我们会分享关于拍乐云Pano的最新动态、技术心得、开源 Demo,以及使用 Pano SDK 的应用实践和场景案例。

1 声望

0 粉丝

0 条评论

得票时间

avatar

拍乐云Pano

我们是专注于RTC实时通信的拍乐云Pano,红杉资本投资,思科WebEx背景。我们通过提供极简、稳定和安全的SDK服务,让你的应用轻松实现音视频通话、互动白板、互动直播等能力。在这里,我们会分享关于拍乐云Pano的最新动态、技术心得、开源 Demo,以及使用 Pano SDK 的应用实践和场景案例。

1 声望

0 粉丝

宣传栏

一、什么是视频矫正?

“基于参数估计的自由几何变换算法”的视频矫正技术,是基于实时音视频之上的技术优化,通过独有的图像处理算法,对视频画面进行矫正的技术。举个例子,美术线上课堂中,学生远程在画纸上绘画,摄像头对着画纸,通常难以保证摄像头可以正对画纸中心进行拍摄,一旦偏离画纸中心,拍摄出的视频中,画纸会变形,这项技术可以使老师将学生的视频进行失真矫正,将拍摄出来的梯形画纸调整成为长方形。

【安卓】技术分享 | 美术教学中视频矫正是怎么做的?

二、视频矫正的技术关键点有哪些?

用手机等设备拍摄图像时,如果摄像头无法正对被拍摄像对象(如画板),会产生一系列的几何失真,这是由于摄像头在拍摄时,真实世界是三维空间,展示在手机上时,已经变成了二维平面。物体与摄像头的真实空间关系,可以由被拍摄对象在空间内的几何位置关系,估算得到被拍摄对象的几何失真参数,然后重新计算拟进行矫正区域与真失被拍摄对象的映射关系。将得到的映射关系利用低复杂度高效的处理算法,对原始视频进行处理,得到矫正后的视频。其中,关键的技术点包括:1、独创的几何失真参数估计a、将拍摄的物体,例如画板,在拍摄空间进行数学建模,建立空间坐标系;b、根据物体在空间内的位置关系,估算摄像头的采集参数,特别是平移、旋转、缩放和投影参数。

【安卓】技术分享 | 美术教学中视频矫正是怎么做的?

2、独创的映射关系计算,将摄像头的采集参数与假设的鸟瞰摄像采集参数进行映射,得到真实的视频渲染参数矩阵

【安卓】技术分享 | 美术教学中视频矫正是怎么做的?

3、高效快速的视频处理算法,在实时视频通信中,视频数据量巨大,该技术需要对视频中每个像素进行映射变换,运算量随像素点数的增加,急剧增加,为此,我们设计了高度并行的处理算法,使得每个像素点都可独立进行运算,从面可以利用GPU进行加速处理,即使超高清视频都可以在毫秒级别进行处理。

相关开发指南页面:

Android: VideoQuadTransform

com.pano.rtc.api.Constants.PanoOptionType 枚举类型参考​developer.pano.video

iOS: kPanoOptionQuadTransform

PanoEnumerates.h 文件参考​developer.pano.video

以上就是关于视频矫正的一些分享,欢迎大家体验。关注拍乐云Pano的公众号,我们会在后续的文章中分享更多关于音视频开发的技术知识。

以上是 【安卓】技术分享 | 美术教学中视频矫正是怎么做的? 的全部内容, 来源链接: utcz.com/a/107682.html

回到顶部