CAMTracker(UE) v3.5发布说明及使用流程介绍(二)

虚拟制作流程: 

1.   首先要确定你使用的跟踪系统与画面输出的硬件。

对于跟踪系统,这里推荐使用更加专业的跟踪系统,这样最终画面稳定程度更能满足出片要求,对于vive跟踪系统因为各方面因素影响用来测试一下还可以,但对于画面稳定程度有较高要求的,还是推荐使用其它跟踪系统。

对于输出给UE画面的方式,常规测试的话,可以使用Offworld的NDI/Spout插件输出抠像后的画面给UE。有条件的话,尽量还是通过AJA或Deltacast品牌视频输出卡,这样可以支持Genlock锁定帧输出,并支持与相机时间码进行同步输出LTC时间码。

2.    接着按流程设置跟踪相机的画面接入,在CAMTracker中提供一个跟踪相机(即CAM0)与4个固定相机(CAM1-4)画面输入。你可以直接点击Video Monitor界面的主窗口中点击红色的CAM0按键打开画面接入设置。在这里选择你的采集卡相应品牌与设备型号。相机输入格式最好选择10bit422的格式,以方便精细抠像。在使用去隔行扫描时,注意选择奇偶场进行帧同步。如有多个相机输入,最好也选择进行同步,Sync Input。相关具体功能可以参考TD的说明:https://docs.derivative.ca/Video_Device_In_TOP

3.   对于颜色空间转换,请参考具体相机的输出进行设置。通常输出设置为Linear线性颜色空间。有关这个对话框的各个选项说明请参考TD的官方说明:https://docs.derivative.ca/OpenColorIO_TOP

4.   接下来对于镜头校正部分。需要先打印相应的棋盘格图片(图片向我索取),并粘到硬纸板上,确保不要变形。接着运行相机校正软件,点击VIDEOIN同样设备接入相机画面,这时候要确保关闭CAMTracker中的相机画面,不然会被占用。然后点击Textport打开命令行界面以随时查看处理信息,再以不同姿态摆放纸板点击Capture Frame进行画面拍摄,每拍摄一张在Textport中即会提示识别到的标记点数量,在实时画面中也会显示,要确保这个识别到的标记点不能少于6个,如果识别失败就需要点击Clear Sets进行清除,当CapturedSets数量达到10张后,即可点击Calibrate Cam进行相机校正的计算,在Textport中会显示相关的结果,然后把这个结果依次输入到LENS窗口K1-K2-P1-P2-K3选项中即可。注意重投影的误差值要小于0.2。其它相关选项请参考TD文档说明。https://docs.derivative.ca/Lens_Distort_TOP

5.   抠像操作。对于抠像首先就是灯光要打好,尽量避免溢色,前期设置好就会起到事半功倍的效果。有关抠像方面的相机设置请参考B站影视飓风对于抠像方面的教程。

在CAMTracker中我们通常只需要开启Pick Mode后在主监视窗口中点击拖动选择要抠像的背景,并根据实际效果还调节相应的曲率与降噪选项即可。去溢色尽量使用HSL调节选项。在调节抠像效果的同时,你可以切换不同的背景以检查最终效果,防止主体对象发生透色现象。具体每项功能的意思请参考前一篇文章。

6.    如果你有调色需求的话,可以使用这个ColorGrading窗口来进行调整。左下角滑块部分可以右击恢复到默认值0.5。右下角的波形图可以点击上面的按钮在不同显示样式间进行切换。

7.    然后我们切换主监视窗口到三维视图。点击蓝色的VIVE按钮切换你现在使用的跟踪系统。对于VIVE系统可以使用一键重置原点功能进行快速标定坐标系。T265跟踪相机可以使用记录原点功能与CAM ROT以方便使用与安装。在使用VIVE跟踪系统时,默认Wireless选项可以使用右侧的卡尔曼滤波滑块。推荐使用有线连接,当然你同样可以使用这些滤波选项。

 

在XYZ OFFSET选项中分别输入测量的tracker与相机入瞳点的偏移值。当你使用vive跟踪系统时,可以点击Align View切换到对齐视图用第二只tracker来作为对齐的参考。当然在做这个对齐时,要先点击相应的相机按钮设置好相机的FOV或焦距与实际现匹配。

8.    接着我们根据实际绿幕的配置情况选择3Screen或4Screen。打开相应的设置窗口调节尺寸以覆盖相要输出的区域进行MASK调节。如果你要进行分区抠像也要注意这个地板要被完全覆盖住。

9.    下一步我们需要设置画面输出与跟踪数据的输出。如果你使用NDI或Spout的话,只需要点击相应的按钮,激活它即可,但这样将不能使用Genlock功能。如果要启用Genlock功能,你需要使用AJA或Deltacast品牌的视频输出卡,并在Reference Source中选择参照源。First Field这个选项已经绑定到采集卡输入的奇偶场设置。相关的选项说明请参考TD说明文档:https://docs.derivative.ca/Video_Device_Out_TOP

对于跟踪数据输出,根据你的具体需要来选择。如果你想要使用屏幕跟踪功能(VIVE)就只能使用OSC进行输出,如果只是使用相机跟踪数据的话,使用FreeD协议会更加简便。对于时间码的输出,可以点击右上角的TC按钮进行设置。点击Sync按钮可以与相机输入时间码进行同步。对于时间码的格式要确定好,这会决定数据的发送帧率。

10.    接着就需要打开UE设置画面与跟踪数据的接入。如果你是直接使用采集卡输入到UE的话,请参考UE官方说明进行设置。https://docs.unrealengine.com/5.0/zh-CN/professional-video-io-in-unreal-engine/

对于NDI/Spout接入需要使用offworld.live这个网站上的插件,插件免费注册,需要登录使用。安装方法也很简单,只需要下载压缩包版本,解压到UE的插件目录并在软件中启用它即可。重启UE后,在放置Actor窗口中进行Offworld LIVE子类中选择相应的虚拟相机与NDI接收管理器放置到项目中。

接着选择OWLNDIReceiver Manager并添加NDI接收,设置Render Target为试用版资料中提供的渲染目标RenderTarget。

如果你使用COMPOSURE合成方式的话,请参见UE官方文档操作。这里主要介绍Billboard的方式,在项目中添加一个平面,并把MAT材质赋予这个平面。这个MAT材质自带Billboard蓝图与屏幕材质功能。要确保把这个平面调整旋转到如下图所示状态。这个平面的缩放尺寸要与CAMTracker中Screen Width/Height设置保持一致,当然如果你想切除一些不需要的区域,可以把这个尺寸设置的小一些,或设置成竖屏比例。CAMTracker中的设置只是作为实际输出的视觉参考。

11.    然后对于跟踪数据接入,如果使用OSC的话,需要启用相应的OSC插件。

然后打开共享资料中提供的OSC蓝图,把相关变量与蓝图复制到关卡蓝图中,如果对于相机的引用失效的话,请重新设置一下引用。

这个蓝图中支持接入的数据除了常规的跟踪数据之外,还包含FOV与屏幕跟踪的两个轴的数据。

如果你使用LiveLink FreeD协议的话,需要首先激活LiveLink FreeD这个插件。在CAMTracker中激活FreeD输出后,就可以在UE>窗口>虚拟制作>LiveLink窗口中点击+源按钮来添加LiveLinkFreeD源。

 添加好后就可以点击主题列表中的FreeD进行相关选项的设置。比如设置计算模式可以设置为时间码,是否启用对焦与焦距选项。也可以在列表下识别的相机上点击,然后切换右侧的视图选项为显示帧数据,查看进入的跟踪数据。
 
接着我们选择项目中的这个虚拟相机,点击细节面板中的添加>Live Link Controller,并设置主题为相应的相机。
然后我们需要在主关卡蓝图中启用之前OSC蓝图中的运行时自动切换视角为虚拟相机的设置。
至此,跟踪数据的接入就完成了,当然如果你没有接入焦距数据的话,就需要手动设置虚拟相机的焦距与实际相机相匹配。
 
如果你使用采集卡输入的话,对于时间码与Genlock的设置请参考UE的官方说明:https://docs.unrealengine.com/5.0/zh-CN/timecode-and-genlock-in-unreal-engine/
12.    最后通过摇动相机的同时在CAMTracker中调整跟踪延迟的帧数,以进行画面与相机跟踪的同步。如果需要推流画面到OBS的话,可以添加OFFWORLD的OWLNDISender Manager到项目中设置通过NDI发送画面。

发表回复