CAMTracker(UE) v3.5发布说明及使用流程介绍(一)

首先说明一下CAMTracker在虚拟制作中的用途。CAMTracker作为虚拟制作的伴侣软件,它的主要用途是处理相机画面抠像,跟踪系统接入与坐标系转换处理。

CAMTracker可以通过NDI,Spout或专业视频输出卡输出抠像画面给UE,通过AJA或Deltacast品牌视频输出卡支持Genlock锁定帧输出,并支持与相机时间码进行同步输出LTC时间码。

跟踪数据可以通过OSC或FreeD协议输出给UE。通过OSC可以传输跟踪相机六个自由度以及FOV数据,包括跟踪屏幕的位置数据(X,Y轴,不包括Z轴-高度数据)。UE端需要使用蓝图进行连接。如果只传输相机跟踪数据而不传输屏幕跟踪数据的话,直接使用LIVELink FreeD协议连接即可,这样更加简便直接。 支持NDI或采集卡视频输入作为监视画面。

界面介绍:

1.   软件主界面可以通过Video Monitor/3D View按键在视频监视与三维视图之间进行切换。视频监视画面主要用于抠像流程,三维视图用于监看绿幕及相机状态以便于调整跟踪偏移。

2.    Save Project按钮用于保存项目文件。Reolution用于设置输出视频的最终分辨率。

3.   Align View对齐视图按键主要针对vive tracker用户,如果你有两个tracker的话,可以一只做为跟踪相机,另一只用来做现实与虚拟相机的画面的对齐,也就是调节XYZ偏移值(跟踪tracker与相机入瞳点的偏移值)。当然在做这个之前要设置好相机的FOV。另外你也可以通过tracker switch滑块切换不同的tracker类型,包括2.0,3.0,tundra tracker 以及跟踪相机样式。

4.   Lens/OCIO镜头校正/颜色空间转换。Lens镜头校正。因为相机镜头不可避免会对原拍摄画面产生各种畸变,为使现实拍摄画面与引擎画面相匹配就需要做镜头校正。常规使用的都是张正友相机标定法。我也是最近刚把相关的相机校正软件做好UI。要做相机校正需要先打印棋盘格图,并把打印好的纸贴到硬板上,然后使用相机校正软件以不同的角度清晰拍摄棋盘格至少10张,然后再让电脑做相机校正计算,校正后得出的数据就可以依次填写到这里。

这个节点相关选项的说明在这里:https://docs.derivative.ca/Lens_Distort_TOP

5.   OCIO这个功能UE4就已经加入,在这里主要用作对相机画面的颜色空间转换,这属于专业的摄影相关技术,简单理解就是把其它颜色空间转换为电脑3D引擎使用的Linear线性颜色空间。不同品牌的相机可以选用不同的配置文件,当然你也可以使用相应的LUT进行调色,具体的功能可以参数TD的说明:https://docs.derivative.ca/OpenColorIO_TOP

6.    ColorGrading调色功能。这个功能主要面向有调色需求的专业摄像对抠像后画面进行调色处理,各项功能作用请参考专业调色知识。

7.    紧接着绿幕配置模式这个按钮,可以在billboard,3screen与4screen之间进行切换。它的作用就是你可以根据现实空间的绿幕尺寸在软件的三维空间中进行相应设置,以确保只输出绿幕空间内的画面给UE。这里的三折屏与四屏配置模式与UE中的设置是没有关系的,在UE中仍是使用billboard,只是这个billboard的画面是限制在相应的绿幕空间中的。绿幕之外的画面都会被MASK掉。这样即使相机拍到绿幕外的画面也不会在UE中显示。这一步是在相机画面与软件画面匹配后做的步骤。

8.    右侧GenLock项目显示当前帧锁定输出的状态。通过FPS按钮可以在不同的帧率之间进行切换,这个帧率即软件运行帧率及时间码帧率格式。这个帧率设置也会更改录制选项的帧率。Sync同步按钮用于同步相机输入时间码到LTC输出。默认没有同步情况下,软件会自动生成LTC时间码。点击这个时间码即可打开LTC输出设置界面。

9.    软件左侧窗格为切换输入源到主监视窗格,方便进行抠像与查看画面细节,在主监视窗口中你可以滚动鼠标轮放大或缩小显示画面,也可以按下H键,恢复默认大小。

输入源有三种类型,分别是Movie File视频文件(你可以直接拖动到左上角的这个窗口区域打开本地的视频进行演示)、Cam0-4相机画面(需要在主视频监视窗口的左上区域点击相应的按钮来设置采集卡输入)、Demo演示视频(内置绿幕素材)。

左侧窗格中间部分为拍摄快照以方便进行抠像使用,点击拍摄好的画面就可以输出到主监视窗格进行查看。

最下面部分为4个固定相机的监视画面,点击这些按钮可以切换相应相机画面到主监视窗格。

10.    UI中间部分即主窗格,你可以点击3D VIEW/Video Monitor按钮来切换监视画面与三维视图。主窗格顶部左侧部分为相机输入设置以及OCIO颜色空间转换/镜头校正设置,中间为色键抠像模式切换以及画面常规调整选项,色键模式分为S Key与M Key两种。

S Key为单次模式,如果画面溢色不严重的话,用这个模式就可以获得不错的效果,在这个模式中,第一次降噪(1th Denoise)是不起作用的,你可以调整第二次降噪把背景噪点去除。M Key为混合模式,如果S Key模式不太理想的话,可以用这个模式防止抠像影响主体对象。你可以先在S Key模式中确定二次降噪的值后,再切换到这个模式来调第一次降噪。右侧选项为抠像后画面切换不同的背景以检查抠像结果。

主窗格下半部分即各种抠像选项。首先是三个HSV的调节区域,我们可以拖动相应的调节点来获得更加平滑的结果。Layer按钮可以在二个抠像图层之间进行切换,这里主要用作分区抠像,如地板绿幕与背景绿幕颜色不同时,我们可以在3D MASK视图中配置好绿幕尺寸,再来分别对两个区域做单独抠像,当然这样做的时候要注意相应参数的一致性,以防止两个区域差别太大,通常我们要调整的只是HSV的区域。大多数情况下,图层1即可满足大多数要求。HSL Adj按钮可以调节当前图层的去溢色强度,当你开启下面这个Pick Mode按钮,点击主窗格的绿色背景拖动进行抠像时就会自动设置这些颜色值。通常我们需要调整的只是Color Softness这个选项,通常取值为0.15-0.35左右,具体视结果而定。你也可以试一下其它选项的效果。Curvature曲率这个选项可以设置抠像的平滑度,这个值不能调过大。SmoothEdge边缘平滑度,如果主体对象边缘锯齿比较明显的话,可以用这个选项来解决。CurveType曲线类型,默认为Triangle线性过渡,这样可以保留更多细节,Sine正弦曲线,边缘过渡会更加明显。紧接着这两个Trim选项通常情况下尽可能不要动。它相当于高切与低切。

底部左侧紫色边框包围的选项为常规去溢色选项,前两项只在特殊情况下可以用来去边缘溢色,通常用不到。第三项可以调整边缘色相值,通常为0值。

右侧为增强对比度调整与填充模式。前两项对比度与边缘透明度调整针对左边这些去溢色选项的调整。最后两项为填充模式选项,用于防止主体对象被抠像功能影响。

最底下为操作历史记录。

 

11.    右侧为抠像输出监视与录制选项。第一行为CAM0的录制选项,你可以在录制OrigImg(原绿幕画面)与FinalKey(抠像画面)之间进行切换,右边是绿色的录制按钮。

下面是主监视画面抠像后叠加背景选项,默认为Black,这里的选项会影响最终的输出。
下面两个窗格为主监视画面的两种模式:最终输出与MASK视图。点击其左上角的按钮可以打开相应的录制选项,第一项RecOpt1录制的内容取决于上面CAM0录制画面的选择模式。默认录制的视频文件都是带有LTC时间码的。第二项RecOpt2录制的就是这个MASK视图内容,同样带有LTC时间码。默认第二项中的内容都是跟随第一项中的设置,当你点击绿色的圆形录制按钮时,这两种画面会同时录制,具体的命名你可以点击下图中灰色按钮进行手动设置,也可以点击绿色按钮以保持默认命令规则。当然你也可以取消同时录制这个MASK内容,点击红框内灰色按钮取消关联第一个录制选项即可。

下面的窗格为四个固定相机的输出画面监视,右侧按钮与CAM0的录制选项类似,如果你想在点击录制按钮时同时录制相应相机画面的话,可以切换X按钮为✔。绿色边框的CAM按钮为NDI输出的激活按钮。 

三维视图:

1.    顶部前五个红色按键分别是NDI输出设置(所有NDI输出设置同步),Spout输出设置(仅针对CAM0),视频设备输出设置(支持通过AJA或Deltacast品牌视频输出卡支持Genlock锁定帧输出),OSC输出设置,FreeD协议输出设置。CAM0-4这五个按键可以打开相应相机的位置参数及视角设置,对于固定相机位置的确定,也可以装上跟踪设备(跟踪数据始终对应CAM0的位置),校准好位置后,把CAM0的位置及姿态直接复制粘贴到相应的CAM位置设置页面中。在你切换相应的CAM时,三维视图也会显示对应相机的画面。后面两个选项显示的分别是跟踪相机上绑定的Tracker以及屏幕跟踪所绑定Tracker的电池电量,以方便随时查看。

 

2.    下半部分即常规跟踪数据设置选项。这里的屏幕宽高对应的是billboard的尺寸,要与UE中的设置一致。当然,如果你想切除不需要的区域,也可以通过调整这个尺寸来实现。比如调整成竖屏模式。ScreenTrack屏幕跟踪功能主用于Vive Tracker跟踪系统,Vive跟踪系统始终保持开启状态,当你切换跟踪系统为其它跟踪设备时,这个屏幕跟踪功能使用的是第一个被识别到的Tracker的位置,在你切换到Vive跟踪系统是屏幕跟踪使用的是第二个被识别到的Tracker的位置,这个位置数据只包括XZ两个轴的数据(注意TD使用的是右手坐标系Y轴朝向)。

UE CAM设置对话框用于在使用其它跟踪协议时,对旋转轴进行偏移设置。这个通常只在相机角度异常时使用,只对UE相机起作用,CAMTracker中的相机不受其它影响。CamFlip相机位置翻转,切换相机在Z轴上的位置。CAM ROT相机旋转,这个功能旨在使用Intel T265跟踪相机时方便它朝向上下前后四个方向进行安装使用,以避免强光干扰,增强定位精度。

下面是XYZ三个轴的偏移值调整选项。你可以测量跟踪器与入瞳点的相对位置来进行调整。再往下蓝色的VIVE按键用于在不同的跟踪系统间进行切换。当你使用IntelT265跟踪相机时注意,一定要先确保连接好后再切换到它,使用时不要随便插拔,不使用时直接切换回默认的VIVE跟踪系统,不然软件会卡死。这个要特别注意。后续版本我会再改进这个问题。
右边的DefaultVal(V)按键为一键重置原点功能。因为vive tracker使用的是steamvr平台,其原点标定的程序相当繁琐,因此我专门开发了一键标定的功能,这样大大节省工作流程。具体就是只需要将tracker2.0的指示灯朝向相机放置在绿幕地板中间,方向一定要与绿幕的朝向一致,然后点击vive键右边的DefaultVal(V)按键切换为RestOrigin(V),即会以此位置为原点建立坐标系,这个原点重置也会将XYZ三个旋转轴包含进去。下次开机只需要记住相应的基站开机顺序即可,正常情况下是以先识别到的基站为准,如果作了房间校准,当然就无所谓。
对于T265跟踪相机,这个DefaultVal按键即为记录原点的功能,这样就避免来回折腾线材进行原点校准。你只需要做一次原点校准,之后拿到一个固定好的位置点击DefaultVal按键切换成RecordOrigin即可。下次只需要在这个位置与角度开机即可。在这里你只需切换跟踪设备类型即可。另外就是你可以配合使用CAM ROT功能朝向上下前后四个方向来安装T265以避免强光反射与跟踪数据的抖动。 
3.    Tracker Switch选项可以选择在三维视图中显示的tracker模型,分别为2.0,3.0,trundra tracker以及Camera。Traking Delay选项用于调整跟踪数据的延迟发送帧数。

未完待续。。。。

发表回复