@FatNew 在 关于 无参考视频渲染质量 深度学习模型请教 中发帖
请教各位佬
我目前想做一个无参考(也就是没有原始纹理)条件下视频编解码渲染质量的项目,考虑到资源和数据标注的问题,目前我的方案如下
数据集
先制作一个桌面采集程序,每秒截图,然后通过ffmpeg附加退化滤镜,比如使用低码率或者强行附加块效应等等
考虑到算力问题,取图片的中心和内部和边缘一共九张图,计算原始图像和ffmpeg处理过后图像的vmaf、ssim、psnr等加权成一个伪标签
附加部分人工标注,也就是请人对编解码渲染后的图像进行打分
模型
模型方面打算先用mobilenet v4
推理环节
最后等模型训练收敛后,将真实渲染图片定时输入到模型中,得到一个时间线性的质量评分
目前业务是做云游戏相关的,需要评估从桌面采集到最后渲染出来后实际的质量评分,过往都是人工评价,不确定性和效率都比较低。功利性的来说如果这个东西做好可能对后面的跳槽之类的会比较有好处。
上面的个人浅见期望...