近日,人工智能领域国际顶级会议AAAI-2022(CCF-A)传来喜讯,北京邮电大学计算机学院硕士研究生唐宇翔同学以第一作者投稿一篇“通过统计视角的迁移学习颜色恒常性”(Transfer Learning for Color Constancy via Statistic Perspective)的论文被录用,论文指导老师为计算机学院视觉机器人与智能技术实验室的明安龙、康学净。据官方公布,AAAI-2022共收到9022篇投稿,其中接受1349篇,录取率仅为15%,录取难度史上最高。
该论文研究计算摄影技术中颜色恒常性问题,目标在于校正由场景照明引起的图像色偏,使计算机具备人类视觉系统感知颜色恒常的能力。自上世纪相机诞生以来,如何让摄像头准确记录真实世界的颜色一直是计算摄影领域的关键痛点。随着智能手机的快速发展,人们对拍摄的高标准以及对机身厚度的限制,使得颜色恒常性成为了智能手机图像信号处理(ISP)模块的关键技术。
近年来,深度学习方法在单相机RAW数据上尽管有了显著的改进,但这些模型仍然存在数据严重不足的问题,导致模型容量较浅,在多相机设置下模型退化。针对上述问题,论文“通过统计视角的迁移学习颜色恒常性”(Transfer Learning for Color Constancy via Statistic Perspective),提出了一种将传统统计方法和卷积网络结合的迁移学习颜色恒常性方法(TLCC),其中统计估计方案(SE-Scheme)首创了从统计角度进行颜色恒常性任务的回归,将与相机相关的光照标签映射到与相机无关的形式,并为sRGB数据生成伪标签,极大地扩展了训练的数据。颜色引导适应分支(CGA-Branch)通过提取颜色信息以自适应地规范主干的特征,进一步促进了从sRGB到RAW数据的高效迁移学习。实验结果表明TLCC克服了数据限制和模型退化,在流行的基准测试中表现出最先进的性能。此外,实验还证明TLCC能够从sRGB数据中学习新的场景信息,以提高具有相似场景的RAW图像的准确性。
本论文成果可应用于移动终端图像信号处理(ISP)模块,并计划列入已立项的计算摄影技术相关国际标准。
计算机学院(国家示范性软件学院)
2021年12月8日
颜色恒常性示意图(左:拍摄时由光照导致的色偏图像,右:颜色恒常性校正后图像)
TLCC模型的架构图