赵鹏阳
北京
15330050984
pengyang.zhao@foxmail.com
个人概述
清华大学电子工程系博士,具备近 3
年手机影像算法研发经验,聚焦生成式视觉算法、多模态数据工程与图像复原。主导文字图像生成式复原系统研发,具备
Diffusion / Flow Matching
模型设计、视觉大模型微调、条件控制及百万级数据闭环经验;负责人像精修模型微调与瑕疵分割,参与偏好对齐、RAW
域生成式复原及下一代 Agentic IR
系统设计,具备从算法预研、效果评测到业务落地的完整经验。
教育经历
清华大学 - 博士 - 电子工程系
2017.09 - 2023.10
吉林大学 - 学士 - 信息工程
2013.09 - 2017.06
工作经历
高级算法工程师 - 荣耀终端有限责任公司
2023.10 - 至今 (~2年零09个月)
核心项目经历
基于生成式架构的文字场景图像复原系统
项目职责:针对现实复杂退化场景下的文字图像,主导从数据闭环、复原算法研发和落地的全流程。
- 生成式复原算法研发:主导从传统 Transformer 向 JiT + Flow Matching
生成式架构演进,引入像素级结构约束缓解文字笔画幻觉与结构失真;探索基于
CLIP 对比学习的汉字 embedding 方案。整体方案对比基线模型主观盲测胜率接近
100%,文本识别准确率相对提升 12%、识别置信度提升
26%,成功支撑下一代旗舰机影像卖点特性。
- 数据闭环与数据工程:构建基于 VLM
驱动的自动化数据清洗与测评管线。微调 Qwen3-VL-8B-Instruct
建立难例挖掘与价值过滤机制,对输入图像进行多维质量量化,对网络数据实现高质量文字图像的自动化高精筛选与过滤。融合实采、渲染合成与生成数据等异构源,构建出百万级规模的高质量文字复原训练集,形成可持续迭代的数据闭环体系。
生成式人像精修与瑕疵感知算法预研
项目职责:面向相册后处理与云端修图场景,负责生成式人像精修模型微调及人脸瑕疵分割算法研发,并利用 RLHF 进行美颜偏好对齐。
- 生成式人像精修:基于约 3~4 万组人工及软件精修人像数据,对 FLUX.2
Klein 4B 进行 LoRA 微调;通过引入隐空间低频约束缓解色彩漂移问题;利用
Diffusion-DPO 后训练对齐用户偏好,提升美颜效果。
- 人脸瑕疵分割:基于约 3 万张数据训练多类别 U-Net
分割模型,采用软边界监督改善细小瑕疵的边界定位效果,结合类别权重及 Mask
后处理,为不同类型瑕疵的参数化精细调整提供支持。
RAW 域 Diffusion 算法预研
项目职责:参与布局下一代“端云协同”影像演进,针对 RAW 域图像传统复原模型的画质上限限制,引入生成式大模型先验,探索多帧输入条件下的模型结构设计与 RAW 域信息注入策略。
- 跨空间条件注入设计:针对 FLUX.1-dev 12B 的隐空间与原始 RAW 域(Bayer
格式)的模态差异,通过引入 Bayer 数据流 (Stream)的方式融合 RAW
域信息,结合 LoRA 微调显式约束底层结构,使输出 RGB
域下图像重建质量显著提升。
- Latent / Pixel 空间扩散方案消融与架构选型:对比预研 Latent 与 Pixel
空间扩散两大路线,深入探究图像重建中“清晰度”与“保真度”的两者在不同技术路线上的效果差异,为模型定型与演进奠定基础。
专业技能
- 生成式视觉算法:熟悉 Diffusion、Flow Matching、JiT、LoRA / PEFT
等技术,具备生成式图像复原、图像编辑及条件控制实践。
- 多模态与后训练:具备 Qwen3-VL 微调、CLIP
对比学习及多模态数据筛选实践;掌握 RLHF 后训练基础理论,理解 Reward
Modeling、PPO、DPO 等偏好对齐方法。
- 开发技能/工具:Python、PyTorch、Diffusers、PEFT、Git、Docker
等。
- 英语能力:通过大学英语四六级考试;具备良好的英语听说读写能力,能够快速浏览英文文献和书籍。
荣誉奖励
- 荣耀 2024 年度微光者、荣耀知识之星
- 国家奖学金、奇虎 360 奖学金、三星奖学金
- 校优秀学生干部、校优秀学生、校级国奖励学标兵
论文
发表与参与论文 7 篇,研究方向聚焦生物识别与图像复原。
- P. Zhao, S. Zhao, L. Chen, W. Yang, and Q. Liao,
"Exploiting Multi-perspective Driven Hierarchical Content-Aware Network
for Finger Vein Verification," IEEE Trans. Circuits Syst. Video
Technol., vol. 32, no. 11, pp. 7938-7950, Nov. 2022.
- P. Zhao, S. Zhao, J.-H. Xue, W. Yang, and Q. Liao,
"The Neglected Background Cues Can Facilitate Finger Vein Recognition,"
Pattern Recognit., vol. 136, Art. no. 109199, Nov. 2022.
- P. Zhao, Z. Chen, J. Feng et al., "Single-Sample
Finger Vein Recognition via Competitive and Progressive Sparse
Representation," IEEE Trans. Biometrics, Behavior, Identity
Sci., vol. 5, no. 2, pp. 209-220, Apr. 2023.
- Y. Song, P. Zhao, W. Yang, J. Zhou, and Q. Liao,
"EIFNet: An Explicit and Implicit Feature Fusion Network for Finger Vein
Verification," IEEE Trans. Circuits Syst. Video Technol., vol.
33, no. 5, pp. 2520-2532, May 2023.
- Q. Bao, R. Zhu, B. Gang, P. Zhao, W. Yang, and M.
Qing, "Distilling Resolution-robust Identity Knowledge for
Texture-Enhanced Face Hallucination," in Proc. 30th ACM Int. Conf.
Multimedia, 2022.
- S. Zhao, J. Wen, L. Fei, B. Zhang, P. Zhao, and S.
Li, "Structure Suture Learning Based Robust Multi-View Palmprint
Recognition," IEEE Trans. Neural Netw. Learn. Syst., 2022.
- S. Zhao, J. Wu, B. Zhang, L. Fei, S. Li, and P.
Zhao, "Adaptive Graph Embedded Preserving Projection Learning
for Feature Extraction and Selection," IEEE Trans. Syst., Man,
Cybern., Syst., vol. 53, no. 2, pp. 1060-1073, Feb. 2023.