简体中文 | English
Image Matting
目录
简介
Image Matting(精细化分割/影像去背/抠图)是指借由计算前景的颜色和透明度,将前景从影像中撷取出来的技术,可用于替换背景、影像合成、视觉特效,在电影工业中被广泛地使用。
影像中的每个像素会有代表其前景透明度的值,称作阿法值(Alpha),一张影像中所有阿法值的集合称作阿法遮罩(Alpha Matte),将影像被遮罩所涵盖的部分取出即可完成前景的分离。
更新动态
- 2022.11
- 开源自研轻量级抠图SOTA模型PP-MattingV2。对比MODNet, PP-MattingV2推理速度提升44.6%, 误差平均相对减小17.91%。
- 调整文档结构,完善模型库信息。
- FastDeploy部署支持PP-MattingV2, PP-Matting, PP-HumanMatting和MODNet模型。
- 2022.07
- 开源PP-Matting代码;新增ClosedFormMatting、KNNMatting、FastMatting、LearningBaseMatting和RandomWalksMatting传统机器学习算法;新增GCA模型。
- 完善目录结构;支持指定指标进行评估。
- 2022.04
- 开源自研高精度抠图SOTA模型PP-Matting;新增PP-HumanMatting高分辨人像抠图模型。
- 新增Grad、Conn评估指标;新增前景评估功能,利用ML算法在预测和背景替换时进行前景评估。
- 新增GradientLoss和LaplacianLoss;新增RandomSharpen、RandomSharpen、RandomReJpeg、RSSN数据增强策略。
- 2021.11
- Matting项目开源, 实现图像抠图功能。
- 支持Matting模型:DIM, MODNet;支持模型导出及Python部署;支持背景替换功能;支持人像抠图Android部署。
技术交流
- 如果大家有使用问题和功能建议, 可以通过GitHub Issues提issue。
- 欢迎加入PaddleSeg的微信用户群👫(扫码填写简单问卷即可入群),大家可以和值班同学、各界大佬直接进行交流,还可以领取30G重磅学习大礼包🎁
- 🔥 获取深度学习视频教程、图像分割论文合集
- 🔥 获取PaddleSeg的历次直播视频,最新发版信息和直播动态
- 🔥 获取PaddleSeg自建的人像分割数据集,整理的开源数据集
- 🔥 获取PaddleSeg在垂类场景的预训练模型和应用合集,涵盖人像分割、交互式分割等等
- 🔥 获取PaddleSeg的全流程产业实操范例,包括质检缺陷分割、抠图Matting、道路分割等等
模型库
针对高频应用场景 —— 人像抠图,我们训练并开源了高质量人像抠图模型库。根据实际应用场景,大家可以直接部署应用,也支持进行微调训练。
模型库中包括我们自研的高精度PP-Matting模型和轻量级PP-MattingV2模型。
- PP-Matting是PaddleSeg自研的高精度抠图模型,通过引导流设计实现语义引导下高分辨率图像抠图。追求更高精度,推荐使用该模型。
且该模型提供了512和1024两个分辨率级别的预训练模型。
- PP-MattingV2是PaddleSeg自研的轻量级抠图SOTA模型,通过双层金字塔池化及空间注意力提取高级语义信息,并利用多级特征融合机制兼顾语义和细节的预测。
对比MODNet模型推理速度提升44.6%, 误差平均相对减小17.91%。追求更高速度,推荐使用该模型。
注意:
- 指标计算数据集为PPM-100和AIM-500中的人像部分共同组成,共195张,PPM-AIM-195。
- FLOPs和FPS计算默认模型输入大小为(512, 512), GPU为Tesla V100 32G。FPS基于Paddle Inference预测裤进行计算。
- DIM为trimap-based的抠图方法,指标只计算过度区域部分,对于没有提供trimap的情况下,默认将0<alpha<255的区域以25像素为半径进行膨胀腐蚀后作为过度区域。
使用教程
社区贡献
学术引用
@article{chen2022pp,
title={PP-Matting: High-Accuracy Natural Image Matting},
author={Chen, Guowei and Liu, Yi and Wang, Jian and Peng, Juncai and Hao, Yuying and Chu, Lutao and Tang, Shiyu and Wu, Zewu and Chen, Zeyu and Yu, Zhiliang and others},
journal={arXiv preprint arXiv:2204.09433},
year={2022}
}