关于我们

About us

AI ISP 的黎明——大话成像连载一

发布时间:2021-08-23

2020年过去了,大概没有什么人会怀念它,但大多数人会永远记住这一年。


放眼大环境,人们在这一年经历了疫情的肆虐,也经历了时间的重启;着眼ISP行业,AI ISP 是这两年一个火热的话题。如何能够将AI 技术引入ISP并将图像质量进一步提升以及引入新的功能成为每个相关公司的重要研究方向。


作为产业链中的一份子,爱芯一直以来十分关心AI技术在成像中的应用和发展,我们将关于AI ISP的一些现状问题和思考梳理成文,后续会持续更新一系列的文章介绍相关的技术。

 


最近几年,AI 技术的应用在ISP系统中成为越来越重要话题。在多个用户功能中,AI算法都体现出极大的用户价值。尤其像夜景拍摄、美颜拍摄、场景识别之后的风格化调整等,在这些场景中AI技术带来的效果优势,已经得到大家的认可。而在过去的2020年,芯片流片之后AI赋能,也成为了大家关注的新热点——对于芯片而言,成像系统的效果能够随着算法的迭代有大幅的提升,相同位置引入的AI模块可以开发出新的功能,继而给芯片带来更多ISP的灵活性和更多的用户价值。下图是传统去噪和AI去噪的结果对比,AI 的图像处理效果在很多领域已经远超过传统算法的极限了。

提到 AI ISP 就不得不提google在pixel系列上手机使用的 Pixel Visual Core/Pixel Neural Core 系列硬件加速器这件事情。虽然从严格意义上来说这并不是一个真正的AI ISP,只是一个外部硬件加速器,但是 google 证明了使用AI 算法可以提供远超传统算法的拍照体验,体现了AI算法在成像过程中的重要价值,为后面手机芯片中NPU可以在ISP处理流程中所体现的价值起到了指路作用。特别是在降噪,HDR+,demosaic 这几个领域中体现出AI算法的优势。到目前这些领域依然是AI 成像算法的热门研究领域,不过在Pixel 5手机上,由于高通SOC的NPU性能提升暂停了Pixel Neural Core的使用,令我们很遗憾无法看到其更多独特的设计。不过传言Google 也在进行自己的SOC设计,也许不久的将来我们能看到一些新的思路。

 

 

1、首先需要考虑 NPU 和 ISP的通信和融合。

传统的ISP和NPU在图像中的使用方式并不相同,ISP处于在线模式运行时,基本传输的单位是以行或者帧内分块进行,但是目前常见的NPU则使用整张图。如果只是按照传统的ISP+NPU的模式,整张图像需要经过ISP输出到DDR之后,才能进入NPU处理,然后需要再次输出到DDR处理然后,才能再次回到ISP中处理。这导致了每次ISP和NPU之间的通信至少要增加一帧的延迟,并且导致内存带宽消耗巨大。如果ISP中需要有多个功能通过NPU处理,因此带来的带宽和延迟问题就不得不解决。下图中是麒麟9000中实现的通信模式,这种使用帧内分块和smart cache 就是对上述问题的一种解决方式。

 

本文系微信公众号《大话成像》,知乎专栏《all in camera》原创文章,转载请注明出处。