一个含有数字信号处理、精简指令集(RISC)处理和可编程逻辑的混合式系统级芯片(SoC)架构能够为图像与信号处理、通讯以及控制等各种嵌入式应用提供功能强大的平台,Cheshire就是这样一种用于数字照相机的混合式SoC平台。本文分别从DSP、RISC处理器以及嵌入式可编程逻辑内核的角度,介绍应用需求和存在的问题。
Cheshire使用的处理内核包括ARM9 RISC处理器、LSI Logic的ZSP数字信号处理器以及Adaptive Silicon的MSA2500可编程逻辑内核。设计工具中可编程逻辑是一个非常重要的部分,因为它能使系统架构在保持专用硬件的特性和功率优点的同时,确保软件的灵活性。利用可编程逻辑中固有的细化并行机制,以及深型构造流水线,可以使软件在关键应用部分的速度得到极大提高。除了加快部分应用之外,可编程逻辑还可以选择适合最终产品的配置,使一种SoC能适用于多个产品。
可重配置逻辑还能够在时间上对应用进行划分。举例来说,在数字照相机中,压缩和解压缩不会同时进行,因此可以共享同一个可编程逻辑资源支持两种功能??当照相机处于记录模式时加载压缩算法,而处于回放模式时加载解压缩算法。事实上,由于可编程逻辑支持快速动态部分重新配置,所以甚至在同一模式下不同处理步骤之间也可以进行逻辑转换。
混合架构方式对数字静止影像有很多好处。当用混合架构实现一种应用时,必须保证每个算法的计算要求同计算部件的计算能力都要相称。在静止影像应用中,算术密集型的操作自然由ZSP执行,位级逻辑操作和流水数据操作则可以很好地由可编程逻辑内核(PLC)完成,ZSP和PLC都特别适合于数据流运算,而且可编程逻辑在很深的流水线上操作可实现较高的并行度,具有很高的效率。而整个系统的通讯、控制和用户接口功能最适合于分配给ARM9处理器来做。
在下面一些原则的指导下,我们对这种应用的几个关键步骤进行考察,以了解它们在计算方面的要求并确定如何使这些功能同混合架构各处理单元的配合达到最佳。
- 成像器
尽管CMOS成像器已经在市面上出现,但通常成像器都用CCD阵列,本设计中的成像器模块还包括A/D转换。
- 图像预处理
图像预处理包括黑电平调整(去除成像器中背景电流的影响)、镜头非线性补偿、有缺陷像素单元的内插以及白均衡。一旦黑电平已知,那么黑电平调整就是从每个像素值中减去一个常数；镜头补偿用查找表实现；而缺陷像素单元内插以及白均衡实际上是一些算法。
- γ校正
γ校正可以对打印机和显示设备的非线性亮度效果进行补偿。除非输出设备已知,否则通常都使用一个标准的γ值。γ校正利用查找表实现。
- 色彩空间变换
成像器产生的RGB数值被转换为YCrCb颜色以做最终的处理和压缩,色彩空间变换就是在RGB值的基础上进行的一系列线性算术运算。
- 最后的图像处理
对图像而言,成像阵列实际上有效地起到了一个低通滤波器的作用。在某些高端的照相机里图像通常还要作进一步处理
- 包括Y通道边缘检测以及Cr和Cb通道的边缘色彩校正。
- 自动聚焦 具有机械自动聚焦功能的照相机将采用来自图像的反馈控制聚焦马达。
- 压缩:如今许多数字照相机都使用JPEG标准压缩算法,JPEG压缩包括三个步骤:对输入图像的8×8或者16×16模块进行离散余弦变换(DCT)、对变换结果系数进行量化以及对量化系数再使用改进的霍夫曼编码方式进行编码。
- 解压缩
解压缩实现存储图像的回放,实际上是JPEG算法的逆运算,根据反向量化和反向DCT对存储的数据进行解码。
- 图像管理 控制图像的存储以及读写JPEG头信息。
- 取景器
取景器模块负责图像的缩放以适应LCD显示屏幕,同时实施对比度增强和γ校正以补偿液晶显示器亮度的非线性。
- 用户接口
用户接口功能包括模式选择、屏幕菜单显示、存储缓冲器编辑、电池监测和系统I/O。
系统架构
最顶层的Cheshire架构,主要处理单元包括ARM9内核、ZSP内核和两个PLC内核,主模块之间以及同各种存储器和外围设备之间通过Amba高速总线(AHB)进行通信。AHB总线控制器包括ARM9、ZSP和每个PLC中的DMA引擎,ZSP和PLC模块之间还通过一个高带宽内核之间的接口??直接ZSP接口(DZI)连接在一起,在内核之间实现大量数据传递和数据直接共享。
ARM9内核负责实现各种系统管理功能,包括接收用户通过按键发出的指令、屏幕上的菜单显示以及USB接口管理；电源和电池寿命管理；可编程逻辑内核的配置管理(如同步和动态运行重新配置)；以及图像的存储和取出。ARM9采用实时操作系统协调所有的系统行动。
成像器模块由外部成像阵列以及相应的A/D转换装置组成,还有一个DMA引擎以便将数据直接传输到双口帧缓冲器的一个端口上。帧缓冲器很大,足以存储四幅完整的图像,它用于保存最新的输入图像以及要处理的中间图像。
ZSP内核子系统
DSP子系统由ZSP400内核及其存储器子系统组成,ZSP400是一个由LSI Logic公司开发的四相超标量16位DSP内核,它采用五级流水线架构。
ZSP400内核有两个端口用于和存储器及外围设备相连:一个内部端口用于联系十分密切的单周期程序和数据存储器,另一个外部端口用作指令单元(IU)和数据单元(DU)访问外部存储器和外围设备的选用通路。内部端口与“本地”存储器访问联系很紧,可以和同步片上存储器一起使用。利用双端口存储器和支持多路技术及存储器端口分割的存储器接口控制器(如图1中所示),可以以较低的开销实现外部片上逻辑的直接存储器存取。
外部端口实现ZSP与外部存储器和外围设备之间的连接,并向内核IU和DU提供16位输入和32位输出数据总线。Cheshire架构采用两个Adaptive Silicon的MSA2500可编程逻辑内核,每一个内核都有自己的专用存储器和专为加快图像处理而设计的高性能通信电路。图2是PLC模块的结构。
尽管两个PLC模块结构一模一样,但是它们实现的功能却有所不同。PLC-1一般用于加快主图像通道操作,并同ZSP一道密切工作。PLC-2模块处理取景器数据,也就是说,实施图像的缩放、对比度增强和LCD的γ校正。图像缩放可以采取简单的单点缩放或者用线性均值的方式来处理,对比度增强采用直方图投影算法实现,而γ校正则通过查找表操作完成。
Cheshire架构使用两种方法实现内核之间的集成,ZSP和PLC内核都连到Amba AHB总线及每个重要的片上逻辑模块,所有同外部设备之间的通信都由ARM9处理器通过AHB来处理。
Jeffrey M. Arnold
Neal Stollon
京公网安备 11011202001138号
