本站原创摘 要 :基于目前实时图像存储的解决方案研究的现状与发展趋势,本文研究了基于SOPC技术的实时图像存储设计方案.使用ALTERA公司的Nios II软核处理器作为总控制器,采用CCD传感器加ADV7181B视频解码芯片进行实时图像数据采集,SDRAM用来存放实时图像数据与程序,VGA控制器控制实时图像显示.
关 键 词 :片上可编程系统,实时图像,视频解码,同步动态随机存储器
1引言
随着高速图像处理技术的应用领域不断扩大,对图像处理速度的要求也越来越高,当前基于软核处理器的图像处理系统成为研究的热点.微电子技术的迅猛发展为高速图像处理系统提供了硬件基础,其中内嵌软核处理器的现场可编程门阵列 (FPGA)满足了图像处理系统中对速度、集成度、可靠性的要求.FPGA的应用越来越广泛,大容量高速度的FPGA以及SOPC技术的出现,为图像采集和处理提供了一种新的解决方案,使用FPGA来构建基于片上可编程系统(SOPC)的图像处理系统,充分利用SOPC Builder中自带的各种IP核控制器,减少底层硬件的开发[1,2],已成为一种趋势.
2系统基本架构
图1为基于SOPC的实时图像处理系统的基本架构,视频解码芯片ADV7181B首先对CCD摄像头
所采集的信号进行A/D转换,转换为YUV空间格式数据,然后再将YUV空间转换到RGB空间,FPGA通过IC配置模块核对视频解码芯片ADV7181B进行参数配置, ADV7181B的时钟信号由一片27MHz的晶振提供,产生内部所需的27MHz的LLC(行锁定系统时钟)信号.通常使用二分频信号LLC2(13.5MHz)来同步整个图像采集系统,输出8位标准的ITU656 YUV4:2:2格式的数据,A/D转换后的数据通过SDRAM控制器存储到SDRAM中,VGA显示模块是用来将SDRAM中的视频数据通过VGA显示器实时显示出来.
3.视频解码芯片的I2C总线配置
为了控制总线上的设备,必须要遵守一个特定的协议(I2C总线协议).I2C总线为同步传输总线,总线信号完全与时钟同步.I2C总线上与数据传输有关的信号有起始信号S、终止信号P、应答信号以及位传输信号.首先,I2C总线控制器发起一个数据传输的起始条件是:SCLK信号保持高电平,而SDA信号由高电平变为低电平.这意味着一个地址或者数据流传输已经开始.设备都监视着SCLK和SDA信号并等待着起始条件及正确的地址.起始条件满足后,就会送出一个8位的设备地址,所有的设备开始相应起始条件并转换下一个8位寄存器地址(7位地址+1位读写位).在发送时由高位到低位依次传输.设备识别出传输地址后作出反应,在第九个时钟脉冲把数据线变为低电平,这被视为一个确认位.此时其他所有设备退出总线并使总线保持闲置状态,设备监视SCLK和SDA,等待起始条件并等待争取的传输地址的时刻即为闲置状态.接下来开始将8位数据写入或者读出寄存器,读写位决定了数据的传输方向.当时钟线SCLK为高电平,而数据线SDA由低电平变为高电平时,表示一次数据传输完成,停止I2C总线,等待下一次的传输开始.图2为I2C总线的数据传输时序图[4].
ADV7181B内部共有240个控制寄存器,可通过配置这些控制寄存器来设定和实现ADV7181B的各种功能.由于ADV7181B输出8位ITU656 YUV4:2:2格式的数字视频信号,在此要求下,只要对ADV7181B的40个寄存器的内容进行配置即可,这40个寄存器的地址和配置数据如表1所示.
配置数据存储在查找表LUT_DATA中,LUT-DATA为16位,包括了ADV7181B的寄存器地址和寄存器数据,配置时逐个写入寄存器的值,寄存器索引代码为LTU_INDEX.每个寄存器配置分三步,使用mSetup-ST来表示当前进行到哪一步.第一步准备数据,将8位从设备地址与存储在LTU_DATA中的寄存器地址合并为24位数据,并将mI2C_GO设置为1,启动I2C传输,第二步检测传输结束信号,如果检测到传输结束(此时mI2C_END等于1),但ACK信号不正常,重新发送数据,如果检测到传输结束且ACK信号正常,则进入第三步,将寄存器索引加1,准备下一次数据的传输.
在SOPC Builder自带的IP核库中并没有IC配置模块IP核,此模块是根据ADV7181B芯片的寄存器特点以及功能要求自行设计,并以IP核的形式通过Avalon总线链接到SOPC系统上.
4视频解码
CCD摄像头采集到的数据经过视频解码芯片进行A/D转换后,输出8位YUV 4:2:2格式视频数据流,然后经过视频解码模块将其转换为ITU656标准的视频数据流,这些信号包括8位的视频图像数据,行同步信号,场同步信号以及行参考信号.PAL制式下,每秒扫描25帧,每帧包含奇偶两场图像.每帧图像含有625行数据,其中有效图像数据576行,奇偶场各288行,23～311行是偶场视频数据,336～624行是奇场视频数据,每行图像数据包含720个像素,故标准的数字化PAL制式电视标准分辨率为720*576.在27MHz时钟频率下,意味着每秒27MB的数据速率:(13.5*8+6.75*8*2)Mbit/s等于27MB/s等于625*25*1728,即每行有1728字节的数据,其传输顺序为:CbYCrYCbYCrY等等,需要指出的是CbYCr指的是对同一个地址进行的亮度和色差采样,接下来的Y对应下一个亮度采样.
图3为ITU656标准的每行数据结构,每行数据包含水平控制信号和YCbCr视频数据信号.每行开始的288字节为行控制信号,开始的4字节为E信号(有效视频结束),紧接着是280个固定填充数据,最后是4字节的S (有效视频起始) 信号.S和E信号有3字节的前导:FF、FF、00,最后1字节XY表示该行位于整个数据帧的位置及如何判定S、E[5].由SDRAM的工作特性可知,只在每个时钟周期的上升沿读取视频解码芯片传过来的视频数据.当侦测到连续三个字节为FF0000时,可知S或E的到来,接着判断第四个字节的第四位,如果为0即表示有效数据的开始,此时启动行列计数器,开始对接下来的图像数据进行解码,然后根据每个8位数据自身的信息,得到Y、Cb和Cr分量的值.
5SDRAM存储器设计
因为实时图像处理系统要进行大批量的高速图像数据采集,对数据的速度要求比较高,而且数据量比较大,在此采用ICSI公司的数据宽度为8位、存储容量为32MB的 IS42S83200B SDRAM来存储数据,它与FPGA的连接关系如图4所示[1].
经过视频解码后输出8位的ITU656 YUV4:2:2格式的视频数据,由于SDRAM位宽同样为8位,因此可以将亮度信号Y和色差信号Cb与Cr分别单独存储到一个地址空间中,相当于一个采样周期产生一个SDRAM地址.另外,由于VGA的显示分辨率为640*480,则必须要提取出适合VGA的分辨率的图像.从PAL制式有效分辨率中提取出640*576有效分辨率图像数据存储到SDRAM地址空间中,然后从中读取480行送给VGA控制器即可.
5.1 SDRAM控制器的设计
SDRAM是同步动态随机存储器,同步是指与系统时钟同步,从而避免了不必要的等待周期,减少数据存储的延迟时间.动态是指为了提高存储容量,SDRAM芯片采用硅片电容存储信息,但是必须要不断地给电容充电才能保持数据信息不丢失.SDRAM的主要信号有控制信号(CS片选信号,CKE时钟使能信号,DQM输入输出使能信号,CAS、RAS、WE读写控制命令字),地址信号(BA0和BA1页地址选择信号,A0～A12地址信号,行列地址选择信号),数据信号(DQ0～DQ15双向数据).这些信号均为系统时钟同步输入、输出信号.上电后,SDRAM控制器必须对SDRAM进行初始化操作,然后SDRAM进入正常工作状态,等待控制器进一步的读写和刷新操作指令.SDRAM的所有的操作都是在指令的引导下进行的,基本命令如表2所示.
具有Avalon接口的SDRAM控制器IP核包含在SOPC Builder中,它为片外SDRAM提供一个Avalon从接口,可以比较方便的在FPGA中写作一个与SDRAM芯片连接的系统.SDRAM控制器IP核可以根据实际使用的SDRAM芯片进行相应的配置[3].
5.2隔行扫描转换为逐行扫描
由于PAL制电视信号是隔行扫描, 将一帧图像分为奇数场和偶数场分别扫描,数字化以后格式仍然不变,而VGA采用的是逐行扫描方式.因此,在将数据存储到SDRAM以前,还需要将奇数场和偶数场的数据再还原成一幅完整的图像,将隔行扫描变为逐行扫描.具体实现过程为:设计一个行计数器,在进行奇数场数据采集时,从0开始计数,每次加2,计数值依次为0,2,4,等,572,574,当进行偶数场数据采集时,从1开始计数,每次加2,计数值依次为1,3,5,等,573,575,该计数器实际上就相当于SDRAM地址发生器.当VGA控制器从SDRAM中读取数据时,只需按顺序读取地址读取出所需的480行即可,这样读取出来的数据就是一帧完整的适合VGA显示的图像.
6VGA显示
VGA控制器IP核集成在SOPC Builder中,可以根据系统具体情况进行写作.VGA控制器发出读有效信号到SDRAM中,SDRAM将视频数据传给MUX,通过转换模块将YUV4:2:2格式的视频数据流转换为YUV4:4:4格式的视频数据,使得每个像素都包含完整的亮度分量Y、色度分量Cb和Cr,然后将YUV4:4:4格式的视频数据通过YCbCr-RGB模块由 YUV空间转换到RGB空间,再将RGB空间数据传送给VGA控制器,VGA控制器同时产生VGA的行场同步信号VGA_HS和VGA_VS会同24位RGB数据一起传送到视频编码芯片VGA DAC7123中,最后通过显示器将图像实时显示出来[6].
7结束语
本文重点介绍了基于SOPC技术实时图像的数据存储.系统各模块主要使用了SOPC Builder自带的IP核进行写作,由于IP核具有非常灵活的可写作特性和可移植特性,使得工作重心转移到系统设计方面,而不再是各模块编写方面,改变了传统的设计思路.本系统的实现是基于DE2-70多媒体开发实验板,经过验证,该方案充分保证了各模块之间的协调性与并行性,较好的实现了实时图像数据处理所要求的实时性、高速性,另外也充分体现了SOPC系统的高集成度、低功耗以及灵活高效的特点.在本系统基础上,可以进一步展开模式识别、运动目标检测以及视频图像压缩等方面的研究.