128 2010,46(3) Computer En neering and Applications计算机工程与应用 种迭代加权 1范数的信号优化恢复方法 杨 扬,刘 哲,吕方园 YANG Yang,LIU Zhe,LV Fang-yuan 西北工业大学理学院,西安710129 School of Science,Northwestern Polytechnical University,Xi’an 710129,China E—mail:yangyang19860610@163.com YANG Yang,LIU Zhe,LV Fang—yuan.Signal recovery based on iterafive weighted fl norm.Computer Engineering and Applications。2010.46(3):128—130. Abstract:Rapid recovery of sparse signals is an important issue in compressed sensing.This paper discusses the parameter se—- lection of the signal recovery algorithm via the iterative weighted ll nolTn.A regularization strategy is introduced for the iterative weighted ll noFnl to improve the stability of the recovery algorithm.Several numerical experiments are carried out to evaluate the improvement of the proposed algorithm.Numerical result shows that the proposed algorithm can obviously improve the accuracy and stability of sparse signal recovery. Key words:compressed sensing;sparse signal;parameter regularization strategy;signal recovery 摘要:稀疏信号的快速优化恢复是压缩感知理论(Compressed Sensing,cs)z ̄热点。讨论了参数选取对迭代加权Z 范数优化 算法恢复效果的影响,并将参数规则化过程引入到算法中,提出了带有参数规则化过程的迭代加权z 范数优化算法。最后通过数 值实验,表明改进的算法较大程度地提升了对稀疏信号的恢复能力。 关键词:压缩感知;稀疏信号;参数规则化;信号恢复 DOI:10.3778/j.issn.1002—8331.2010.03.038 文章编号:1002—8331(2010)03—0128—03 文献标识码:A 中图分类号:TP391 1引言 近两年提出了一种可以同时实现采样和压缩的新型信号 处理理沦——压缩感知(Compressed Sensing) ̄1-2],简称cs理 论,其核心思想是:稀疏或者可压缩信号可以利用少量的线性 问题的求解数值计算极不稳定,而且是一个NP难问题[81。然 而,Chen,Donoho和Saunders E 指出,在满足变换矩阵与观测矩 阵不相关的前提下,求解一个更加简单的l。范数优化问题会产 生同等的解,这就使得问题转化为一个可以方便求解的线性规 划问题。 观测通过求解范数优化问题以高概率得到恢复。cs理论表明 准确恢复稀疏信号所需要的采样数量可以远远低于奈奎斯特 采样定律的,这在信号处理领域具有划时代的意义。虽然 cs理论在天文、地质、计算机、遥感、雷达、通信、医疗成像等重 主要讨论参数选取对信号恢复效果的影响,引入了参数规 则化过程,并进行对比实验,实验结果表明,改进的算法较大程 度地提升了对稀疏信号的恢复能力。 要领域的应用研究还处在起步阶段,但已取得了一些不俗的成 果【 。 2信号优化恢复 设离散时间信号 R , 是一个MxN的观测矩阵,并且 <<Ⅳ,观测值J,: 是—个 维向量。显然,如果利用观测值 在cs理论中,由于观测值的个数远远小于信号的长度, 因此必须面临求解欠定方程组的问题。初看,求解欠定方程组 是无望的,然而文献【2】和[7】指出:如果信号在某组基下具有稀 Y恢复原信号 ,将会面临求解欠定方程组的问题。众所周知, 疏表示,上述问题便可以得到解决。此外,观测矩阵具有有限等 距特性(Restircted Isometry Property,RIP)也为从少量观测值 中精确恢复原信号提供了理论保证[81。 从数学意义上讲,基于cs理论的信号恢复问题就是寻找 欠定方程组的最简单解(即如范数最小的解)的问题,但是这类 这样的方程组有无穷多的解,因此在不附加其他条件的前提下 很难准确恢复原信号。 但是,如果信号 是稀疏的,并且观测矩阵 满足RIP条 件,那么,原信号 就可以通过求解如下的组合优化问题得到 恢复: 基金项日:国家自然科学基金(the National Natural Science Foundation of China under Grant No.60776795);国家教育部新世纪人才支持计 ̄lj(the New Century Excellent Talent Foundation from MOE of China);西北工业大学科技创新基金(the Science and Technology Innovation Foundation of Northwestern Polytechnical University)。 作者简介:杨扬(1986一),男,硕士研究生,主要研究方向:信号处理、计算机图形学;刘哲(1970一),女,博士,教授,硕士生导师,主要研究方向:图像 处理、信息融合与计算智能等;吕方园(1985一),女,硕士研究生,主要研究方向:图像处理、计算机图形学。 收稿日期:2009—09—17 修回日期:2009—11—27 杨 扬,刘 哲,吕方园:一种迭代加权l 范数的信号优化恢复方法 2010,46(3)t29 证∞ (i)的存在性。 其中ll·l10表示向量中非零元素的个数,也称为1。范数。式(1) 可以看出,这种固定s的算法具有较大的局限性,因此提 直观地表达了信号恢复的数学意义,然而,它的求解不仅数值 出了一种自适应选择s的方法㈣(以下简记为自适应 法),即 计算极不稳定,而且是NP一难的,属于非凸优化问题,很难利用 在每一步迭代完成后,增加自适应确定s的步骤:将( )按照 现有的优化方法有效求解。 降序进行重新排列,得到向量( ),令e=max{Ix ,orJ,其中 chen,Donoho和Saunders{91指出,在满足变换矩阵与观测 io=M/[41og(N/M)1,ro是—个初始时自主设置的较小常数。 矩阵不相关的前提下,用一个更加简单的l。范数代替式(1)中 但是,自适应 法在选取比较值or时仍然具有较大的主 的fn范数会产生同等的解,即: 观性。为此,弓I入参数规则化过程,提出了带有参数规则化过程 arin I 1l s.t.Ox=y (2) 的IR一1 算法(简记为s—IR—z 算法,其中 为参数),实验证明 这样的改变将一个难以解决的非凸优化问题转化成了一 这样的改进大大减少了准确恢复原信号所需要的观测数量。 s—IR—f1算法具体的实现过程如下: 个凸优化问题,使问题的性质发生了改变,于是可以方便地简 步骤1设定初值。设定校正参数s,参数控制阈值C,迭代 化为线性规划,典型的实现算法有基追踪[91(Basis Pursuit)、内 控制阈值。以及迭代初值; 点法和梯度投影法等。 步骤2优化求解。求解式(3)的迭代加权z。范数优化问 近年来,l 范数优化应用十分广泛,一些学者称其为“现代 的最小二乘法”。但是,这同时也引出了一个研究的热点,就是 题,当相邻两次迭代结果之差的2一范数小于、/s 时终止迭 期望进一步提升基于1 范数优化算法的性能,或者说对现有z 代,记录迭代结果为 ( =1,2,…); 范数优化算法进一步改进,以期通过更少的观测而达到更加优 步骤3参数规则化。减小参数s,若s≥C,则更新权系数 越的恢复效果。正是基于此目的,提出了新的参数选取方法,即 计算式(4),并将迭代结果瓤作为第k+1次的迭代初值继续进 对参数进行规则化处理,这一改进大大提高了算法的性能。 行步骤2的迭代计算;否则,若e<C,终止整个计算过程,式(2) 的最优解即为此时步骤2中所得的迭代结果。 3£一规则化的迭代加权Z 范数优化算法(s_IR 算 下面将通过数值实验表明:对算法的改进不仅有效地克服 法) 了固定 法的局限性和自适应s法的主观性,而且大大减少了 在 范数优化问题中,大系数对算法的恢复效果影响较 准确恢复原信号所需要的观测数量,较大程度地提高了算法恢 大。因此,为了平衡所有系数对最优解的影响,采用迭代加权l。 复稀疏信号的能力。 范数优化算法㈣(简记为IR—z。算法),用加权z 范数代替式(2) 中的z,范数,即: 4数值实验 下面将通过一系列数值实验给出上述三种不同的参数选 min to(i)Ix(i)l s.t. (3) 取方法对稀疏信号的恢复结果。 其中权系数依据前一步的迭代结果计算出来, (i)=Ix ( ) 第一个实验的目的是比较固定s法、自适应 法和 —IR— 因此,式(3)的目标函数是对原来目标的一阶近似。通过这样的 l 三种算法恢复稀疏信号的能力。选择一个长度为256,稀疏度 加权,可以平衡各个系数对最优解的影响,因此将会获得更加 为16的高斯随机稀疏信号X0;观测矩阵 是一个60 ̄256的 近似原信号的恢复信号。 同分布高斯随机矩阵;观测向量yo=CI ̄x。。为了更加表明算 然而,如果在某一步迭代后X ( )=0,下一步迭代的权系数 法的优越性,在固定 法中选取较优参数值s=l0 ;在自适应 (i)就会变得没有意义。对于上述问题,通常是在权系数计 法中,设置较优比较参数Or=10 。图1给出了三种算法恢复稀 算式中添加一个较小的校正参数 ,即: 疏信号的实验结果。 从图1可以看出,固定s法和自适应s法两种算法的恢 丽 (4) 复效果较差,恢复信号与原信号偏差较大,其最大偏差分别为 由于校正参数的变化直接影响着权系数的大小,因此对它 l1.Tflm 。l I=1.864 8和 X 2- 。ll =1.864 9(其中 和互:分别表 的处理是否得当将直接影响算法恢复效果的好坏。 示前述两种算法恢复所得信号),相对误差分别为0.805 4和 对于式(4)中的校正参数 ,一种很自然的处理方法就是 0.824 6;然而,提出的g—IR—l 算法在几乎所有非零点上的恢复 设置 为某一固定的较小正常数(以下简记为固定 法),以保 值都是近似准确的,同时在零点匕仅有微小偏差,其最大偏差仅为 r丽 __ , 宴 堕! !!!竺鲨 1 0 0 50 l00 15O 2【x】 250 50 100 150 200 250 300 0 50 100 150 200 250 300 图1 三种算法恢复效果图 130 2010,46(3) Computer Engineering and Applications计算机工程与应用 lI互一训 .81 ̄104,相对误差也仅为1.76x10 ̄。因此,提出算法 是相对较优的。 碍鞋罨镬 程,提出了s—IR—z 算法,并通过实验证明该算法对稀疏信号具 有较优的恢复效果。但是,在实验过程中作者发现该算法具有 不稳定性这一弱点,值得进行进一步的研究和改进。 第二个实验的目的是给出三种算法的成功恢复原信号的 概率随观测数量的变化情况。信号源仍然选为 观测数量依 次为M=40,48,…,96,对每一种算法和每一个观测值 ,重复 进行次实验,计算其成功恢复原信号的概率(这里当恢复信号互 满足ll互 。lI。《lO一。时,视为恢复成功),三种算法中的参数设 置同实验1。实验结果如图2所示。 参考文献: [1】Cand ̄s E.Compressive sampling[C]//International Congress of Math— ematics.Madrid,Spain,2006,3:1433—1452. [2]Donoho D.Compressed sensing[J].IEEE Trans on Information Theo— ry,2006,52(4):1289—1306. 【3]Takhar D,Laska J,Wakin M,et a1.A new compressive imaging camera architecture using optical——domain compression[C]//Proceed—— ings of the International Society for Optical Engineering(SPIE). Bellinghaln WA:International Society for Optical Engineering2006,6065. [4】Lustig M,Donoho D L,Pauly J M.Rapid MR imaging with com— pressed sensing and randomly under—sampled 3DFT trajectories[C]// Proceedings of the 14th Annual Meeting of ISMRM,Seattle,WA, 20o6. 35 40 50 60 7O 80 90 100 观测数量 [5 Pot5]ter L C,Schniter P,Ziniel J.Sparse reconstruction for RADAR[Cy/ SPIE Algorithms for Synthetic Aperture Radar Imagery XV,2008图2三种算法恢复成功概率图 [6]Bajwa W U,Sayeed A,Nowak R.Compressed sensing of wireless channels in time,frequency,and space[C]//Asilomar Conf on Signals, Systems,and Computem,Pacific Grove,California,October 2008. 由图2容易看出,提出的 —IR—fl算法可以明显减少准确 恢复原稀疏信号所需要的观测数量。在相同数量的观测下,该 算法具有最高的恢复成功概率,同样在相同恢复成功概率的要 求下,算法所需的观测数量也是最少的。因此,该算法是较优的。 在算法中引入参数规则化过程,提出了一种带有参数规则 化过程的s—IR—fl算法,较大程度地提升了算法恢复稀疏信号 的能力,是一种有效的改进措施。 『7 Cand ̄s7] E,Tao T.Near optimal sinalg recovery from random pmjec— tions:universal encoding strategies[J].IEEE Trans Inf Theory,2006, 52:5406-5425. 【8]Baraniuk R.A lecture on compressive sensing[ ̄.IEEE Sinalg Pro— cessing Magazine,2007-07. 【9】Chen S,Donoho D,Sannders M.Atomic decomposition by basis pu suit[J].SIAM J Sci Comput,1998,20(1):33—61. 【10]Cand ̄s E J,Wakin M B,Boyd S P.Enhancing sparsity by reweighted Z1 minimization[J].Joural of Fourier Analysis and Ap— plications,2008,14(5-6). 5总结和展望 f1范数优化理论和快速算法的研究一直以来都是一个相 当活跃的课题。综合迭代加权z 范数优化算法和参数规则化过 (上接121页) [5】Johnson S J,Weller S R.Practical interleaves for systematic re— peat—accumulate c0des[C】,,Vehicular Technology Conference,VTC 2006一spring,IEEE 63rd,2006:1358—1362. 2o07(7). [10]胡琳,姚庆栋,刘云海.传感器网络中的分布式信息编码fJ1.信息与 控制,2006,35(2). [11]Eckford A,Chu J,Adve R s.A practical scheme for relaying in sensor networks[C]//2006 Conference on Information Sciences and Systems(CISS 2006).March 2006. [6]Liveris A D,Xiong Zixiang,Georghiades C N.Compression of binary sources with side ifornmation at the decoder using LDPC codes[J]. IEEE Communications Letters,2002,6(10). [12]Divsalar D,Jin H,McEliece R.Coding theorems for Turbo—like [7】张鸿玉,辛刚,张水莲.AWGN信道下RA码译码算法研究fJ].现代 电子技术,2004(17). codes[C]//Proceedings of the 1998 Allerton Conference,1998:201— 2lO. f8高宏峰,81许宗泽.RA码译码简化算法的研究叨.I ̄tltl大学学报:工程 科学版,2004(4). [13】Liveris A,Xiong Z,Georghiade C.Desin of slgepian—w01f codes by channel code partitioning[C]//Proceedings of the Data Compression Conference.IEEE,2004. [9]朱南,史治平,周亮.一种改进ARA码的设计及优化[J】.通信技术, (上接127页) 计算机应用,2005,25(9). f41陈桂林,王永成,韩客松,等.一种改进的快速分词算法lJ1.计算机研 究与发展,2000,37(4):418-424. f51熊回香,夏立新.基于词索引的中文全文检索关键技术及其发展方 向[J].中国图书馆学报,2007(4):45—49. 【6】荣陆,王建会,陈晓云.使用最大熵模型进行中文文本分类[J].计算 机研究与发展,2005,42(1):94—101. 参考文献: [1】文庭孝.汉语自动分词研究进展[J1.图书情报,2005(5):54—62. [2翟伟斌,周振柳.2】汉语分词词典设计[J】.计算机工程与应用,2007,43 (1):1—2. [3】曾华琳,李堂秋,史晓东.一种基于提取上下文信息的分词算法Ⅲ.