一种改进的独立成分分析算法的计算机仿真研究

时间:2023-05-21 20:25:20 手机站 来源:网友投稿

摘要:该文对独立成分分析(ICA)这一当前新兴的数据处理与分析方法进行了分析研究。提出了一种改进的基于待抽取信号时间结构特性的盲抽取算法。并使用Matlab和Windows XP平台对这些算法进行了计算机仿真实验,得出了仿真实验的结果和一些应用建议。

关键词:独立成分分析;盲信号抽取;盲源分离;计算机软件技术

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2013)32-7304-03

独立成分分析方法[1]是一种新兴的数据处理与分析方法,目前已经成为信号处理领域的研究热点。其目的是从随机线性混合的观测信号中恢复出各源信号[2]。该方法的原理是以非高斯性质的源信号为研究对象,以信号之间彼此统计独立作为前提,对观测到的多路混合信号进行信源盲分离,以提取出隐含在混合信号中的若干独立源信号,即盲源分离问题[3]。由于这种方法具的分离性能很好,在语音信号、图像处理、远程通信、数据挖掘等方面有很重要的应用。经过各领域的学者们的持续努力,使得这一新兴方法能够得以迅速的发展[4]。

一些经典的独立成分分析算法如,1983年Herault和Jutten首先提出独立成分分析(ICA)这一概念。1985年Bar&Ness提出了Boostrap思想的迭代算法。虽然这些算法很多情况下不收敛,但他们的工作具有开创意义。1989年Giannakis et.al.以及Lacoume&Ruiz提出基于三阶统计量的算法。1989年Cardoso提出了基于三阶统计量代数性质的算法,该算法从算子角度解释混合矩阵与信号之间的关系。1991年Gaeta&Lacoume利用统计学方法给出模型参数的极大似然估计。1994年Comon首次将ICA应用于处理盲源分解的问题。1999年Hyvarinen首次将ICA应用于图像处理。2001年Hyvarinen的著作Independent Components Analysis问世,提出了被广泛认可的Fast_ICA算法。

盲源信号分离方法(ICA)在图像滤波、图像增强等二维数据的处理方面的应用也取得了一定的进展。Lee等用ICA混合模型来处理图像信号[5] [6][7],目的是从受到污染的图像中恢复图像本来面目,其过程中要消除各种影响因素,提高图像的恢复质量。解萍,王伟[8]提出了在图像处理中混合信号的维数可以小于分离独立成分维数的过饱和算法。

经典的ICA算法虽然解决了盲源分离的很多问题,不可否认的是,每一种算法都有其适应的范围,亦即存在一些不足之处。这些不足之处表现:一是经典ICA算法基本上采用“非正态性”做为独其立性判据;二是对非正态性度量的指标是峭度和熵,并且且指标估计时较多使用随机变量的高阶矩,高阶矩的使用使得算法对样本中的奇异值较敏感,从而导致算法不够稳健。因此,独立成分分析方法的算法还需要进一步的完善以更好的应用到实际中。为此学者们展开了广泛的研究,产生了如基于内积运算、蚁群算法、因子旋转、信息估计、小波变换等的研究提高了算法性能,拓宽了ICA 的使用范围[9]。

1 基本独立成分分析的原理及算法

1.1 定义

独立成分分析问题的提出起源于为解决盲源分离问题所进行的工作,在源信号与传输信道全部或部分未知的情况下,仅利用观测到的值来分离、提取源信号。

假设已观测得到一组随机变量的观测值([x1(t),x2(t),…,xn(t)]),其中[t]表示时间。假设这些观测值是一组独立成分([s1(t),s2(t),…,sn(t)])的线性组合。

[x1(t)x2(t)⋮xn(t)=a11a12…a1na21a22…a2n⋮⋮⋮⋮an1an2…ann×s1(t)s2(t)⋮sn(t)]

亦即:[X(t)=AS(t)]

[A]表示未知的混合矩阵。独立成分分析的目的是计算出分离矩阵[W],使随机变量:

[y1(t)y2(t)⋮yn(t)=w11w12…w1nw21w22…w2n⋮⋮⋮⋮wn1wn2…wnn×x1(t)x2(t)⋮xn(t)]

尽量相互独立。

亦即: [Y(t)=WX(t)]

在以上描述中假设:

1)各源信号[si(t)],[i=1,2,…,n]之间相互统计独立;

2)各个源信号是非高斯分布的;

3)独立成分的个数和观测值的个数相等。

4)分离得到的独立成分[yi(t)]其方差不确定,独立成分相互之间的顺序不确定。

Hyvarinen 指出ICA 问题中信号的非高斯性就是独立性[10]。

1.2算法

胡月[11]将FastICA算法步骤总结为以下8点:

1) 将[x]预处理,得到白化的[z]。

2) 设[p]是需要提取的独立成分的数目,令[i=1]。

3) 任意选择[ui]的初值[ui(0)],要求[ui(0)=1]。

4) 令[ui(k+1)=E{zf[uiT(k)z]}-E{f[uiT(k)z]}ui(k)]

5) 正交化处理:

[ui(k+1)-j=1i] [uj→ui(k+1)]

6) 归一化处理:

[ui(k+1)←ui(k+1)ui(k+1)2]

7) 如果结果[ui]不收敛,返回到步骤(4)。

8) 循环使[i]加1,如果[i≤p],那么回到步骤(3)。否则步骤完成。

所要指出的是:很多学者都提出的一些实现独立成分分析的算法,其中最常采用的是基于负熵的快速固定点算法,即FastICA算法[12]。这一算法是一种快速寻优迭代算法,采用批处理的方式,每一步迭代中都有大量数据进行计算。

2 ICA盲信号抽取算法的改进

2.1 概述

在上述的标准ICA方法中,我们假设源信号是互相独立的,它们的混合是瞬时且线性的,没有考虑当混合时产生的噪声。然而,很多实际应用并不满足这些前提条件,从而使得标准ICA方法的效果不理想。为解决这些问题,可以对ICA标准模型的修正、利用信号的一些统计特性来进行模型估计,从而产生新的模型和算法。

我们在此讨论如何利用源信号的先验结构信息抽取我们感兴趣的信号。盲抽取方法可以节省计算量,提高计算效率。我们知道,在许多实际应用中,对存在着的大量传感器信号只有一部分是我们感兴趣的。因此,发展一种可靠的、稳健的、有效的学习算法来抽取我们感兴趣的那一部分信号,正是我们所要研究的内容。而要确保信号的成功抽取或分离,一是要假设源信号具有独立性;二是要假设源信号具有足够的结构。

2.2 改进盲信号抽取算法

如果我们把所有的源信号都分离出来,会耗费很多的人力和物力,做很多无用功。我们可以把其它的不感兴趣的信号看做是干扰噪声,对目前存在的忙信号抽取算法加以改进,挖掘特定信号中所隐含的一些特性,从而提取出所需要的源信号,以达到该特定信号做为优先输出的目的。为此,可以将感兴趣信号的广义自相关性和信息的非高斯性相结合,生成一个基于两者的凸组合形式的目标函数,将这个目标函数最大化,就可以得到了一个梯度型的盲抽取算法,该算法的结果可以将我们需要的源信号做为第一个输出信号提取出来。理论分析以及计算机仿真研究证实了新算法的有效性。

2.2.1 目标函数的提出

设观测信号[x(t)=(x1(t),…xn(t))T]由下述矩阵方程给出:

[x(t)=As(t)]

其中:

[A]是[n×n]的混合矩阵,[s(t)=(s1(t),…,sn(t))T],是与时间相关的源信号向量,且[A]和s均是未知的。假定感兴趣的源信号为[si]具有广义自相关性,并可以用线性自回归模型表示:

[si(t)=bisi(t-τ)+δi(t)]

其中[τ]是指时间延迟的大小,[bi]是一个标量值系数,[δi(t)]是零均值、独立同分布的时间序列。由于仅抽取一个感兴趣的信号,因此设计如下单一处理单元:

[y(t)=wtx(t),y(t-τ)=wtx(t-τ),]

其中[y(t)]和[y(t-τ)]分别是[t]时刻和[t-τ]时刻所抽取的信号,[w=(w1,w2,…,wn)T]是权重向量。

因此,我们所要抽取的感兴趣信号的问题就可以就可以阐述为一个约束问题:感兴趣信号的广义自相关性与其信息非高斯性的凸组的最大化问题。

[maxψ(w,b)=λE{G(y(t)Gy(t-τ))}-(1-λ)E(G1y(t)-by(t-τ))]

其中[||w||=1],[y(t)=wTx(t)],[y(t-τ)=wTx(t-τ)]。

[x]是零均值观测信号被白化矩阵处理过的值;系数[λ](0-1之间)是一个标量参数,它的作用是调节感兴趣信号的广义自相关性和其信息非高斯性之间的平衡。函数[G]、[G1]是度量感兴趣信号自相关程度的可微函数。

因此,新提出的目标函数是通过一个凸组合的形式,结合了感兴趣信号的时间相关性以及所蕴含的非高斯性,挖掘出了待抽取信号的信息。

2.3 实验结果与分析

下面我们基于图像数据的抽取实验来证实改进算法的有效性。

我们在Matlab6.5[13]和WindowsXP平台上进行仿真实验。采用图两个(512×512)以及一个独立分布的高斯噪声图像作为源图像即测试图像,如图所示;随机产生混合矩阵及其初始的解向量,产生如图2的混合效果;图像数据分离算法采用我们改进了的上述算法,对混合后的图像进行分离。为了找到近似的最优时间延迟[τ],我们在这里计算了混合后的源图像的自相关系数

[ς(k)=E{xj(t)xj(t-k)}j=1,2,3],它是时间延迟[k]的函数。如图3所示。实验结果如下:

3 结论

以上通对图像数据的抽取实验分析,验证了改进的独立成分分析算法的有效性。通过实验可以看出算法的优点中为以下几点:1)算法简单,易于实现;2)通过和其它几种传统的独立成分分析算法相比较,它的信噪比明显高于其它算法的信噪比,优势比较明显;3)通过调整参数[λ],较好的平衡了感兴趣信号的广义自相关性和其信息非高斯性,使得新算法达到了较高的抽取精度,。本实验中,通过调整参数[λ=0.736],可以得到最优的目标函数值0.6688,能够较大限度的挖掘出数据中隐含的信息。

参考文献:

[1] 杨福生,洪波.独立分量分析的原理与应用[M]. 清华大学出版社,2006.

[2] 卜涛.独立成分分析基本原理与发展[J].通信技术,2012,07(45):116.

[3] Cruces_Alvarez S A,Cichocki A,Amari S.From blind signal extraction to blind instantaneous signal separation:criteria,algorithm,and sta-bility.IEEE Transactions on Neural Networks,2004,15(4):859-873.

[4] A Hyvarinen,Juha Karhunen,Erkki Oja.Indep-endent Component Analysis[M]A Wiley-Inter-science Publication. JOHN WILEY SONS,INC (2001).

[5] Lee T W,Girolami M,Sejnowski T J.Independent component analysis using an extended informax algorithm for mixed subgaussian and supergaussian sources.NeuralComputation,

1999,11(2):417-441.

[6] Lee T W,Girolami M,Bell A,Sejnowski T J.A unifying informatiom_theoretic framework for independent component analysis.Computers and Mathmatics with Applications,2000,31(11):1-21.

[7] Lee T W,Lewicki M S.Unsupervised Classification,Segmentation,de_noising of images using ICA mixture models.IEEE transactions on Imag Processing,2002:270-279.

[8] 解萍,王伟.独立成分分析的图像特征提取研究[J].赤峰学院学报,2012,28(04):16-18.

[9] 王科,舒勤.独立分量分析方法及其比较[J].通信技术,2009,42(09):22-25.

[10] HYVARINEN A, OJA E.Independent Component Analysis:Algorithms and Applications[J].Neur-al Networks,2000,13(4-5):411-430.

[11] 胡月.基于主成分分析和独立成分分析的人脸识别研究[D].吉林大学,2005.

[12] A.Hyvarinen.Fast and Robust Fixed-Point Alg-orithms for Independent ComponentAnalysis[J].IEEE Transactions on Neural Networks,1999,10(3):626-634.

[13] 程小红.基于MATLAB图像简单处理应用[J].电脑知识与技术,2013,9(15):3610-1613.

推荐访问:算法 成分 改进 独立 分析

版权声明 :以上文章中选用的图片文字均来源于网络或用户投稿 ,如果有侵权请立即联系我们 , 我们立即删除 。