基于并行压缩感知的物联网海量数据处理
2022-04-28
来源:汇智旅游网
第29卷第10期 计算机应用与软件 Vo1.29 No.10 2012年10月 Computer Applications and Software Oct.2012 基于并行压缩感知的物联网海量数据处理 张永平 张功萱 朱昭萌 张巍 郭 箭 (南京理工大学计算机科学与技术学院江苏南京210094) 摘要 在大规模和超大规模物联网中往往需要采集和处理海量的数据,这对智能感知系统的寿命及物联网的性能将产生很大 影响。提出利用压缩感知采样方法减少物联网中的采集数据,压缩感知是一种能够实现采样和数据压缩同时进行的新型数据采样 方法,它通过降低采样率减少采集的数据量。压缩感知算法的计算复杂度较高、自适应性较差,因此提出并实现压缩感知算法的并 行处理以提高算法执行速度并尝试引入冗余字典改善算法的灵活性。实验证明并行处理可以显著提高算法的执行速度、增强数据 处理的实时性。最后,讨论了引入压缩感知理论后可能的物联网结构变化和未来的工作。. 关键词 物联网 海量 数据处理 信号重构 并行处理 结构 中图分类号TP39 文献标识码A DOI:10.3969/j.issn.1000—386x.2012.10.016 MASS DATA PRoCESSING IN INTERNET oF THINGS BASED oN PARALLEL CoMPRESSED SENSING Zhang Yongping Zhang Gongxuan Zhu Zhaomeng Zhang Wei Guo Jian (School of Computer Science and Technology,Nanifng University of Science and Technology,Nanjing 210094,Jiangsu,China) Abstract Mass data are usually collected and processed in large and ultra large—scale Internet of Things,and this will greatly affect the life of IntelliSense equipment and the performance of Internet of Things.In this paper,we propose to reduce the collected data from Internet of Things by using compressed sensing sampling method.Compressed sensing is a new sampling method that the data sampling and compress— ing can be done simultaneously.Compressed sensing can signiifcantly reduce the collected data size by lowering the sampling rates of sensors, but it is non—adaptive and its algorithm has high computational complexity as wel1.We put forward and achieved the parallel processing of compressed sensing algorithm for improving algorithm’S execution speed,and tried to introduce redundant dictionary to increase the flexibility of the algorithm.Experiments prove that parallel processing can signiifcantly improve the execution speed of the compressed sensing algo— rithm,enhance the real—time property of data processing.In end of the paper,we discussed the changes in the structure of the Interuet of Things when compressed sensing is introduced and our next work. Keywords Internet of Things Mass Data processing Signal reconstruction Parallel processing Structure sampling)是由Donoho 和Cand ̄s 提出的一种可以同时实现 0 引 言 数据采集和压缩的采样方法,它可以用较少的数据量表示“物 体”的信息,从而减少采集的数据量。在物联网中引入压缩感 物联网IoT(Internet of Things)是当前最热门的科技词汇之 知,可以显著提高物联网性能。 一,自诞生以来就引起了广泛关注,被认为是继计算机、互联网、 移动通信网络之后又一次信息产业浪潮。目前,物联网已经成 1物联网和压缩感知 为国家战略性新兴产业,如美国提出了“智慧地球”的概念;欧 盟委员会提出了《欧盟物联网行动计划》;日本提出了“智慧泛 1.1物联网 在”的构想;中国于2009年提出了“感知中国”的战略思想 。 2005年,国际电信联盟在《The Internet of Things)) 的报告 2011年11月28日,中国工业与信息化产业部发布了《物联网 中指出:物联网是“任何时间、任何地点连接任何物体的网络”。 “十二五”发展规划》,这标志着物联网已经成为中国战略性新 兴产业的重要组成部分,越来越多的企业、学校、科研单位和专 收稿日期:2012—08—07。2012中国计算机大会论文。国家自然科学基 家学者加入到物联网的研究中来。 金项目(61170035);江苏973计划项目(BK2011022);南京理工大学重点基金 简单地说,物联网就是物物相连的网络,它依靠智能感知系 项目(2011YBXM18)。张永平,博士生,CCF会员(E200019000G),主研领域: 统获取接入网络中的“物体”信息,从而物联网中时刻都需要采 b服务,物联网,压缩感知等。张功萱,教授。朱昭萌,博士生。张巍,副教 集大量的数据。压缩感知CS(Compressed sensing or compressive 授。郭箭,博士生。 第10期 张永平等:基于并行压缩感知的物联网海量数据处理 59 物联网通常由如图1所示的3层组成 :(1)感知层,依靠 高,尤其是重构算法。如采用压缩感知方法中的BP算法 对 长度为8192的信号重构、采用小坡字典进行分解,等价于求解 一RFID 采集器、传感器等设备获取“物体”的信息。(2)传输 层,主要由各种传输网络组成,负责传输感知层获取的信息或数 据。(3)应用层,主要包括PC机、移动电话、监视器等控制终 个长度为8192 X 212992的线性规划问题。(2)压缩感知方 法中采用标准正交基作为稀疏变换基,而标准正交基不具备适 端,这些控制终端可以实现人们各种各样的应用和需求。 应用 工业生产监测 智能家居 交通监控 层 矿井安全监控 环境检测 传输 Internet Idr信息中心 私有网络 , 移动网络 loT管理中心 感知 维码阅读器 传感器 智能终端 层 RFID传感器 接入 路 图1 物联l硼的层次结构 物联网的应用非常广泛,如环境监测、矿井安全、森林火灾 监测、交通监控、运输监控、智能家居等。大规模和超大规模物 联网是由大量智能感知系统把数以亿计的“物体”连接而成的 动态网络,这些“物体”信息的采集和交互将产生巨大的数据 量。例如:在一个由物联网支持的大型物流系统中,如果要跟踪 1000万件包裹或商品的位置和状态等信息,则每天产生的数据 量可达10GB,1年的数据量为3.65TB;而一个大型的智能交通 或生态监测等实时监控系统,则每天需要处理的数据量可达TB 以上,每年产生的数据将达到PB量级。来自数量庞大的智能 感知系统的海量物联网信息源源不断,需要研究边采样、边压 缩、边处理的新型数据采集方法。压缩感知方法是一种边采样、 边压缩的新型采样方法,在物联网数据处理中引入压缩感知方 法可以显著减少采集的数据量。 1.2压缩感知 压缩感知是一种不同于Nyquist采样原理的新型采样方法, 它能够在采样的同时实现数据压缩,即它可以以较低的速率采 样,直接获取压缩后的数据,从而减少了采集的数据量;然后在 有需要时利用优化算法重构原始信息 J。压缩感知理论的操 作过程可以如图2所示。 嚣 外一 图2压缩感知的理论框架 压缩感知理论认为,只要信号是可压缩的或在某个稀疏变 换基上是稀疏,就可以以较少的信息表示信号,然后通过求解优 化问题重构信号 。首先假设原始信号 :N×l在稀疏变换基 :N×N上的表示为X=姻,其中转换系数@是稀疏的 J。 接着设计一个与 不相关的观测矩阵 :M×N(M<<N),对 信号观测得压缩后的数据Y= @= X,其中数据的压缩 比为Ⅳ:M。Donoho,Chen和Saunders等研究指出:在有限等距 性质RIP(Restricted Isometry Property) 的前提下,我们可以通 过求解如下l一范数优化问题重构信号: min l 】ll, s.t. D= =Y (1) 这里,有限等距性质的等价条件是 与 互不相关,这一点在 观测矩阵的设计时已经得到了保证。 2并行压缩感知 压缩感知算法的引入可以显著降低网络中的数据量,但压 缩感知的缺点也很明显。(1)压缩感知算法的计算复杂度很 应性,不能根据采样信号的不同而进行适应性的改变。这些都 是压缩感知方法的应用中需要改进的,目前有很多研究着眼于 此,但大部分都集中于对重构优化算法的改进,而我们提出并实 现的并行化对压缩感知算法性能的提升也非常明显,本节将介 绍压缩感知方法的并行处理。 2.1并行压缩感知架构 在物联网海量数据处理中引入压缩感知方法会带来较高的 计算复杂度,但压缩感知方法涉及大量矩阵运算,如信号稀疏表 示、数据观测和信号重构等,这使得并行处理可以显著提高算法 执行速度。对于压缩感知稀疏变换基的非适应性问题,采用具 有变换基选择能力的冗余字典是一个很好的选择。我们提出并 实现的并行压缩感知算法可以如图3所示。 图3并行压缩感知 与最初的压缩感知方法相比,我们的并行压缩感知算法增 加了冗余字典的构造和稀疏变换基的选择,对计算复杂度较高 的信号重构部分实现了并行处理。本节接下来将对图3所示的 并行压缩感知方法详细介绍。 2.2并行压缩感知及其实现 并行处理 是一种多种指令可以同时执行的计算模式,它 可以同时利用多种计算资源来解决待求解的问题。并行处理的 前提是一个大型的求解问题可以分解为多个小部分进行解决, 各部分可以并发执行而不会相互影响。并行处理的主要形式是 多核处理,一般的多核并行计算编程有CPU多核程序设计和 GPU多核程序设计 两种,而CPU和GPU混合多核并行处理 已经出现并引起了大家的关注。 并行压缩感知算法中也同样涉及大量的矩阵运算,如冗余 字典的构造和选择、信号的观测、优化重构等,这些是提高并行 算法性能的基础;在压缩感知算法中,优化重构是计算耗费最大 的部分,其高计算复杂度与很多物联网对数据处理的实时性要 求(尤其是用于监控的物联网)相矛盾,这使压缩感知算法的并 行处理成为必要需求。目前我们已经对一些压缩感知算法实现 了CPU多核并行化处理,图4和图5所示的是对图像进行重构 时并行和非并行处理所耗费的计算时间的比较。 图4所示是利用OMP重构算法 处理256×256的图像 数据时并行和非并行执行时间的比较。从图中的对比可以看 出,信号重构算法的双核并发执行时可以比单核执行节省40% 左右的程序运行时间,而采用四核运行时可以节省60%一70% 的执行时间。图5所示是不同大小的数据(这里是不同分辨率 的图像)重构时并行和非并行执行时间的比较。从图中可知, 在处理的数据很小时,并行化所带来的性能提升相当有限,甚至 使执行时间加长,如处理64×64的图像,并行和非并行的执行 计算机应用与软件 时间分别是0.14s和0.17s;随着数据的增大,并行化对性能提 升越来越明显,当数据长度达到256 X 256时,提升效果已达 60%一70%。 重构时闰的单核和多核执行比较 2012丘 2.4信号的观测与重构 根据压缩感知理论, 和 必须是不相关。随机矩阵¨ ] 与大多数固定正交基矩阵不相关,可以用来作为观测矩阵。在 我们的实验中也采用随机高斯矩阵作为观测矩阵,因为随机矩 阵比较简单和易构造。 压缩感知重构算法根据它们的特点可以分为贪婪、凸松弛 和组合三类算法。我们研究了凸松弛类中BP算法和贪婪类中 OMP算法(如图4和图5所示)的并行化,但我们认为更适合并 行化的应该是组合算法。接下来我们将组合算法并行化的研 究,我们希望能找到更合适并行处理的压缩算法。 3改进的物联网结构 3.1不同的智能感知设备 在物联网中,智能感知系统的主要作用就是获取物联网中 “物体”的信息和数据采集。在实际应用中,由于压缩感知理论 图4 OMP算法单核和多核执行时间比较 不同大小信号单核和多核执行的重构时间比较 提出的时间不长,支持压缩感知理论的数据采集设备比较有限, 大量不支持压缩感知的智能感知设备存在于物联网中,如何实 现这些设备对压缩感知的支持是一个急需解决的问题,对此我 们有如下想法: (1)对支持压缩感知的智能感知系统 可以根据感知系统应用环境分为不同的种类,并设置简单、 独特的冗余字典或直接设置固定变换基;智能感知系统可以从 简单冗余字典中选择变换基去处理原始信号,然后把获取的压 缩数据发送到数据处理服务器;数据处理服务器支持各种类型 的冗余字典并具有并行处理能力,可以快速重构信号并为户提 供服务。这样把高计算复杂度的重构算法放到计算能力较强数 据处理服务器,减轻了感知系统的计算量;同时支持压缩感知的 感知系统又减轻了物联网中传输的数据量。 (2)对于不支持压缩感知的智能感知系统 图5不同大小的数据单核和多核执行时间比较 在靠近数据采集端设立专门的数据处理机,其功能是处理 通过以上分析可得,压缩感知算法的并行处理可以显著降 不支持压缩感知的智能感知系统采集的数据。智能感知系统把 低算法运行时间、提高数据处理的实时性,但当处理的数据量很 采集数据发送到最近的数据处理机,数据处理机从冗余字典中 小时采用并行化处理得不偿失,这是因为并行化的实现也要耗 选择合适的变换基处理数据;然后这些压缩数据通过无线或有 费一定的计算和存储资源。在前面的实验中,没有进行任何优 线网络传输到计算能力较强的数据处理服务器,服务器可以快 化工作,并行算法的执行时间还有进一步降低空间。 重构信号并为用户提供服务。这样也可以减少物联网中的数据 2.3冗余字典 量,而智能感知系统也无需远距离传送数据。 信号表示越稀疏压缩感知的性能越高,如何找到合适的变 3.2物联网结构的变化和运行实例 换基,是压缩感知的关键。压缩感知最初假设变换基为不具有 图6所示正是体现我们上述思想的简单物联网结构图。a 适应性的标准正交基,文献[16]把变换基扩展到正交基字典仍 所示的物联网中传感器都支持压缩感知,采集的数据量较少,可 不能解决问题。以冗余字典。¨ 作为变换基是一种新的信号表 以直接发送至数据处理服务器;在数据处理端可以设置一个或 示理论。冗余字典采用超完备的冗余函数系统代替传统的正交 多个服务器,负责数据处理并为用户提供服务;根据应用的实 基函数,从而为信号的稀疏扩展提供了极大的灵活性。冗余字 际,也可以设置高性能计算机专门负责压缩感知的计算,提高物 典的构造有两种方式:一是通过选取特定函数的来构造冗余字 联网的实时性。b所示的物联网中传感器一部分支持压缩感知 典,可以一次构造多次使用但不能保证变换是最优的;一是根据 而另一部分不支持,支持压缩感知的传感器采取与a相同的处 样本来设计字典,能够保证变换是最稀疏的但适应范围较窄。 理方法,而不支持压缩感知的传感器,通过数据处理机对数据压 在我们的并行算法架构中选择特定的冗余字典作为变换 缩后再传输到服务器。c表示物联网中的传感器都不支持压缩 基,这样做的主要目的是因为字典的设计需要花费较多的运算, 感知,可以通过物联网中设置的一个或多个数据处理机压缩数 而物联网中智能感知终端的计算能力有限。使用特定函数来构 据后再进行数据传输。不同物联网对数据处理的要求也不相 造冗余字典,可以根据计算结果、结合智能感知终端面对的信号 同,d所示的是对实时陛有较高要求的情况,在数据处理中心设 类型,在智能感知终端中设定合适的、已经计算好的稀疏变换 置了多台数据处理设备,这些设备可以构成分布式或云计算系 基,这样可以减轻智能感知终端的计算量。 统,以获取更好的计算能力。 第10期 张永平等:基于并行压缩感知的物联网海量数据处理 61 以图6(b)所示的结构为例,监控系统1和监控系统3都不 支持压缩感知方法,而监控系统2和监控系统4中支持压缩感 4结语 知方法并且它们可以选择不同变换基,监控中心的服务器和高 性能计算机可以支持所有的冗余字典或变换基并且具有较强的 计算能力。当监控系统1和监控系统3采集数据时得到原始信 息,这些信息被送到数据处理机利用压缩感知方法进行压缩获 得压缩后的数据,然后这些数量较少的数据通过网络传输至数 据处理中心存储或重构,重构时可以采用并行处理的方式增强 实时性。当监控系统2和监控系统4采集到数据时,直接得到 的是压缩后的少量数据,这些数据可以直接传输到数据处理中 心而不用在经过数据处理机进行处理。 图6物联网结构的变化 本文提出了使用压缩感知理论处理物联网海量数据,并对 压缩感知算法实现了并行化处理,这提高了算法的执行速度、增 强了数据处理的实时性。GPU-CUDA是另外一种并行编程形 式,我们已经拥有两台GPU设备(型号),接下来我们将尝试实 现压缩感知算法的GPU多核执行。此外,由16台服务器的云 计算实验平台也即将搭建完成,在云计算平台实现压缩感知算 法,也是我们计划中的研究任务。其后,我们会对压缩感知算法 的CPU多核实现、GPU多核实现和云计算平台实现进行比较, 以获得最佳的性价比,从而促进商业实现。 参考文献 [1]王志良,石志国.物联网工程导论[M].西安电子科技大学出版 社,2011. [2]Donoho D L.Compressed sensing[J].Transactions Oil Information Theory,2006,52(4):1289—1306. [3]Cand&E J.Compressive sampling[C]//Congress of Mathematicians, Madrid,Spain.2006,3:1433~1452. [4]The internet of things[R].ITU Intemet Reports,2005. [5]“u Pu,Li Chao.Composition principle of internet of things architec- ture[J].Information Technology,2011,1—2:9—12. [6]Jules A.RFID security and privacy:a research survey[J].Selected Areas in Communications,2006,24(2):381—394. [7]Baraniuk R G.Compressive sensing[J].Signal Processing,2007,24 (4):118—120,124. [8]Cand ̄s E J,Wakin M B.An introduction to compressive sampling [J].Signal Processing,2008,25(2):21—30. [9]Elad Michae1.Sparse and redundant representations:From theory to applications in signal and image processing[M].UK:Springer Pub— lishers,2010. [10]Chen S S,Donoho D L,Saunders M A.Atomic decomposition by ba— sis pursuit[J].SIAM Review,2011,43(1):129—159. [1 1]Cand ̄s E J,Romberg J,Tao T.Robust uncertainty principles:Exact signal reconstruction from highly incomplete frequency information[J]. Transactions on Information Theory,2006,52(2):489—509. [12]石光明,刘丹华,高大化,等.压缩感知理论及其研究进展[J].电 子学报,2009,37(5):1070—1081. [13]Pacheco P.An introduction to parallel progrmaming[M].USA,Mor- gan Kaufmann Publishers,2011. [14]Sanders J,Kandrot E.CUDA by example:An introduction to general— purpose GPU programming[M].USA,Addison—Wesley Publishers, 2010. [1 5]Tropp J,Gilbert A.Singal recovery from random measurements via or_ thogonal matching pursuit[M].Transactions on Information Theory, 2007,53(12):4655—4666. [16]Peyr6 G.Best basis compressed sensing[J].Computer Science,20O7, 4485:80-91. [17]张春梅,尹忠可,肖明霞.基于冗余字典的信号超完备表示与稀 疏分解[J].科学通报,2006,51(6):628—633. [18]Baraniuk R.A lecture on compressive sensing[J].Signal Processing, 2007,24(4):118—121. [19]Coifman R,Geshwind F,Meyer Y.Noiselets[J].Application and Computational Harmonic Analysis,2001,10:27—44.