电信业务每天都产生大量数据，如何从这些数据中提取有用的信息是当今数据挖掘的难题之一.针对实际应用中存在聚类簇数难以确定、单趟聚类算法有时不能收敛到用户指定的簇数等问题，提出了可调多趟聚类挖掘方法.第1趟通过引入一个较大的K值，采用K-means聚类算法，获得K个簇，为第2趟聚类的簇数及簇中心初始值选择提供参考.经电信现网业务数据实验，本文的方法既改善了原聚类方法的局部收敛性，又能较好地适应用户的不同数据分析需求，该方法可用于不确定簇数的大数据分析中.

大数据将在未来经济、社会和生活等领域产生深远影响，而大数据的整合存储研究为促进和深化其应用范围有重要的理论和实践意义.本文利用分布式文件系统HBase的数据存储结构特征，采用可拓学基元对异构数据集进行整合处理并存储在HBase数据库.通过提取数据特别是半结构化和非结构化数据的典型特征和属性取值并转换为基元后生成一个新的数据集，不但为数据分析和数据解释提供一种新的实现方式，而且为领域问题的策略生成提供大数据的研究思路和解决方案.

论文给出了一个基于云模型和利用Favour排序的多目标优化算法，其新颖之处是依据云模型理论估计好解区域和新解的生成.该算法利用优化过程中获得的信息构建好解区域的云模型并用逆向云发生器估计该云模型的3个数字特征；之后，依据这3个数字特征，用正向云发生器生成当前子代种群，并用Favour排序对当前种群和当前子代种群的并集进行排序，然后，依据排序结果选择最好的一些个体形成下一代.该算法与其他算法就一组基准函数进行了测试比较，结果表明该算法更有效.

为让企业在大数据的环境下及时获得准确和可靠的竞争情报，提出了基于大数据的企业竞争情报系统的构建.通过B/S（浏览器/服务器）架构，运用聚焦爬虫工作原理的网络爬虫进行情报信息的采集，并用基于Hadoop的KNN算法进行情报信息的处理和分类，克服了大数据下KNN分类算法时间复杂度高等问题，同时系统支持用户个性化定制.

聚类的目的是帮助人们发现和认识未知世界，为现实生活中的学习积累知识.聚类分析一直是广大学者重点关注的无监督学习内容，也是许多交叉学科用来探索数据中潜在规律的重要分析工具.通过简单梳理聚类分析的研究成果，在理解聚类分析基本框架的基础上对当前聚类算法在处理多样化数据类型的能力、处理超高维数据的能力、处理不均衡数据的能力、算法的可拓展能力、效果评价的指标选择问题等方面出现的挑战性问题进行了论述，并分析了未来有待重点解决的一些问题.这些工作将为后续聚类分析和数据挖掘的深入研究提供有价值的参考.

为了提高DBSCAN及其改进算法在噪声点分布密集环境下的噪声点识别率，通过结合PageRank算法思想及噪声数据分布密集的特点，构造簇间投票映射函数，提出了簇间投票噪声点识别算法-NoiseRank.实验结果表明，在噪声点分布密集环境下，NoiseRank算法比DBSCAN算法具有更高的噪声点识别率.

协同过滤已在推荐系统中广泛使用，但传统算法存在一定的局限性，如不能较好地适应用户-项目评分矩阵数据集的稀疏性、计算项目相似性时未考虑项目的分类及用户对项目评分和兴趣的时变性等因素.针对这些局限性在传统协同过滤算法基础上提出一种基于大数据集的混合动态协同过滤算法.该算法在计算项目的相似性时引入了时间衰减函数，并综合考虑项目评分的相似性和项目分类的相似性，两者在项目综合相似性中所占权重可以自适应动态调节.算法还在相似性计算和近邻项目选取上做了一些改进.实验表明该算法比传统推荐算法质量有所提高.

针对基于HDFS的云存储平台对元数据绝对全权管理控制问题，提出元数据自主组织模型ASOM，通过分析DataNode与NameNode之间的交互过程，ASOM设计并实现了元数据子服务，通过提取HDFS中DataNode元数据信息直接跟元数据子服务器交互，并且由元数据子服务器处理文件与块、块与DataNode之间的映射关系.通过对HDFS源代码进行分析编译和模块替换，搭建原型系统进行测试，测试结果表明：对NameNode中的元数据进行必要的安全隔离保证了用户对元数据的控制与管理，可有效避免平台管理员对元数据可能的恶意操作和安全隐患.

云计算从提出以来就具备着动态性、虚拟化和开放性，频频出现的各种大型的云安全事故使得云环境中的安全性受到质疑.为了能够确保云环境的安全，将入侵防御技术与可信计算的信任理论相结合，提出了一个云环境下基于可信计算的入侵防御框架模型.该模型从入侵防御的原理出发，首先实时监控采集、获取行为特征，然后将这些特征进行规范化，并逐步确定各个特征的权重后得出用户节点的可信度.利用多种云端的集群服务器引擎进行检测防御以及综合分析决策和聚类分析，使云端能够及时快速、高效地抵御恶意行为的攻击，改变传统入侵防御各自为营，检测防御滞后的状况，为云用户提供最大安全限度的入侵防御服务，同时也能够确保云端抵御攻击，做到云端和云用户双向安全的效果.

针对物联网应用中，基于Hash函数的Radio Frequency Identification（RFID，射频识别）安全认证协议存在缺陷以及安全协议认证效率不高等问题，提出了一种改进的基于Hash函数的RFID双向安全认证协议，协议能保护标签的数据隐私，防止重放、追踪、伪造等攻击.通过和已有的此类安全认证协议进行安全性分析和性能比较，结果表明该协议具有更高的认证效率，并且引入了标签认证标志Tuse、Tstore以及动态秘密值S，能有效地防止去同步化攻击的威胁，适用于低成本的RFID系统.

针对云计算服务的高安全性要求，提出一种云计算环境下的匿名身份认证协议，给出了适用于身份认证的场景模型.协议中使用双线性对构造用户动态身份，引入随机数代替时间戳，解决了传统基于时间戳机制方案的时钟同步问题.协议基于离散对数计算困难性和哈希函数的不可逆性实现双向认证，具有安全性强、效率高等特点，可应用于对用户隐私保护要求较高的分布式云计算环境.

云计算和超级计算是信息化时代发展的产物.针对普通用户使用CAE软件及其复杂业务进行高性能计算的需求问题，提出融合云计算和超级计算的CAE软件集成系统的架构设计及其实现的关键技术.

针对云计算的MapReduce编程框架，提出一种融合蚁群算法和模拟退火算法的混合调度算法（ACOSA）.该算法以最小化调度时间为目标，引入了任务与资源的匹配因子和负载均衡度，先利用蚁群算法得到一组任务到资源的优化解，然后通过模拟退火算法对解进行路径的优化和信息素的更新.通过扩展Cloudsim云计算仿真平台，对其进行重新编译，实现了所提出的算法，实验结果表明该算法在调度时间、负载均衡等方面表现良好.

针对无线传感器网络中节点的不同能量损耗度，提出了基于能量代价的能量比簇首选择机制；该机制首先将普通节点视为簇首节点，计算节点的必要能量损耗值和节点当前的能量剩余值；并结合本文提出的能量比概念及计算公式，将上述能量相关值转化为可衡量传感器节点的能量损耗快慢度的簇选因子量值.仿真实验表明，该算法实现了更优的簇头选择，能有效延长网络生命周期.

为了解决文本时间表达式的识别与规范化问题, 针对时间表达式在形式上的多样性与非结构化, 提出了对时态元素进行刻画的思想, 划分时间表达式类别及规范形式；在此基础上, 采用正则表达式与Trie树结构相结合的方式构建出时间短语识别树, 自动进行中文时间表达式的识别与分类；最后, 提出规范化算法与修正算法处理识别后的结果, 得到规范化形式. 以中文语料进行实验, 中文表达式识别与规范化工作达到较好的效果.

文本情感极性分类是文本情感分析首先要解决的关键问题.在分析影响文本情感分类的各类因素的基础上，首先构建了情感词典，并进行情感特征选取以及情感特征加权，然后使用SVM分类的方法对文本进行情感识别及分类，最后在语料数据集的基础上，在单机平台上和Spark分布式计算平台上执行分类模型，对比分析其分类精度和时间代价.实验结果验证了本文构建的情感极性分类模型在单机和分布式云平台上中的有效性.

针对海量非结构化时态信息存储与快速检索的需求，提出使用Hadoop平台下的分布式、非结构化数据库HBase对海量时态数据进行存储，构造以时态集合为时态存储单元的时态数据存储模型；设计了多级分布式哈希索引表算法（tDHT），实现对时态列族的时态属性值的高效、快速的检索.通过将时态属性值向二维空间映射，实现时态数据向空间对象的转化，采用对空间数据的处理方法对时态数据区域进行划分，生成多级时态数据子区域，利用分布式哈希表思想设计HBase存储的多级索引表目录.实验结果表明，该索引策略具有较高的性能，可以在一定程度上加快对HBase中时态信息的检索速度.

多线程执行过程中的不确定性和异步性，导致测试并发程序的正确性相当困难.基于不确定测试方法上，提出了一个改进的并发程序正确性测试方法.通过激化并发程序的资源竞争来发现潜在的并发错误，从而测试并发程序的正确性.实验结果表明，使用该测试方法可以更加精确地发现并发程序产生的错误并有效地提高并发正确性测试的效率.

通过对Storm的核心理念和编程模型进行探讨，分析了Storm的工作方式和应用方法，并对一个基于Storm实现的数据分析处理系统进行了性能测试和水平扩展测试.实验结果表明，Storm实现的数据分析处理系统在性能和可伸缩性上要优于传统的数据分析处理系统.

k近邻查询算法是查询大规模空间数据的常用算法之一，使用Kd-Tree先构建大规模空间数据的索引，然后对搜索空间进行层次划分，再进行k近邻查询，能保证搜索的效率.但是，传统的Kd-Tree构建有两个缺点：使用测试数据点进行k近邻查询每次都需要回溯到根节点，影响了查询的效率；Kd-Tree使用split域对空间进行层次划分，空间划分为立方体（二维数据表现为矩形），多边形空间在相交判断时会出现没必要进行数据距离比较的多余空间，这样会影响查询的效率.针对这两个缺点，本文提出了相应的改进算法——RB算法.实验结果证明，该算法比传统的KD算法拥有更高的查询效率.本文的主要贡献有两点：(1)构建一种快速创建Kd-Tree索引来支持KNN算法进行大规模数据的分类查询操作.(2)改进传统的Kd-Tree索引构建方法，提出新的改进算法RB算法，提高KNN算法查询的效率.

为取代传统的纸质货架标签，提出一种低功耗的双模态电子货架标签系统.该系统基于物联网和无线传感器网络技术，针对低功耗目标，采用电泳式电子纸与蓝牙模块分别作为显示与通信模块.并将标签的运行状态分为工作与休眠两种状态，使其按照服务器指令按时切换运行状态，在满足低功耗的前提下实现标签状态汇报、内容更新等功能.从实验数据可见，该系统能基本满足应用场合的功能需求，相对传统的纸质标签具有明显的营运成本优势.

针对基于物联网的无线电子货架标签系统，提出一种采用相对时间的电子货架标签的休眠方法.描述了基于相对时间控制的电子货架标签设备模型、系统工作流程、时分队列算法及相对时间休眠算法.实验表明，使用相对时间可以有效管理大量异步电子货架标签协同工作，并准确、简单地控制各个标签的运行状态，统一地通过服务器指挥标签的休眠、唤醒及与上位机通信的时间，有效降低电子货架标签的耗电量.

为对RFID标签数据进行更高效可靠的存储与管理，设计了一个基于云存储的RFID标签数据管理系统，并提出了一种基于Hash函数的数据完整性校验算法.该算法根据RFID标签数据的字段生成唯一的校验码来确认RFID标签中所存储的数据是否被损坏，在RFID标签数据损坏的情况下，便可即时通过网络从云存储系统中读取对应的RFID标签数据来对其数据进行恢复.