共被期刊论文引用了2次
您的检索式：您选中1篇文献正在查看引证文献汇总
|
|
|
题名
|
作者
|
年代
|
出处
|
被引量
|
| 1 | 基于商业银行大数据访问规律的HDFS副本策略优化研究显示文摘数据的大规模、多样化特征给存储带来了新的挑战,商业银行系统开始使用Hadoop来支持历史数据归档和在线历史数据查询等功能。HDFS(Hadoop Distributed File System)作为Hadoop中的数据存储实现,为Map Reduce、Hive等数据处理提供数据,在大规模数据存储中应用广泛。但当前的HDFS,主要从数据安全和数据负载均衡等存储角度出发,采用了静态副本方式存放数据。这种设计缺乏对数据处理时数据读取的考虑,难以充分利用存储资源提供的数据读取性能。本文从提高HDFS中商业银行系统数据读取性能的角度出发,通过分析商业银行系统进行数据处理时对HDFS数据读取的规律,利用数据访问频率信息指导数据副本数量的动态调整,并使用实验数据对比说明改进后存储方案相对原有方案的读取速度、网络流量传输等性能优势。实验表明考虑数据访问端的需求,可以减少Hadoop中数据处理读取数据所需的时间,提升数据本地化率,有利于数据存储和处理的性能优化,为后续的存储改进提供可能的方向。 | 信怀义 | 2015 | 软件2015，36，11： | 5 |
| 2 | 基于MapReduce海量视频数据并行计算系统的设计显示文摘在总结视频图像数据处理现状的基础上,针对海量视频数据的并行化处理问题,提出一种基于MapReduce的并行计算系统设计方法。该系统使用NVIDIA JETSON TK1搭建并行计算集群,在此基础上利用Hadoop实现了MapReduce。在此平台上设计基于CUDA的并行数据处理算法对千万条文本数据进行处理,分析了其数据装载时间、处理时间和全部任务处理时间。结果表明,该系统当前加速比约为4.73,与C/S单机相比,处理速度有较大程度的提高,为实现实时海量视频图像处理奠定了良好基础。 | 李哲 李虎俊 张天凡 | 2015 | 湖北工程学院学报2015，35，6： | 0 |
您所在的机构暂未开通此部分的功能，请联系管理员