分布式共享存储论文_李仕梅,姚世东

导读:本文包含了分布式共享存储论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:分布式,数据,协议,宿主,网络,松散,矩阵。

分布式共享存储论文文献综述

李仕梅,姚世东[1](2015)在《基于MooseFS的分布式共享存储技术的研究与应用》一文中研究指出为解决了在Unix/Linux系统中在访问量剧增的情况下,NFS服务器成为系统的性能瓶颈问题,采用Moose FS部署方法,建立了基于Moose FS的分布式共享存储平台,并进行了性能测试。性能测试结果表明,基于Moose FS的分布式共享存储平台不仅性能优于单台NFS服务器,而且具有高可靠、可扩展、恢复容易等特性。(本文来源于《广东轻工职业技术学院学报》期刊2015年02期)

沈浪[2](2013)在《分布式数据共享存储系统的研究与实现》一文中研究指出随着大数据时代的到来,信息的产生量越来越多,储存数据共享变得越来越迫切。传统的数据中心也逐渐向着云存储中心的角色转变。许多学者开始对储存数据共享进行了深入的研究。随着云存储的规模扩大,维护和能耗等多方面的问题也随之而来,使存储这项基础服务更加廉价高效成为研究的热点问题。而现有的数据存储无论是集中式还是分布式都存在着可扩展性差,数据冗余较多等问题,随着云存储的进一步发展这些问题将会日益凸显。本文对目前常用的存储模式进行了深入研究,包括传统的磁盘文件系统、带有中心节点的分布式存储系统以及定制的带有删除功能的存储系统等。这些系统对数据共享服务的支持缺乏或者不够完善,重复数据依然占用了大量的存储空间。针对以上问题本文设计了一个数据共享存储系统,力求解决云存储中数据共享以及文件和块管理等问题。本系统能够在分布式的环境下进行重复数据消除,以构建无中心节点的全分布式系统,使其具有较好的负载均衡和较高的去重效率。为了更加高效地共享重复数据,本文设计了双向滑动窗口分块算法,该算法具有拉宾指纹的高效性和并行计算的优势将数据快速划分成合适的块,文件之间以数据块为单位进行数据共享。而在对文件及数据块的管理时采用了内存哈希映射跟布隆过滤器的方式,以此减小由于数据分块而造成的性能损失。实验结果表明本系统在不影响太多存储系统性能的情况下大大减少了数据存储使用的物理空间,在大约降低了数据存储速度10%的情况下降低了40%的物理存储空间,因此本系统已经具备一定的实用价值。(本文来源于《大连理工大学》期刊2013-04-28)

陈小文,陈书明,鲁中海,Axel,Jantsch[3](2012)在《多核处理器中混合分布式共享存储空间的实时划分技术》一文中研究指出在多核处理器芯片中,分布式共享存储DSM虽然提供了统一的全局寻址的存储空间,但却引入了虚地址向实地址转换的开销,这对性能产生了负面的影响。我们注意到,在并行程序的执行过程中,被处理的数据属性(私有或共享)并不是一成不变的。并行程序中不同的数据具有不同的属性,即使同一数据在程序的不同执行阶段也可能具有不同的属性。本文首先详细地阐述了一种混合式的分布式共享存储空间,支持对共享数据采用全局寻址的虚地址访问而对私有数据采用快速寻址的实地址访问;进而提出了一种针对混合式的分布式共享存储空间的实时划分技术。该技术根据并行程序中数据的属性,在程序运行时,实时地调整和划分分布式共享存储空间。当数据为私有时,通过实地址访问加快数据的访问速度,当数据为共享时则维持虚地址访问,从而减少整个并行程序运行过程中的地址转换开销,提高系统的性能。实际应用程序的实验结果表明,与传统的分布式共享存储空间相比,实时划分的混合式的分布式共享存储空间具有性能优势,性能的提升比例与具体的网络规模、计算规模、并行程序映射方式等有关。在我们的实验中,性能的提升比例最高为13.14%,最低为6.98%。(本文来源于《计算机工程与科学》期刊2012年07期)

刘祖云,胡进德[4](2008)在《分布式共享存储研究》一文中研究指出针对计算机系统中如何实现存储资源的有效管理问题,比较了紧密耦合的共享存储多处理器和松散耦合的分布式存储多处理器的优缺点,分析了分布式共享存储的发展状况,讨论了分布式共享存储的优点和设计方法,指出了分布式共享存储研究中的几个关键性问题.(本文来源于《成都大学学报(自然科学版)》期刊2008年01期)

孙文杰[5](2007)在《基于面向领域搜索引擎的分布式共享存储解决方案》一文中研究指出分布式共享存储技术是当今计算机并行技术的主要发展方向之一,在服务器集群、人工智能以及搜索引擎等技术中都有很广阔的应用前景,特别是在搜索引擎方向,近年来有很多理论和技术的新突破。近期研究的面向领域的智能中文搜索引擎课题,其核心算法需要处理高维矩阵。但是单一服务器的存储空间有限而无法对其进行有效地读写。于是,本文结合分布式共享存储技术与智能中文搜索引擎的技术特点,提出了基于面向领域的智能中文搜索引擎的分布式共享存储方案——nDSM系统(nutch Distributed Shared Memory System),为搜索引擎提供一个大容量的和高效的虚拟存储空间和安全可靠的存储服务。本文重点介绍了nDSM系统的设计思想和体系结构。着眼于业务需求,nDSM系统的设计理念是实现一个易操作的和易扩充的分布式共享存储系统,具体说就是将搜索引擎针对网页相关矩阵的多线程读写操作建立在统一的共享虚拟内存中,这个共享虚拟内存是由nDSM的接口服务器和次服务器组,在满足Cache一致性、存储一致性和服务器负载平衡策略的基础上共同实现的。从功能上看nDSM系统相对于搜索引擎其它部分是透明的,并且由于具备一定的本地管理功能而和搜索引擎其它模块之间呈现一定的松耦合性。通过对面向领域的智能中文搜索引擎的分布存储系统的功能评估和性能分析,表明该系统理论上具有稳定的性能,可以满足搜索引擎的核心算法对高维矩阵的运算需求。(本文来源于《天津大学》期刊2007-01-01)

郭琳燕[6](2004)在《高容错分布式共享存储机制的研究与系统实现》一文中研究指出随着各种网络服务的广泛应用,数据可靠性越来越重要,因此,发展数据容错和恢复技术是极其重要的。在目前的存储技术中,RAID是广泛采用的保证数据可靠性的技术,RAID的实现是建立在分块、镜像和XOR校验的基础上的,但RAID是建立在服务器级的一种存储子系统,且它的XOR校验是指校验分块是所有分块数据进行异或(XOR)操作所得出的校验值。其缺点是容错性低,只允许单磁盘失败,此外,RAID无法远距离容错。SAN虽然实现了网络存储,但其容错性依赖RAID的容错性。 本文提出一种基于网络的高容错分布式共享存储机制—FTDSS(High Fault-Tolerance Distributed Shared Storage Mechanism),FTDSS利用网络中各节点主机的磁盘空间,构建一个大的共享存储空间,该空间对所有的网络授权用户开放,用户可以透明地访问全局空间,可以在全局空间读写文件,从而实现文件的分布式共享存储,FTDSS将文件分片,然后将数据分片和它们之间的校验分片存储在网络中的各节点主机,只要一定数目的节点在线,即使其它的机器不在线或崩溃,也可以从全局空间完整读出数据文件,从而获得高的容错性。FTDSS通过网络分布式存储,真正实现了数据的远程容错。同时,FTDSS将文件分片并行读写,能获得比单机高的读写性能。 通过系统软件,可以实现文件的分布式存放,对局域网用户备份数据而言,起到了小型RAID和部分文件服务器的功能且不需要额外的硬件支持。实验表明,系统能获得高容错性和较高的读写性能。(本文来源于《成都理工大学》期刊2004-04-01)

史岗[7](2003)在《支持软件分布式共享存储系统的机群通信技术》一文中研究指出在软件分布式共享存储领域,通信开销是阻碍它成为主流并行计算环境的重要原因。在过去的研究中,人们提出许多优化措施来减少通信开销,比如:支持更放松的一致性模型来减小消息个数和消息量;采用多写协议减少消息个数;采用写向量技术减小缺页时的消息量;采用数据预取来容忍通信延迟。然而,随着存储一致性协议的成熟,大幅度减小通信次数和通信量已十分困难。本文的目的就是要研究有效的机群通信技术来进一步提高软件分布式共享存储系统的性能。本文分析了软件分布式共享存储系统的通信行为特点,并对基于home的软件分布式共享存储系统JIAJIA在叁个通用的高性能互连网络上的性能做了测试和分析。发现:①软件分布式共享存储系统对网络的通信延迟和带宽都十分敏感;②由于采用“请求-应答”通信模式,消息的异步处理机制不仅使得计算和通信无法重迭,而且对于系统中为数较多的远程取页操作,这种通信模式的效率较低;③程序运行中出现的并发通信和接口竞争行为通常是导致并行应用性能降低的主要原因之一。基于在通信上的这些特点,本文设计并实现了一个适合软件分布式共享存储系统特点的机群通信系统FRAMP (Fast Remote Access and Message Passing)。FRAMP机群通信系统由完全定制的交换机、网络接口卡和通信协议组成。交换机采用全互连交叉开关结构和缓冲虫洞交换方式,同时在网络接口上支持消息传递和远程直接内存读/写两种通信模型,实现了纯用户级的通信协议,获得了高带宽、低延迟的网络通信性能。对FRAMP的性能测试表明:在33MHz,32位PCI传输方式下,pingpong测试的小消息单向延迟为5.7μs,渐近带宽达到101MB/s。基于FRAMP实现的软件分布式共享存储系统,由于有交叉开关网络和接口硬件对通信方式的支持以及通信协议中的优化措施,使并行应用的性能获得了显着的提高。本文的研究工作表明:相对于传统的机群通信系统,设计适合于软件分布式共享存储系统特点的网络通信系统可显着地改善系统的最终使用性能,使高性能、易编程的共享存储并行计算环境在机群体系结构上也能获得。(本文来源于《中国科学院研究生院(计算技术研究所)》期刊2003-12-01)

魏青松,卢显良,雷宇[8](2003)在《FTDSS:高容错分布式共享存储机制》一文中研究指出1 引言随着近年来网络系统的普及和应用,数据在企业全部资产中所占的比例越来越大,在企业的网络系统中,最宝贵的不是各种硬件设备,而是企业在长期发展过程中所积累下来的业务数据。数据的高可用性要求存储的高可靠性,因此,发展数据容错和恢复技术是极其重要的。 RAID是广泛采用的保证数据可靠性的技术,但RAID具有如下缺点:1、它只允许单个磁盘失败,如果系统中任意两个或两个以上磁盘失败,将导致数据不可用。2、无法实现分布式远程存储。3、价格昂贵,需要单独的硬件支持。SAN虽然实(本文来源于《计算机科学》期刊2003年08期)

胡卫华,陈基禄,朱永利,王新[9](2003)在《实时重新配置的分布式共享存储的研究》一文中研究指出针对分布式共享存储(DSM)系统固定节点集合配置的限制,提出一种支持节点重新配置的DSM系统的实现方案。方案中,系统允许用户在执行DSM程序时改变节点集合。这种增加节点的能力使得用户可以进一步缩短DSM程序的执行时间,同时,通过动态删除系统中的节点,可以避免系统用户和计算机用户之间的资源竞争问题。为实现上述功能,系统采用了适宜工作量的重新分配和亲合页面的迁移等技术。该系统支持顺序一致性和释放一致性,能提供面向对象的并行程序环境。(本文来源于《华北电力大学学报》期刊2003年04期)

刘旭民[10](2003)在《一种避免伪共享的分布式共享存储协议的设计与实现》一文中研究指出随着采用多处理机的方法日渐成为提高系统性能的主流方法,分布式共享存储系统技术也变得倍受注目。它结合了分布式存储的可扩展性和共享存储系统的编程简单的优点,为物理分布在各个处理结点的存储器提供了一个逻辑上统一共享的存储空间。然而,在分布式共享系统中,为了减少非本地数据的存取,通常系统会在不同节点保留数据的拷贝并用模型来约束不同拷贝间的数据一致性。这就带来了伪共享问题和其造成的存取抖动现象。本文针对这一个问题,提出了基于宿主存储结构的懒惰释放一致性协议。然后在LINUX下实现了这个协议,并用测试出的实验数据验证了其正确性和有效性。(本文来源于《暨南大学》期刊2003-04-01)

分布式共享存储论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着大数据时代的到来,信息的产生量越来越多,储存数据共享变得越来越迫切。传统的数据中心也逐渐向着云存储中心的角色转变。许多学者开始对储存数据共享进行了深入的研究。随着云存储的规模扩大,维护和能耗等多方面的问题也随之而来,使存储这项基础服务更加廉价高效成为研究的热点问题。而现有的数据存储无论是集中式还是分布式都存在着可扩展性差,数据冗余较多等问题,随着云存储的进一步发展这些问题将会日益凸显。本文对目前常用的存储模式进行了深入研究,包括传统的磁盘文件系统、带有中心节点的分布式存储系统以及定制的带有删除功能的存储系统等。这些系统对数据共享服务的支持缺乏或者不够完善,重复数据依然占用了大量的存储空间。针对以上问题本文设计了一个数据共享存储系统,力求解决云存储中数据共享以及文件和块管理等问题。本系统能够在分布式的环境下进行重复数据消除,以构建无中心节点的全分布式系统,使其具有较好的负载均衡和较高的去重效率。为了更加高效地共享重复数据,本文设计了双向滑动窗口分块算法,该算法具有拉宾指纹的高效性和并行计算的优势将数据快速划分成合适的块,文件之间以数据块为单位进行数据共享。而在对文件及数据块的管理时采用了内存哈希映射跟布隆过滤器的方式,以此减小由于数据分块而造成的性能损失。实验结果表明本系统在不影响太多存储系统性能的情况下大大减少了数据存储使用的物理空间,在大约降低了数据存储速度10%的情况下降低了40%的物理存储空间,因此本系统已经具备一定的实用价值。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

分布式共享存储论文参考文献

[1].李仕梅,姚世东.基于MooseFS的分布式共享存储技术的研究与应用[J].广东轻工职业技术学院学报.2015

[2].沈浪.分布式数据共享存储系统的研究与实现[D].大连理工大学.2013

[3].陈小文,陈书明,鲁中海,Axel,Jantsch.多核处理器中混合分布式共享存储空间的实时划分技术[J].计算机工程与科学.2012

[4].刘祖云,胡进德.分布式共享存储研究[J].成都大学学报(自然科学版).2008

[5].孙文杰.基于面向领域搜索引擎的分布式共享存储解决方案[D].天津大学.2007

[6].郭琳燕.高容错分布式共享存储机制的研究与系统实现[D].成都理工大学.2004

[7].史岗.支持软件分布式共享存储系统的机群通信技术[D].中国科学院研究生院(计算技术研究所).2003

[8].魏青松,卢显良,雷宇.FTDSS:高容错分布式共享存储机制[J].计算机科学.2003

[9].胡卫华,陈基禄,朱永利,王新.实时重新配置的分布式共享存储的研究[J].华北电力大学学报.2003

[10].刘旭民.一种避免伪共享的分布式共享存储协议的设计与实现[D].暨南大学.2003

论文知识图

知识仓库数据存储和检索错误检测农户...中科院电子所基于分布式共享存储基于分布式共享总线结构的分布式经典分布式共享存储系统基于集中式共享总线结构的分布式的组织体系-18-

标签:;  ;  ;  ;  ;  ;  ;  

分布式共享存储论文_李仕梅,姚世东
下载Doc文档

猜你喜欢