结构化查询论文_刘政,王丽,张鹏,孙天旭,张芬

导读:本文包含了结构化查询论文开题报告文献综述、选题提纲参考文献及外文文献翻译,主要关键词:数据,结构化,分布式,气象,索引,时空,高效。

结构化查询论文文献综述

刘政,王丽,张鹏,孙天旭,张芬[1](2019)在《结构化查询语言在森林资源动态监测中的使用》一文中研究指出为更有效的利用森林资源动态监测系统的林业资源数据,使用结构化查询语言对森林资源监测数据库进行查询、修改、更新。本文详细解释了结构化查询语言中各个语句的意义,重点讲解了查询语句的编写,以实现对林业数据的快速有效使用。(本文来源于《山东林业科技》期刊2019年03期)

刘秋如[2](2018)在《大规模结构化及半结构化生物数据查询方法研究》一文中研究指出人类基因组计划的启动和顺利实施,使得对生命与科学的研究迈进了后基因组时代,各种基因组学、蛋白质以及疾病等相关的生物大数据呈现爆炸性增长的趋势,研究这些海量生物数据会给生命科学技术提供广阔的前景。但相继而来的便是给传统计算设备带来的巨大的计算压力。如何从“海量”的生物数据中挖掘出有价值的信息是生物信息学研究的主要目的,也是目前制约生物学发展的主要瓶颈。因此,迫切需要对大规模的生物数据进行处理与分析。而近些年发展起来的大数据云计算等技术为海量生物数据的管理与分析指明了一个新的方向。本文探讨的就是如何利用大数据以及云平台的相关知识和原理实现对大规模结构化及半结构化生物数据的存储与高效查询工作。本文利用大数据的相关技术,研究了基于分布式计算平台Hadoop及其分布式处理框架Map Reduce的大规模的结构化和半结构化生物数据存储与查询方法。首先,利用分布式数据库Hbase存储经过映射转换后的大规模生物数据,同时结合分布式并行计算框架Map Reduce设计相应的大规模生物护具查询算法,实现了对海量生物数据的高效处理。然后提出了基于Hbase的非主键的索引方法,进而对大规模生物数据查询方法进行了性能优化。在此基础上,研发了涵盖大规模生物数据存储、查询预处理、查询、非主键索引等功能的大规模生物数据管理系统,该系统利用分布式数据库Hbase来存储异构的大规模结构化和半结构化生物数据,通过相应的映射转换模型,实现了异构生物数据的统一化查询处理。同时该系统充分利用分布式并行框架Map Reduce的优点,很好的适应了日益增长的大规模生物数据管理需求,提升了生物大数据的处理效率。最后,通过一系列对比实验,对本文提出的算法和系统进行了验证。实验结果表明,相比于传统存储查询处理方法,本文所提出的相关方法在处理性能上具有明显优势。(本文来源于《哈尔滨工业大学》期刊2018-06-01)

岳水平[3](2017)在《交互式网络教学平台实现高效课堂的实践与探索——以《结构化查询语言》课为例》一文中研究指出当前教育提倡利用信息技术,实现课堂老师引导、学生自主学习的教学模式。这种模式不但要求老师改变传统的授课方式,而且要能熟练使用信息技术来提高课堂效率。本文介绍作者基于特定课例自主研发的交互式网络教学平台功能在课例各环节中的应用,并分析其功能实现的教学效果。(本文来源于《新教育》期刊2017年35期)

王秋琳,宋立华,闫丽飞,林晖[4](2017)在《一种非结构化数据查询优化存储系统设计》一文中研究指出针对电力系统信息运维现状,研究并设计了电力业务非结构化数据查询优化存储系统。首先详述了非结构化数据存储系统的架构方案;针对分布式存储问题,提出了均衡分布优化策略,并在此基础上设计了协同数据查询优化方案。数据集划分时间、数据集读取时间、查询正确率、数据节点服务器负载和请求响应时延等实验表明,所搭建的评测环境可满足测试需要,所研制的方案具有一定的优势,满足电力业界主流分布式存储技术的能力特征及适用性。(本文来源于《电子设计工程》期刊2017年13期)

敖菁[5](2017)在《一种分布式半结构化流数据查询技术》一文中研究指出目前,流数据正广泛应用于Web应用,电子商务,传感器网络等各领域中。近年来,随着分布式技术在网络环境中的普及,大量的流数据来自于地理位置不同的数据源,形成了分布式流数据,这使得针对分布式流数据的管理及处理需求分布广泛。然而,现有技术还未能够很好地满足这一需求。如今的分布式技术多关注于如何实现基于集群的高速运算,而忽略了对这些分布式流数据的统一管理问题,包括应以何种结构方便且高效地组织这些数据、采用何种方式提供分布式流数据的统一编程模型等问题。此外,现有的分布式流数据处理技术普遍采用传统的结构化数据描述方式抽象流数据。考虑到结构化数据描述方式对数据格式的过高要求,对比新型的半结构化数据描述方式,其无法更加完整地描述出实际应用中数据之间存在的多样化结构关系,使得相关查询技术在处理分布式流数据时受到了限制。近年来,随着一些半结构化数据标准的提出,半结构化数据描述方式的强大结构描述能力引起了广泛关注,其灵活的组织结构可以更加完整、准确地抽象出不同数据之间存在的各种结构关系。考虑到可扩展标记语言XML作为一种典型的半结构化数据格式已成为网络应用中的数据交换标准,采用XML描述并组织分布式流数据成为了一个极佳选择。注意到目前的XML流数据查询技术大多关注于提高对非分布式流数据的处理性能,还未支持面向分布式流数据的查询需求,设计一种具有强大结构描述能力且适用于分布式流数据的数据模型,并提出一种基于该模型的分布式流数据查询技术来妥善解决分布式流数据的管理、处理问题已显得尤为重要。为解决该问题,本文1)借助于XML的强大结构描述能力构建并提出面向分布式半结构化流数据的数据模型——分布式森林,用于组织各分布式流数据,实现对其的统一管理,并提出基于该模型的分布式流数据查询分解及结果组织方法以实现查询处理;2)提出了一种面向分布式半结构化流数据的宏森林自动机DXSMFT,作为上述方法对应的抽象模型;3)设计并实现基于DXSMFT的高效分布式流数据查询处理模型,通过同步控制及并发协作动作保证处理过程的正确性;4)设计并实现基于DXSMFT的高效分布式流数据查询算法及相应优化算法。这4点共同构成了分布式半结构化流数据查询技术。实验证明,DXSMFT及其算法执行效率高,查询技术在处理分布式流数据时可获得较高的查询性能,且在数据分布规模或数据总量增大的情况下性能比较稳定,适用于实际应用中的分布式流数据环境。(本文来源于《北京工业大学》期刊2017-05-01)

冯博博[6](2017)在《基于语义查询图的结构化查询生成框架研究》一文中研究指出近几年来,知识库已吸引了学术界和工业界的大量关注。众所周知,像Freebase和DBpedia这样的大型知识库已经成为支持无限定域问答系统的重要语义数据库。然而当用户需要查询这些数据库时需要具备会写查询语句及掌握查询语言的能力,例如在问答系统中通过构建SPARQL查询语句查询关联数据。但是大部分用户是普通用户,无法掌握这些查询语言和书写查询语句查询知识库。为了解决这个问题,我们需要将普通用户在问答系统中输入的自然问句转化成结构化SPARQL查询语句进行搜索,这样可以保证查询的准确性。此外,语音识别服务可以识别自然语音变得越来越受欢迎,特别是在智能手机中应用很广泛,这就意味着我们需要将自然问句翻译成结构化查询语句。本文主要研究的是通过语义查询图方式将自然语言问句转换为SPARQL结构化查询,提出一个框架可以帮助用户在知识系统中构建良好的结构化查询语句,该框架通过查询扩展和生成语义查询图将自然问句翻译成相应的SPARQL结构化查询语句,查询RDF数据集,返回用户期望的查询结果。具体的研究成果有以下几个方面:(1)通过语义查询图的中间形式将自然语言问句翻译成SPARQL查询语句,给出了语义查询图的形式化定义及其构建方法。语义查询图不仅可以表示简单问句,也可以表示复杂问句和复合问句,可以通过语义查询图可以对任何类型的问句翻译成相应的SPARQL查询。(2)提出了SPARQL结构化查询生成的整体框架,其中包括四个模块,分别是问题解析模块、语义图构建模块、资源映射模块和SPARQL生成模块。详细介绍了每个模块的具体功能和操作过程。(3)针对提出的SPARQL生成框架,在不同的问题集上与其他现有方法进行测试比较,实验结果表明,所提出的方法可以实现自然问句到结构化查询语句的转化,在几个数据集上测试F值平均可达到0.825。(本文来源于《西安电子科技大学》期刊2017-04-01)

徐涛[7](2016)在《结构化大数据存储与查询优化关键技术》一文中研究指出结构化数据量已经超过PB级,在这种大规模数据集上快速响应交互式请求,对关系数据库查询和大数据处理技术都提出了挑战。SQL on Hadoop系统有效融合了Hadoop和SQL引擎,在存储层利用HDFS组织管理数据,在应用层为用户提供透明的查询接口和数据库视图,是目前解决结构化大数据存储与查询问题的重要研究思路和发展方向。然而Hadoop最初目标是离线批量处理非结构化、半结构化数据。现在结合SQL引擎实时查询结构化关系数据,面对数据对象和应用需求的转变,需要对存储组织结构和查询分析机制进行针对性的优化和改进。基于SQL on Hadoop系统研究存储与查询优化关键问题,本文所做工作主要包括:1、研究HDFS集群数据分布优化技术,提出基于关联度分析的数据划分机制DPA2。该机制根据分区子表在查询集上的运算关系,建立关联度统一分析模型并生成关系矩阵,通过矩阵转换和计算制定优化的数据划分方案,同时将应用层分区算法逻辑输出到存储层数据块分布策略中。测试表明,对比其他划分机制,DPA2能够显着提升查询性能。2、研究文件存储结构优化技术,提出基于关键列分组排序的列存结构KCGSStore。该结构通过关系表存储池划分和关键列池重组两个核心流程,在多个关键列上实现分组排序,有效减少数据读取量,同时利用池号索引以少量时间空间代价完成记录重组。测试表明,对比ORCFile、Parquet等格式,KCGSStore在数据压缩、加载、查询性能等方面都表现出不同程度的优化效果。3、研究并行查询引擎优化技术,设计实现了面向分布式架构的并行查询系统Thump Query。该系统核心思想是查询计划两阶段规划策略,通过调整任务操作顺序和数据转发路径,减少中间结果数据量和shuffle过程传输量。测试数据表明,两阶段规划策略在提高系统并发效率的同时,有效降低了数据shuffle带来的查询开销和网络传输压力。4、研究异构数据集查询优化技术,提出轻量级多数据源协同查询系统LMCQ,以源系统为单位构建查询命令区域图,通过开销模型计算最小代价执行计划,并在执行过程中动态优化操作方式,降低子任务启动等待时间和数据传输量。测试表明,对比其他协同查询机制,LMCQ拥有良好的查询性能和易用性,而且随着数据量和查询复杂度的增加,优化比例也显着提高。(本文来源于《清华大学》期刊2016-10-01)

封孝生,张翀,陈晓莹,唐九阳,葛斌[8](2016)在《HBase中半结构化时空数据存储与查询处理》一文中研究指出针对在HBase中如何进行有效的半结构化时空数据存储和查询问题展开研究,对该问题进行形式化描述,并利用半结构化处理方法 TwigStack提出HBase的半结构化时空数据存储模型,在此基础上开展了半结构化的时空范围查询和kNN查询。在真实数据集中进行实验,与需要硬件配置较高的MongoDB进行了对比,结果表明在普通配置的机器上,所提出的半结构化时空查询算法与MongoDB性能相近,在实际中具有优势。(本文来源于《国防科技大学学报》期刊2016年03期)

徐熙超[9](2016)在《基于HBase的海量气象结构化数据查询优化》一文中研究指出海量气象观探测数据是提高公共气象服务精细化、精准化和个性化水平的关键,日增TB级的气象数据在存储、检索以及共享方面的时效性要求对构建在传统IOE技术架构上的气象数据管理系统提出了严峻挑战。因此以数据共享为导向的气象数据共享平台成为了研究的热点,它旨在通过分布式架构以及可线性扩容能力来处理海量气象数据,所以整个数据平台负载的平衡以及对数据查询的低延时是保证各个气象服务高效使用气象数据的关键。本文主要研究HBase分布式非关系型数据库(Hadoop DataBase)的区域数据块拆分策略与索引模型,针对HBase在数据导入阶段以及数据查询阶段的不足,提出了一种更有效的方案。具体内容及成果如下:(1)提出了基于负载量的区域数据块拆分策略。在数据导入阶段,首先计算出每个节点的负载值,然后根据负载值确定区域数据块的拆分阈值。负载值的评价函数包括了CPU、内存和磁盘I/O使用率等影响各个节点负载的因素,并通过层次分析法确定各项影响因素的权值。该策略在HBase原有的拆分策略基础上增加对节点负载值的判断,通过调整拆分阈值在一定程度上减轻高负载节点的压力。(2)提出了基于协处理器的辅助索引模型。首先根据气象结构化数据的文件格式特点设计HBase的表结构;然后根据HBase的存储特性确定辅助索引的模型,采用分层索引思想对持久化的原始数据建立索引表;接着利用协处理器的回调函数完成对索引表的同步与维护工作。该索引策略克服了HBase不支持非行键查询的障碍,大幅度提高了结构化数据的查询效率。(本文来源于《南京信息工程大学》期刊2016-06-01)

徐熙超,杨铮,马廷淮[10](2017)在《基于HBase的气象结构化数据查询优化》一文中研究指出海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上,提出了一个基于索引的气象结构化数据查询优化架构HBase4M(HBase for Meteorology)。首先,根据HBase存储特性设计表结构;然后,利用协处理器建立和维护辅助索引,将字段查询转化为对索引表的行键查询,使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明,HBase4M的性能可以基本满足气象服务的业务需要。(本文来源于《计算机工程与应用》期刊2017年09期)

结构化查询论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

人类基因组计划的启动和顺利实施,使得对生命与科学的研究迈进了后基因组时代,各种基因组学、蛋白质以及疾病等相关的生物大数据呈现爆炸性增长的趋势,研究这些海量生物数据会给生命科学技术提供广阔的前景。但相继而来的便是给传统计算设备带来的巨大的计算压力。如何从“海量”的生物数据中挖掘出有价值的信息是生物信息学研究的主要目的,也是目前制约生物学发展的主要瓶颈。因此,迫切需要对大规模的生物数据进行处理与分析。而近些年发展起来的大数据云计算等技术为海量生物数据的管理与分析指明了一个新的方向。本文探讨的就是如何利用大数据以及云平台的相关知识和原理实现对大规模结构化及半结构化生物数据的存储与高效查询工作。本文利用大数据的相关技术,研究了基于分布式计算平台Hadoop及其分布式处理框架Map Reduce的大规模的结构化和半结构化生物数据存储与查询方法。首先,利用分布式数据库Hbase存储经过映射转换后的大规模生物数据,同时结合分布式并行计算框架Map Reduce设计相应的大规模生物护具查询算法,实现了对海量生物数据的高效处理。然后提出了基于Hbase的非主键的索引方法,进而对大规模生物数据查询方法进行了性能优化。在此基础上,研发了涵盖大规模生物数据存储、查询预处理、查询、非主键索引等功能的大规模生物数据管理系统,该系统利用分布式数据库Hbase来存储异构的大规模结构化和半结构化生物数据,通过相应的映射转换模型,实现了异构生物数据的统一化查询处理。同时该系统充分利用分布式并行框架Map Reduce的优点,很好的适应了日益增长的大规模生物数据管理需求,提升了生物大数据的处理效率。最后,通过一系列对比实验,对本文提出的算法和系统进行了验证。实验结果表明,相比于传统存储查询处理方法,本文所提出的相关方法在处理性能上具有明显优势。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

结构化查询论文参考文献

[1].刘政,王丽,张鹏,孙天旭,张芬.结构化查询语言在森林资源动态监测中的使用[J].山东林业科技.2019

[2].刘秋如.大规模结构化及半结构化生物数据查询方法研究[D].哈尔滨工业大学.2018

[3].岳水平.交互式网络教学平台实现高效课堂的实践与探索——以《结构化查询语言》课为例[J].新教育.2017

[4].王秋琳,宋立华,闫丽飞,林晖.一种非结构化数据查询优化存储系统设计[J].电子设计工程.2017

[5].敖菁.一种分布式半结构化流数据查询技术[D].北京工业大学.2017

[6].冯博博.基于语义查询图的结构化查询生成框架研究[D].西安电子科技大学.2017

[7].徐涛.结构化大数据存储与查询优化关键技术[D].清华大学.2016

[8].封孝生,张翀,陈晓莹,唐九阳,葛斌.HBase中半结构化时空数据存储与查询处理[J].国防科技大学学报.2016

[9].徐熙超.基于HBase的海量气象结构化数据查询优化[D].南京信息工程大学.2016

[10].徐熙超,杨铮,马廷淮.基于HBase的气象结构化数据查询优化[J].计算机工程与应用.2017

论文知识图

系统架构一10从可视化语言到目标GIS语言中枢语言...基于洪泛的广播基于DBpedia的维基百科结构化查询结构化查询界面结构化查询方式

标签:;  ;  ;  ;  ;  ;  ;  

结构化查询论文_刘政,王丽,张鹏,孙天旭,张芬
下载Doc文档

猜你喜欢