基于NoSQL数据库的渤海海洋数据服务平台的研究与实现

论文摘要

海洋科学数据作为海洋学研究和海洋综合管理的基础,对了解海洋状况、维护国家权益具有重要意义。近年来,随着国家和各级政府对海洋研究的投入不断增加,针对海洋的研究机构、观测项目和观测设备呈现出了“百花齐放”的态势,但也因此导致了海洋科学数据来源复杂、结构各异、体量巨大等问题的出现,给数据的存储、查询、获取和使用带来了极大的挑战。本文将数据库技术、服务器开发技术、客户端开发技术和数据可视化技术等应用于海洋科学数据业务,构建了渤海海洋数据服务平台,从数据存储、数据检索和数据可视化等方面为提高多源异构的海洋科学数据利用率做出了不同程度的研究探索。首先,针对不同海洋科学数据的特点,结合客户端业务的需求,本文对多源异构海洋科学数据的提取、解析、模型构建及数据存储进行了分析研究,并基于MongoDB设计开发了结构灵活、性能卓越的海洋科学数据库;其次,基于Flask框架构建了拓展性和兼容性较强的海洋科学数据服务器,并根据业务需要开发了诸多API接口,能够以简洁的方式与数据库和客户端进行通信,同时,依托于Python强大的科学运算能力和丰富的科学计算类库,针对不同的海洋科学数据开发了相应的数据处理模块,能够解析并处理大部分格式的海洋科学数据;再次,基于Vue生态圈设计开发了平台客户端系统,并且配合ECharts.js、Kringing.js、Turf.js等库的使用,将用户所查数据进行动态可视化表达,从而让科研人员能够快速、直观地筛选出所需数据;最后,本文利用已构建的平台系统,以渤黄海水体交换的研究为目的,模拟了用户在实际使用时进行海洋数据检索、可视化预览和数据申请的完整过程。目前,本文所述的基于NoSQL数据库的渤海海洋数据服务平台部分功能已经部署,经过内部测试获得了良好反馈。

论文目录

• 摘要
• abstract
• 第1章 绪论
•   1.1 研究背景及意义
•     1.1.1 研究背景
•     1.1.2 研究意义
•   1.2 研究与应用现状
•     1.2.1 NoSQL数据库研究与应用现状
•     1.2.2 海洋数据服务研究与应用现状
•   1.3 研究内容与技术路线
•     1.3.1 研究内容
•     1.3.2 技术路线
•   1.4 文章组织结构
• 第2章 相关技术
•   2.1 基于MongoDB的数据库技术
•     2.1.1 关系型与非关系型数据库
•     2.1.2 非关系数据库的选择
•     2.1.3 MongoDB数据库
•   2.2 基于Vue.js的平台客户端与数据可视化技术
•     2.2.1 系统架构
•     2.2.2 Vue.js体系
•     2.2.3 ECharts.js概述
•   2.3 基于Flask的平台服务器技术
•     2.3.1 Flask概述
•     2.3.2 REST风格API和与客户端的通信
•   2.4 本章小结
• 第3章 多源异构海洋科学数据存储与处理方法的研究与实现
•   3.1 海洋科学数据的多源异构性
•     3.1.1 海洋科学数据的分类与来源
•     3.1.2 海洋科学数据常见格式
•   3.2 数据库结构设计与数据存储
•     3.2.1 数据库结构设计
•     3.2.2 数据存储
•   3.3 数据存储模型
•     3.3.1 数据存储粒度
•     3.3.2 元数据与地理位置数据集合存储模型
•     3.3.3 海洋科学数据存储模型
•   3.4 海洋科学数据的处理与入库
•     3.4.1 海洋科学数据的处理思路与过程
•     3.4.2 海洋科学数据的读取、解析与入库
•     3.4.3 海洋气象数据的读取、解析与入库实例
•   3.5 本章小结
• 第4章 海洋科学数据检索与可视化方法的研究与功能实现
•   4.1 海洋科学数据的检索
•     4.1.1 数据库中的数据检索
•     4.1.2 MongoDB的聚合运算
•     4.1.3 模糊条件与精确条件搜索
•     4.1.4 空间范围搜索
•     4.1.5 搜索结果列表
•   4.2 海洋科学数据的可视化
•     4.2.1 CTD数据插值与可视化
•     4.2.2 海洋多维数据可视化
•     4.2.3 海洋气象数据可视化
•     4.2.4 FerryBox数据可视化
•     4.2.5 海洋矢量场数据可视化
•   4.3 海洋科学数据的申请与申请处理
•     4.3.1 海洋科学数据申请
•     4.3.2 海洋科学数据申请处理
•   4.4 本章小结
• 第5章 平台基础模块的开发与平台应用实例研究
•   5.1 平台基础模块开发
•     5.1.1 权限机制设计与权限管理模块
•     5.1.2 用户角色与用户管理模块
•     5.1.3 其他基础模块
•   5.2 平台应用实例
•     5.2.1 研究目标及数据选择条件
•     5.2.2 利用平台查询目标数据
•     5.2.3 数据集的可视化预览
•     5.2.4 数据可视化分析
•     5.2.5 数据申请
•   5.3 本章小结
• 第6章 总结与展望
•   6.1 总结
•   6.2 创新点
•   6.3 展望
• 参考文献
• 致谢
• 作者简历及攻读学位期间发表的学术论文与研究成果

文章来源

类型: 硕士论文

作者: 刘斌

导师: 张华,唐诚

关键词: 渤海,海洋数据,数据存储,数据可视化,数据服务平台

来源: 中国科学院大学(中国科学院烟台海岸带研究所)

年度: 2019

分类: 基础科学

专业: 海洋学

单位: 中国科学院大学(中国科学院烟台海岸带研究所)

分类号: P715

总页数: 101

文件大小: 7003K

下载量: 240