贺琪,查铖,孙苗,姜晓轶,戚福明,黄冬梅,宋巍.Spark 平台下的海表面温度并行预测算法[J].海洋通报,2019,(3):
Spark 平台下的海表面温度并行预测算法
Surface temperature parallel prediction algorithm under Spark platform
投稿时间:2018-11-22  修订日期:2019-02-01
DOI:10.11840/j.issn.1001-6392.2019.03.006
中文关键词:  时间序列  相似性度量  海表面温度预测  Spark
英文关键词:time series  similarity measurement  sea surface temperature prediction  Spark
基金项目:海洋大数据分析预报技术研发基金 (2016YFC1401902);国家海洋局数字海洋科学技术重点实验室开放基金 (B201801029);上海市高校特聘教授 (东方学者) 项目 (TP2016038);上海市科委部分地方院校能力建设项目 (17050501900)。
作者单位E-mail
贺琪 上海海洋大学 信息学院上海 201306 qihe@shou.edu.cn 
查铖 上海海洋大学 信息学院上海 201306 seven.chi@icloud.com 
孙苗 国家海洋信息中心天津 300171 国家海洋局数字海洋科学技术重点实验室天津 300171  
姜晓轶 国家海洋信息中心天津 300171 国家海洋局数字海洋科学技术重点实验室天津 300171  
戚福明 上海必途信息技术有限公司上海 201824  
黄冬梅 上海海洋大学 信息学院上海 201306上海电力大学上海 200090  
宋巍 上海海洋大学 信息学院上海 201306  
摘要点击次数: 58
全文下载次数: 28
中文摘要:
      面对海量的海表面温度数据,如何使用大数据处理平台和新的处理技术来实时处理、分析并预测海表面温度数据,是一个亟待解决的问题。本文基于现阶段的时间序列方法和专家意见,首先,将类比合成方法引入到海表面温度预测应用中;其次,基于 Spark 平台提出了一种改进的快速 DTW 算法 SparkDTW;最后,为了充分利用通过时间序列挖掘得到的信息,将SparkDTW 与 SVM 相结合,提出了 SparkDTW+SVM 混合模型,为海表面温度预测的应用研究提供了较好的理论基础和技术支持。实验结果表明,SparkDTW 算法预测精度优于 SVM,提高了海表面温度预测效率,验证了将类比合成方法应用在海表面温度预测的可行性;SparkDTW+SVM 在精度方面要优于 SparkDTW 和 SVM,表明 SVM 模型能充分利用时间序列挖掘的信息,验证了 SparkDTW+SVM 在海表面温度预测的有效性。
英文摘要:
      Faced with massive sea surface temperature data, how to use Spark platform and new processing technology to analyze, predict and process sea surface temperature data in real time has become a hot topic. Based on the current time series method and expert opinion, this paper first introduced the analog complexing method into the sea surface temperature prediction application.Then, based on the Spark platform, an improved fast DTW algorithm SparkDTW was proposed. Finally, in order to make full use of the information obtained through time series mining, SparkDTW and SVM were combined, and the SparkDTW +SVM hybrid model was proposed, which provides a good theoretical basis and technical support for the application research of global sea surface temperature prediction. The experimental results show that the prediction accuracy of SparkDTW algorithm is better than SVM, which improves the sea surface temperature prediction efficiency and verifies the feasibility of applying analogy complexing method to sea surface temperature prediction; Spark DTW+SVM is superior to SparkDTW and SVM in accuracy, which indicates that SVM model can make full use of time series mining information to verify the effectiveness of SparkDTW+SVM in sea surface temperature prediction.
查看全文    下载PDF阅读器
关闭