首页 > 期刊 > 自然科学与工程技术 > 信息科技 > 无线电电子学 > 无线电通信技术 > 分布式存储系统中容错技术综述 【正文】

分布式存储系统中容错技术综述

李鑫; 孙蓉; 刘景伟 西安电子科技大学综合业务网理论及关键技术国家重点实验室; 陕西西安710071; 华侨大学厦门市移动多媒体通信重点实验室; 福建厦门361021; 中国电子学会信息论分会; 中国密码协会; 陕西省区块链与安全计算重点实验室
  • 分布式存储
  • mds码
  • 再生码
  • 局部可修复码
  • piggybacking编码

摘要:互联网、5G及其相关产业的飞速发展使我们迈入了大数据时代,存储海量数据将面临着巨大挑战。大规模分布式存储系统以其海量存储能力、高吞吐量、高可用性和低成本的突出优势取代了集中式存储系统成为主流系统。由于分布式存储系统中节点数量庞大,经常会产生各种类型故障,从而导致节点失效情况频发。因此,必须采用容错技术来保证在部分存储节点失效的情况下,数据仍然能够被正常读取和下载,具有容错能力且节约存储资源的分布式存储编码成为大数据时代重点研究的核心技术之一。讨论了大数据背景下存储与可靠性的问题,从而引出数据容错对分布式存储的重要性。阐述了传统的2种数据存储容错技术,即多副本机制和MDS码。重点分析了3种主要的分布式存储编码,即再生码(RGC)、局部可修复码(LRC)和Piggybacking编码的基本原理、优缺点以及发展现状。总结对比了这5种数据容错技术的性能差异。面向数据的容错存储,针对存储中的节点修复问题,为大数据和移动数据的分布式存储编码提供理论基础,为海量数据的高效、可靠存储提供技术支撑。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

投稿咨询 免费咨询 杂志订阅

我们提供的服务

服务流程: 确定期刊 支付定金 完成服务 支付尾款 在线咨询