时间:2023-03-01 16:27:02
序论:写作是一种深度的自我表达。它要求我们深入探索自己的思想和情感,挖掘那些隐藏在内心深处的真相,好投稿为您带来了七篇数据云存储方案范文,愿它们成为您写作过程中的灵感催化剂,助力您的创作。

使用秘密共享技术可利用多个数据中心形成低成本的医疗数据云,实现云计算时代的数据管理要求,即不需要自己保管关键数据,有安全的地方保存关键数据,任何地点、任何时间可使用数据,仅合法用户可访问数据,降低初始投资和运营成本,确保业务的持续性。秘密共享也是一种加密技术。以Shamir[1]的(k,n)门限秘密共享方案为例,其原理是将秘密消息加密并分割成n个分享份额后分布存储到不同的远程数据中心,多个数据中心构成低成本的医疗数据云。每个数据中心存放的单个分享份额看起来毫无意义,传输和存储不再需要额外的机密性保护,秘密只能从不同数据中心收集满任意k个组成的授权子集中得以恢复,而对于不足k个分享份额的非授权子集,即使拥有无限计算能力和无限大的存储器也无法恢复秘密,因为秘密共享技术的安全性不像传统加密技术那样基于复杂的计算,而是基于信息理论,所以可保证秘密的长期安全性,目前主要用于安全要求较高的密钥管理方面。此外,n个分享份额具有冗余性,即使任意(n-k)个分享份额遭到损坏或因网络故障不能获取,也能从其余的k个分享份额中恢复出秘密,这可保证业务的持续性。秘密共享方案可以是完美的,也可以是不完美的。(k,n)门限方案具有完美的安全性,即少于门限值k个的分享份额得不到原始消息的任何信息,完美方案的缺点是每个分享份额的长度≥原始消息的长度,即所有分享份额的总容量≥原始消息的n倍,如果用于数据量很少的密钥共享是没有问题,目前实际应用的几乎都是完美秘密共享方案,但对于数据量较大的医疗数据管理来说,效率和安全一样重要。
二、提高秘密共享技术的效率
要提高秘密共享技术的效率首先可从算法入手,目前典型的秘密共享算法是Shamir[1]的多项式插值法,这种算法的优点是不管(k,n)门限方案中k和n取什么值,都能用通用的公式实现加密和解密。有作者提出了(k,n)门限方案的异或运算方法[2-4],异或运算的效率要比多项式插值法高很多,这种方法没有通用的加密或解密公式,不同的k和n取值,需设计不同的加密和解密方法,这使得加密和解密方法也成了秘密的一部分,虽然通用性不高,但安全性更高。Yamamoto[5]提出的(k,L,n)秘密共享方案可大幅减少计算量和传输量,该方案被设计成1个原始消息s可从n个分享份额中的任意k个分享份额获得重构,从任何(k-L)个或更少的分享份额中得不到原始消息的任何信息,但可能会从(K-j)(其中,j=1,2,…,L-1)个分享份额组成的跳板(Ramp)集合中获得一点儿有关原始消息的信息,由于该方案可能会牺牲一点安全性,所以被称为不完美的秘密共享。但根据对已有(k,L,n)方案的具体算法的研究发现,Ramp集合的不安全性是可以避免和消除的。此方案的优点是:每个分享份额的位长是原始消息长度的1/L,所有分享份额的总容量降为原始消息的n/L,这将使计算量和传输量比(k,n)方案降低大约L倍。(k,L,n)方案的概念自提出以来,根据广泛的国内外文献检索结果显示,目前国际上实际的应用案例还非常少,迄今还没发现任何医院使用这项技术进行数据安全管理。
三、秘密共享服务软件
我们开发了秘密共享服务测试软件,使用了异或运算的(3,2,4)Ramp秘密共享技术,发现该技术完全可胜任大容量医疗数据的分布式存储。该秘密共享服务软件可为用户提供远程备份、远程访问、共享与交换等医疗数据的安全管理功能。用户通过常规方式在指定文件夹中存储1个文件,该文件就会被自动加密并分割成4个子文件,子文件又被分布存储到4个数据中心,每个数据中心存放的单个子文件毫无意义。用户随时随地再次登录并打开文件时,秘密共享服务软件又自动从不同的远程数据中心收集任意3个子文件,恢复出原始文件,同时相关联的应用程序会自动开启,文件又可被编辑和浏览。任何一个子文件遭破坏或因网络故障无法获取,也不会影响文件的恢复。将秘密共享服务软件用于医疗数据的远程备份可兼顾安全性和冗余性,从而保证业务的持续性;用于远程访问可使远程工作者无需随身携带数据,随时随地通过账号远程登录秘密共享服务文件夹抽取数据;通过多用户共享1个秘密共享文件夹可为多用户或多机构的医疗数据交换与共享提供多一种选择。
四、秘密共享方案的优势
深圳海云海量信息技术有限公司/深圳市欧迅特科技发展有限公司(简称海云海量,又称OceanDat)是一家致力于网络存储、光纤存储、存储服务器、各种接口磁盘阵列、云存储系统,以及安防监控专用阵列存储NVR、网络高清摄像机、矩阵等产品的研发与生产的高新企业,是专业海量数据云存储设备与技术输出原厂商,是海量信息存储、管理与服务的综合服务商。OceanDat集先进的存储技术方案、本地化设计与制造、专业化服务于一体,在深圳、无锡等地设有研发中心和生产基地。OceanDat以优质的服务与整合能力,向各行业提供高性能、高性价比的存储产品、云存储解决方案与安防监控系统。
OceanDat先后与多家国际领先技术公司建立良好的合作关系,并依靠自身强大的研发与技术服务团队,深耕行业市场。OceanDat针对不同行业的特点和用户的需求,提供个性化解决方案和本地化支持服务。与此同时,服务不断改进已有产品,开发新产品,以满足企业客户对网络安全存储的需求,从而使其产品与技术一直保持在行业的领先水平。
OceanDat致力于成为以客户为中心、以产品为向导、以技术为支撑、以服务为后盾的海量数据存储设备与云存储方案的专业供应商和安防企业存储系统方案解决商。OceanDat总部设在深圳,生产基地设在山东齐河,研发中心设在江苏无锡。在全国各地设有销售分支机构,为遍布全国各地的客户和合作伙伴提供全面而快速的服务与支持。
企业宗旨
· 坚持开拓创新,专业服务的企业精神
· 坚持产品的安全稳定与专业技术支持的双重质量标准
· 坚持客户满意诚信服务的经营理念
· 坚持开放有效合作双赢的客户体验
· 坚持培养和发展优秀的企业文化
发展历程
· 2013年,获“企业信用评价AAA级信用企业”称号
· 2013年,获得“2012年度中国安防行业十大创新品牌”称号
· 2012年,获得“中国安防十大新锐产品奖”称号
· 2011年,被评为深圳市高科技企业、全国轻工产品质量检查合格单位
· 2009年,成为广东省公共安全技术防范协会会员单位
· 2007年,成为国内最早将磁盘阵列应用在安防监控项目上的厂商之一
关键词:云计算;虚拟现实;无线数字电视
现代生活中,人们获取信息的渠道越来越多,这种背景决定了广播电视技术也需要不断与信息、网络、通讯等新技术紧密结合,才能适应新时期的信息传媒行业的发展形势,才能更好地满足大众对于信息资讯的需求。近年来,广播电视的技术发展很快,广电技术与其他高新技术融合发展,也衍生出了一些符合信息传播趋势的新技术和新应用。
一、云计算技术
在广播电视行业中,近期对广电行业的云计算技术有了很多的研究和讨论。目前,若广电行业想要融合多种媒体形式,就必须将广电行业的多种资源进行分类融合,如音频、视频资料信息融合、静态图像信息和动态图像信息的融合,传统媒体和新兴媒体的融合等。这些信息融合工作的最优的解决方案就是在“云”平台上实施——节目的前期制作、资料存储、多渠道播出、媒体融合等工作都在“云”平台上统一实现。多个广播电视台、多种媒体的数据统一共享、分类管理,才能形成广电的云数据网络。云计算技术可以将海量的广电媒体数据分布在各地广电的媒体中心服务器当中,将多地广电台的媒体中心通过互联网“连接”起来,每个结点的数据统一归类分装,形成包含图片、文字、音频、视频等数据的多种信息格式的数据云;这些广电数据云分布在互联网中,每个家庭的终端用户都可以通过多种途径进行访问和获取,既可以通过有线电视网、运营商有线宽带或无线移动网络进行浏览访问,又可以通过诸如电视、手机、电脑、机顶盒等不同的终端设备进行访问。云计算具有虚拟化技术、分布式海量数据存储、海量数据管理技术等几项核心技术,基于这几项技术的发展应用,广电行业的云计算技术将会呈现以下的趋势和特点:第一,形成超大规模的广电数据云。广电的云数据平台一旦形成,将会是涵盖各级电视台的大型数据云。单一的电视台或者少数几个电视台很难形成云数据的规模效应,也无法满足各地不同人群的多种信息需要,只有将大区域内的诸多电视台资源整合,才可能形成区域广电云数据的影响力和信息服务效能。第二,广电云将体现虚拟化的特点。广电终端用户可以在任意位置使用各种终端设备获得数据或服务。终端所获得的数据将来自“云”的任意一个数据节点,但是终端用户不会有太多的节点概念和感觉,用户也无需了解所获取的数据到底来自何处。第三,云数据具有通用性特点。针对不同的数据,广电云有不同的数据应用模式,云计算技术不针对特定的数据格式。例如,不同的视频编码格式都将兼容在“云”中,根据自己使用的设备情况,用户只需要使用一种播放软件就可以浏览所有的云数据视频,从而增强不同终端设备对数据的兼容使用。
二、地面无线数字电视技术
地面无线数字电视是数字电视三大体系之一,在世界上的不同地区有着不同的标准。国外主要有四种地面数字电视广播传输标准,分别是欧洲通用的地面数字电视标准DVB-T、美国的数字电视国家标准ATSC、日本的地面综合服务数字广播ISDB-T、韩国的数字无线传输技术标准T-DMB。我国的地面无线数字技术是DTMB。DTMB标准颁布于2006年8月16日,它包括高信息容量、高度灵活的操作模式、高度灵活的频率规划和覆盖区域以及支持多个传送/网路协议等多种优势。2014年,国家财政计划将累计投入45亿元用于建设中央电视节目无线数字化全国覆盖工程。这项工程对偏远地区的农村信息化建设将具有重要意义,可以使原来没有网络、电视的农村地区,接入到信息化“高速公路”当中,充分利用互联网中的信息和资讯,服务当地的经济社会发展。新一代的DTMB也可以与多种通信技术结合,实现无线数字电视网络与多个通信网络相结合的信息解决方案。DTMB与OTT等技术相结合,可以将互联网电视、电视节目直播、节目录像等多种功能集中在一起。这样可以使偏远的农村地区的广大电视用户不仅能收看央视、卫视、地方台的各类直播节目,还可以通过搜索功能达成自己的个性化的信息需求。这样使很多终端家庭不用必须配备电脑和有线网络,只要有电视和智能机顶盒,就可以分享互联网的海量信息,满足自己的多项需求。
三、虚拟现实(VR)技术
虚拟现实技术是利用先进技术产生一种模拟的环境,它可以根据系统设定使用户体验一种虚拟的世界,产生身临其境的感觉。虚拟现实、光通信、NGB、地面数字电视等多项技术结合,可以通过广电平台组织开展裸眼3D、直播视频、全景视频等形式的虚拟现实节目内容,为海量的电视终端用户提供全新的试听观看体验。近年来,视频网站的关注度越来越高,广电行业的用户流失严重。在众多视频网站纷纷实施VR技术,以VR的相关视频内容吸引用户时,广电行业也开始试水VR技术。一时间,多个虚拟现实技术运营商与多家广电台牵手合作。两者的合作可能会实现双赢,一方面,广播电视行业通过VR技术的应用,丰富了节目形式,使用户有了更好的观看体验,吸引了更多的电视用户;另一方面,广电行业的巨大的收视人群也可以快速推广和普及虚拟现实技术。以上技术都只是广电新技术发展的几个分支。总之,广播电视行业只有不断提高自身的技术水平,加大多种媒体的融合力度,应用更多融合后的新型技术,才能更好地适应多种媒体融合和一体化发展的行业趋势。
作者:纪震 单位:威海市广播电视台
参考文献:
[1]杨耀明.广电的云计算技术探析[J].西部广播电视,2015(12):252.
[2]白妙青.云计算技术在广播电视网中的应用[J].现代电子技术,2013(11):142-144.
>> 华云数据CTO:让云计算回归到技术 华云数据云计算“重”公司 华云数据的云加法 亚马逊CTO:云计算成为新常态 华云数据,自上而下创建私有云 长虹佳华:瞄准大数据 拓展云存储 华云数据5分钟快速响应 华云数据助企业造梦云端 云计算回归商业应用 云计算和云数据管理技术 云计算和云数据管理技术探讨 云计算以及云数据管理技术研究 浅谈云计算和云数据管理技术 云计算和云数据管理技术研究 基于云计算的数据存储技术 基于云计算的数据挖掘技术 云计算的数据存储技术 基于云计算的大数据技术 华云风范 云计算与数据空间 常见问题解答 当前所在位置:中国 > 科技 > 华云数据CTO:让云计算回归到技术 华云数据CTO:让云计算回归到技术 杂志之家、写作服务和杂志订阅支持对公帐户付款!安全又可靠! document.write("作者: 邹大斌")
申明:本网站内容仅用于学术交流,如有侵犯您的权益,请及时告知我们,本站将立即删除有关内容。 华云数据CTO 郑军
每一个新技术都有一个成长过程,云计算也不例外。这个诞生了差不多10年的概念经过不断的普及和市场炒作,终于迎来了务实落地、市场迅速成长的新阶段。
“我的直观感觉是,2013年基本上算是公有云市场的一个分界线,在此之前关于云计算说得多而做得少,而在此之后情形则反过来,宣传之声少了,而成功案例多了起来。” 华云数据华北&华东区销售副总裁杨戈告诉记者。杨戈是一位资深的云计算业内人士,从2010年正式进入云计算领域,从事云计算相关的销售工作,对于云计算市场的起起伏伏感受更为直接。
来自云计算市场的一些数据也与杨戈的直观感受非常一致。根据IDC预测,中国公有云市场未来几年将保持高速增长,预计到2018年,中国云计算市场将达到20亿美元。在云计算市场快速成长之际,加快产品的研发和新产品的推出成为云服务厂商的当务之急。
在华云数据,这个工作很大程度上落在了CTO郑军头上:郑军不仅要确保推出满足企业需求的高效、安全、可靠的产品,同时还要根据市场的走向做好技术储备,期望做出引领型的创新产品。郑军介绍说,华云数据对公有云和私有云市场都有期许。在公有云市场,重点是深化扩展华云数据的产品线,将云主机等以计算为主的产品和服务,拓展到存储、数据分析以及一些更复杂的产品和服务。而在私有云市场,华云数据则在高性能计算、自动化运维、数据存储等领域面向不同行业推出富有特色的企业级私有云解决方案。
显然,要提供涵盖从底层的虚拟化解决方案到复杂的Web服务,而且是真正企业级服务,挑战是不言而喻的。郑军坦言最大的挑战是在短时间内追上世界最顶尖的云计算技术,这就对人才构成了很大需求,对于华云数据这样快速成长的团队,人才招聘也成为郑军的一个“心病”。
“云计算是软件行业的皇冠,短期之内掌握核心技术,锻造出有竞争力的产品,这是我们最大的挑战。”郑军在接受采访时表示,“对于华云数据而言,我们没有像微软、AWS那样庞大的研发资源,因此,在产品研发上必须做到专而精,从而建立起与行业巨头不对称的技术优势。”
正是基于这些原因,华云数据把突破点选在云服务的行业深度上。特别是在私有云市场,突出行业特色和自己有较多客户积累的行业,比如制造,同时,不断推进产品的升级。采访中郑军透露,2016年1月初华云数据了新一代针对私有云市场的解决方案,这也将为华云数据开拓私有云市场提供更有力的“武器”。
这里值得一提的是华云数据之前的IDC服务商的身份,这也成为华云数据开拓IDC这个行业市场的一个独特优势。杨戈介绍说,由于土地、带宽等资源的限制,以及人力成本的不断升高,传统IDC经营越来越困难,IDC的云化是大势所趋。华云数据在转型云服务商之前就是IDC服务商,因此对IDC服务商的痛楚更有体会,在帮助IDC服务商转型云服务商时也更有针对性,成功率更高。
【关键词】云计算模型;移动通信;网络优化;措施
1.引言
随着生活水平的提高,人们对通讯网络的要求也越来越高。移动通信行业的竞争十分激烈,从GSM到3G再到4G,网络速度越来越快,移动通讯网络的发展势如破竹,但网络优化的问题仍很严重。云计算的出现缓解了这一问题,云计算结合3G技术将信息进行处理,有效地利用了各种资源,这是通讯技术呈现良好状态的保证。
2.关于云计算介绍
2.1 云计算的含义
目前为止,关于云计算的含义,众说纷纭,还没有一个完整的、科学的含义。人与人的知识结构,认识事物的能力是不同的,他们给出的含义也不尽相同,各有特色。有的人根据云计算的存储功能给出了含义,即云计算是将信息存储在云端,客户在客户端进行缓存的。有的人根据云计算的其他功能给出一种定义,即云计算是向客户提供的硬件服务、软件服务、数据资源服务等功能的。还有的人根据云计算与互联网的关系给出了含义,即云计算是以互联网为中心,为客户提供网络服务的。本文认为云计算是一种新的计算模式,是网络计算出现后的新模式,是商业化的网络计算。云计算给人类带来了巨大的变化,客户不需要具备专业的技能,只需要具备网线与浏览器便可以通过“云端”获取需要的资源。通过云服务满足了广大用户的需求,实现了云计算的价值。
2.2 云计算的特征
云计算有着诸多的功能与特征,下文将一一进行阐述:
2.2.1 虚拟化
云计算的基础便是虚拟化,同时,它也是云计算的主要特征,虚拟化便是将计算机的硬件部分通过虚拟化的技术进行改进,建立一个虚拟平台,在这个平台上,客户可以了解到其资源与应用系统,这便是云计算的虚拟化服务。
2.2.2 超强的计算能力
云计算的计算能力是单一计算机或几个计算机无法超越的,云计算是通过众多的计算机协同完成的,完全可以依据用户的需求进行调试,可以随时将用户的服务器加入其中便可以完成其计算,其强大的计算能力是云计算的又一特征。
2.2.3 安全、可靠
目前,用户的安全意识逐渐提高,云计算的安全性能完全能够满足客户对计算机安全性能的需要,云计算在数据存储方面是安全的,虚拟化的技术,使得云计算在运行时,将获得较好的保护。云计算的管理是十分严格的,客户可以完全安心地通过云端来实现资源的共享。
2.2.4 性价比较高
云计算对于资源的管理也是通过虚拟化来完成的,这样与其他的管理方法相比,云计算的资源管理是低投入,高利润的,致使用户在使用时,可以通过低消费甚至免费就可以获取资源[1]。
2.2.5 云计算的中心
互联网作为云计算的中心,使网络中的每一个节点都具备了存储和运算功能,用户在使用时,将更加方便。
3.移动通信网络优化现状
如今,科学技术的水平逐渐提高,3G、4G网络的不断完善,移动通信网络优化面临着一系列的挑战。虽然,国家积极扶持移动通信网络,移动通信网络也有了快速的发展,移动通信网络优化对移动通信网络的发展起着决定性的作用。但移动通信网络优化的现状令人堪忧。
3.1 数据处理的限制
不同的生产商生产的设备是不同的,在优化处理数据时的方法也是不同的,传统的优化软件只能处理一种数据问题,对于移动通信网络的优化将有一定的限制,不能统一优化。
3.2 资源的分散
目前,对于网络优化来说都是单机执行的,各运行商处理、优化自己的网络设备。如果想完成移动通信网络的优化,必须整合资源,实现资源共享。
3.3 数据库的不完整
移动通信网络的优化要使用大量的数据,网络优化不仅要通过工作经验的积累,还要以大量数据位为依托,目前的优化软件仍不能满足这样的需求[2]。
4.云计算模型下的移动通信网络优化
云计算模型的出现,为移动通信网络优化注入了新的活力,通过对云端资源、移动通信网络和客户端三者的完美结合,实现了云计算模型下的移动通信网络优化。运行商可以通过云端资源对移动网络进行优化,实现了系统的安全、可持续发展。云计算将对移动通信网络优化在以下几个方面有较大的帮助:
4.1 提高优化效率
由于移动通信网络厂商提供的设备、系统的不一致,致使在优化过程中,运行商不得不面对诸多问题,整理不同厂商的数据,处理不同系统的应用,严重影响了优化的效果。在云计算模式下,云计算通过提供虚拟的服务,即使面对不同的厂商,也可以统一服务,减少了许多工作环节,大大提高了移动通信网络优化的效率。
4.2 降低成本
移动通信网络优化的建立需要投入大量的资金,致使运行商的经济效益会受到很大的影响,生产成本过高,利润自然就会降低。但在采用云计算模型下的移动通信网络优化将改变这一现状,运行商的投入减少,相对的,利润空间就会加大。云计算的资源共享功能,使运行商将为客户提供更加丰富全面的资源。同时,由于云计算的资源基本处于免费的状态,客户在使用时,也可以免费、快捷地获取资源。
4.3 便捷的优化服务
由于云计算的资源全面而系统,在移动通信网络优化的管理过程中将更加便捷,优化水平将迅速提升。云端为运行商不仅提供便捷的优化服务,还储备着一些优秀的优化方案,在优化过程中,工作人员可以参考,能够更快捷地完成优化任务。
4.4 维护费用的减少
移动通信网络优化的维护,需要大量工作人员定期的维护,在云计算模型下移动通信网络优化将减少这部分的人员,因为云计算的维护工作是简单的,不用在计算器与服务器上花费大量的人力,从而达到降低维护费用的目的[3]。
5.总结
云计算带给移动通信网络优化机遇的同时,也蕴含着巨大的挑战。云计算的应用,提高了移动通信网络优化的效率、降低了移动通信网络优化的成本、便捷了移动通信网络优化的服务、减少了移动通信网络优化的费用。相信随着云计算的发展,移动通信网络人员的共同努力,云计算模型下的移动通信网络优化系统将更加完美。
参考文献
[1]赵萌.基于云计算的移动学习模式研究与应用[D].河南大学,2012,12.
[2]杨云,冯亚.基于云计算模型的移动通讯网络优化[J].科技交流,2009(10):42-44.
关键词:云计算;就业信息服务;Hadoop;SaaS
中图分类号:TP39 文献标识码:A DOI:10.3969/j.issn.1003-6970.2015.05.010
0 引言
高校毕业生逐年增加,国内就业形势严峻。政府、高校、用人单位和家庭都从不同的角度高度关注就业工作,就业信息化服务的建设刻不容缓。
云计算技术具有高效、可靠、高可扩展性和易用性的特征,被很多领域广泛的使用。本文讨论的内容是如何将云计算技术应用到就业信息化服务中,从而高效率、高质量的做好就业服务工作。
Hadoop是由Apache开源组织提供的分布式系统基础框架,能够有效的解决海量数据分布存储和分布计算,是云计算技术应用层面很好的解决方案。
1 高校就业信息系统研究现状
高校就业管理信息研究和应用已经开展了很长时间,现在几乎所有高校都建立了就业信息管理系统或者平台,但是这些系统存在以下几方面问题:第一,系统侧重毕业生和就业信息管理,或者只是学生管理信息系统的一部分,缺乏服务机制,无法实现学生、教师和用人单位的联动。第二,系统资源利用率低,系统运行效率低、安全可靠性和可扩展性差,给学生数据安全带来很大的隐患。第三,系统数据利用率低,多数集中在简单的查询,很难获得有益的知识,提供决策服务。第四,系统缺乏个性化定制,很难适应当前就业工作不断调整的需要。
2 构建基于云计算的高校就业信息服务平台
本文从三个方面论述如何构建基于云计算的高校就业信息服务平台:一是,如何构建就业信息云服务平台,为政府、学生、高校和用人单位等用户提供服务。二是,构建基于云存储的数据平台,提高资源利用率,使系统高效可靠,并且具有高可扩展性。三是,利用云计算技术进行并行、高效、可靠的数据处理,最后将平台的数据服务提供给用户。
2.1 构建高校就业云服务平台
根据提供服务资源的类型,云服务被分为三个类别:SaaS(软件即服务)、PaaS(平台即服务)、IaaS(基础设施即服务)。
高校就业信息云服务平台采用SaaS模式,通过浏览器和移动终端将软件作为云服务提供给所需用户。用户无需购买软件和维护软件,用户根据业务需求购买相应的云服务,云服务提供商管理相关软件并实施软件的维护。这种方式大大降低用户在软件购买和维护上人力和物力的开支。高校就业信息云服务平台自底向上分别是“云数据层”、“数据服务层”、“业务服务层”、“云服务层”和“应用层”,每层之间采用松耦合,提供相互访问的接口,用户不必关注层内部逻辑,平台架构如图l所示。
(1)数据存储层
高校信息服务平台的数据主要包含学生数据、用人单位数据和高校相关数据,数据是作为平台的基础。为了提供便捷、高效、可靠的数据访问,数据存储层采用云存储技术实现,后面会详细论述。
(2)数据服务层
数据服务层建立专门进行云数据层访问的接口程序,用户通过webservice或者API进行加密数据的访问,数据的具体存储对用户是透明的,这也有效的提高数据安全性,并且为数据的扩展提供基础。
(3)业务管理层
业务服务层包括高校信息服务平台所有业务,具体包括应聘招聘、就业指导、毕业生困难帮扶、创业等服务内容,这些业务服务于政府、用人单位、高校、学生和社会等不用的用户。由于就业工作随着时间的推移会受到就业形势、政策等很多因素影响,从而导致就业工作业务和用户发生不断变化,所以就业信息服务平台业务服务层要具备高扩展性。基于以上的要求,我们构建了业务服务控制台,业务服务被设计为可插拔式,每项业务可以被挂载在控制台,或者从控制台被卸载,也可以设定业务接口、执行业务升级操作等服务。
(4)云服务层
云服务层将业务服务层的内容以应用接口的方式提供给应用层,提供的方式是为业务服务层建立API接口和webservice接口。应用层可以通过编程的方式调用业务接口,实现业务访问。
设定中文信息处理和语音识别接口,用户可以通过输入中文关键字或者语音调用业务,在应用层和业务层之间建立更加友好的数据传送,也为移动终端用户提供更加便捷的操作方式。
(5)应用层
应用层直接面向实际用户,实现就业信息云服务平台不同类型的用户图形界面,从而能够适应不同用户的不同需求。用户既可以通过个人电脑上的浏览器访问获得云服务、也可以使用智能移动终端的应用程序或者微问云服务。
2.2 建立基于Hadoop的云数据存储
高校就业信息服务平台需要大量的数据进行支持,而且数据逐年增加。利用云存储技术主要解决快速、高效的处理海量数据,从而达到易扩展、低成本、易管理、高效和安全的设计原则。Hadoop软件框架的HDFS(分布式文件系统)提供了具备高扩展性、高容错性、高可靠性、高效等特点,并且可以部署在低廉的硬件上,从而降低成本。基于以上内容,高校就业服务平台的数据存储通过HDFS分布式存储技术实现云存储,Hadoop的具体部署如图2所示。
2.3 建立基于Hadoop的数据服务
数据服务是就业信息云服务平台重要的业务,用户需要了解学生年龄、民族等数据分布,需要了解就业数据分布,需要了解用人单位人才需求分布,需要了解就业数据内部和外部存在的各种联系。数据服务从海量数据的计算中获得,利用云计算技术能够高效、低成本的解决计算问题,Hadoop为云计算提供了有效的解决方案,它提供了MapReduee模型,这个模型解决了传统并行计算在易编程性上的瓶颈,程序员可以更容易的开发分布式并行计算程序。MapReduce同HDFS一样采用一个主控节点和多个计算节点的架构,如图1所示。将大规模数据集分成多个小数据集,然后这些数据集分给多个map节点进行并行处理产生中间结果,最后在reduce阶段对这些结果汇总,得到最终结果。
定制化创新百花齐放
2013年8月27日,在戴尔高峰论坛上,戴尔公司宣布针对中国市场推出一款开放式超大规模机架解决方案。
戴尔公司企业级解决方案部总裁Marius Haas表示,该解决方案是由戴尔与包括百度、腾讯在内的六家中国云服务提供商携手共同开发的,采用整体的数据中心架构方式,每个机架的容量最高可达15kW。“该解决方案为提高数据中心效率提供了一个全新的选择,可以满足新兴工作负载的苛刻需求。它采用了高度模块化的计算和存储体系架构,共享能源、散热和机架管理,可为用户特定的工作负载提供更高的配置能力。”Marius Haas说,在推出戴尔机架解决方案的同时,戴尔还将把该设计的关键元素共享出来,以推动培育围绕机架平台的其它开放性、标准化和创新。
在戴尔宣布推出这样的机架解决方案之前,包括阿里巴巴、百度、腾讯、中国电信、英特尔在内的多方已经联合启动了名为“天蝎项目”的整机柜服务器解决方案的研究。2012年4月,项目就了1.0版本的技术规范。据悉,天蝎整机柜服务器机架方案采用模块化设计,由机柜模块、网络模块、供电模块、服务器节点、集中风扇散热模块、集中管理模块共六大部分组成。
作为“天蝎项目”的技术顾问,英特尔表示,像“天蝎项目”这样的基于机架变革的服务器解决方案,能提高服务器的灵活性、密度和利用率,从而实现更低的总体拥有成本。在日前举行的“英特尔数据中心日”上,英特尔数据中心与互联事业部副总裁兼云平台事业部总经理Jason Waxman表示,根据云服务提供商和超大规模数据中心的需求,英特尔正在帮助众多OEM厂商开发和交付相关机柜解决方案的参考设计。“英特尔机柜式架构将包括一系列创新技术,例如,用于服务器、存储和网络的英特尔至强和凌动处理器;用于分布式I/O的英特尔以太网交换机芯片;基于高带宽英特尔硅光子技术的英特尔全新硅光子架构等。后者与目前基于铜缆的互连技术相比,硅光子技术将能够减少线缆使用量、提高带宽、拓展连接的覆盖范围并实现非常高的能效。”
据悉,英特尔计划推出专为整体机柜部署而优化的完整参考架构,以便让更多的系统构建者和用户采用。“我们的目标就是从目前物理聚合阶段,即服务器中的所有非关键金属板以及电源和风扇等关键组件向机柜层面进行整合的阶段,向下一步实现架构的整合。通过直连存储将存储从计算系统中分离出来,并通过存储虚拟化实现更高的利用率。未来还将进一步演进到通过机柜来整合计算、存储和互联子系统,实现这些系统的池化。处理、内存和I/O完全分离,并将之分别归入模块化子系统,从而能够让用户对这些子系统进行轻松升级,而不再是进行整个系统的升级。”Jason Waxman说。
厂商与用户的博弈
“天蝎项目”这样的产物,可以说就是当前互联网公司服务器定制化潮流的结果,看看项目的参与者就能略知一二。这些公司的规模、技术能力,足以支撑起“定制化”这面旗帜。其背后原因,其实就是大型互联网公司业务的增长带来的基础架构的急剧膨胀,并引发出网络、布线、供电、散热、承重、配电等环节的诸多问题。
而定制化服务器,在保证灵活性的同时,恰恰可以保证运维的效率和成本。英特尔行业合作与解决方案部中国区总监凌琦认为,互联网上的音乐、社区、视频以及游戏等内容增长迅猛,这些应用将产生大量数据,并在数据中心集中汇聚。定制化服务器能够帮忙企业更好地响应用户需求,是一个不可避免的趋势。
Google的成功,进一步印证了定制化服务器在互联网应用领域的优势,从而使这股风越吹越劲。出于实现大规模可扩展计算环境的目的,Facebook发起了开放计算项目(Open Compute Project,OCP),并已向外界展示了相关的第一款OpenRack服务器。后者也是有着标准的机架式结构,但是又与普通机架服务器不完全相同。同时具备了独立的电源模块、存储模块。来自市场调研公司Gartner的统计数据显示,提供定制服务器产品的厂商已经占据了美国服务器市场20%的份额。