专利名称:面向大数据分析的混合计算系统专利类型:发明专利发明人:田佳琦,陈曙东申请号:CN201510138129.3申请日:20150326公开号:CN104731595A公开日:20150624
摘要:本发明涉及一种面向大数据分析的混合计算系统,其包括:运行在一个Hadoop集群上的集群资源管理系统,统一管理调度Hadoop集群资源,以实现MapReduce和Spark两种计算框架对集群资源的共享;所述集群资源管理系统包括:一个全局的资源管理器、针对每个计算框架特有的应用管理器(即MapReduce应用管理器和Spark应用管理器)以及每个节点上的节点管理器。本发明采用基于混合计算框架的方式来进行大数据分析,一方面将MapReduce计算框架和Spark计算框架整合,搭建到同一Hadoop集群中,并实现数据共享,另一方面混合计算框架的方式可以利用MapReduce计算框架和Spark计算框架不同的特点,总体来说,提高了集群利用率,降低能耗,而且可以高效快速的进行数据相关处理。
申请人:江苏物联网研究发展中心
地址:214135 江苏省无锡市新区菱湖大道200号中国传感网国际创新园C座
国籍:CN
代理机构:无锡市大为专利商标事务所(普通合伙)
更多信息请下载全文后查看
因篇幅问题不能全部显示,请点此查看更多更全内容