请点击此处给我们留言

地址:环亚ag88手机版

电话:0574-988927226

联系人:环亚娱乐ag88真人版总经理

当前位置:主页 > 产业新闻 >

环亚娱乐ag88真人版分布式数据存储的典型结构

来源:http://www.fzgoo.com 责任编辑:环亚娱乐ag88真人版 更新日期:2018-09-01 17:51 字体:
分享到:

  分布式数据存储的典型结构

  现在比较干流的分布式文件体系结构是主 /从( master/slave) 体系结构,如下图所示,一般包含主控节点 ( 或称元数据服务器,一般会装备一个活动节点和一个备用节点以完成高可用性) 、多个数据节点( 或称存储节点) 和各种大数据使用或许终端用户组成的客户端。分布式存储的意图是将大数据划分为小数据,均匀分布至多个数据节点上,将数据的规划降到单个节点能够处理的程度。

  1、主控节点

  主控节点首要担任办理文件体系姓名空间( namespace)和办理客户端的拜访。常见的命名空间结构有经典的目录树结构如Hadoop 分布式文件体系( Hadoop Distributed FileSystem,HDFS) 等,扁平化结构如【淘宝分布式文件体系( Taobao File System,TFS)等。为了保护命名空间,主控节点需求存储一些元数据( metadata) ,如文件的所有者和权限、环亚娱乐ag88真人版文件到数据节点的映射联系等。凯发k8娱乐官网地址除了办理命名空间,主控节点还要会集办理数据节点。除了办理命名空间,主控节点还要对数据节点轮询或接纳来自数据节点的定时心跳( heartbeat)来会集办理数据节点。主控节点依据得到的音讯能够验证文件体系的元数据;若发现数据节点有毛病,主控节点将采纳修正办法,从头仿制在该节点丢掉的数据块; 若有新的数据节点参加或某个数据节点负载过高,主控节点会依据状况履行负载均衡。

  2、数据节点

  数据节点担任数据在集群上的耐久化贮存。数据节点一般以机架的方式安排,机架经过交换机连接起来。数据节点呼应来自客户端的读写恳求,还呼应来自主控节点的删去和仿制指令。类似于磁盘的结构,在数据节点中也有块( block) 的概念,这是数据读写的最小单位,不过这儿的块是一个很大的单元,在许多文件体系中一般为 64 MB,如 google 的 GFS、HDFS和 TFS 等。

  关于小文件的贮存,能够将多个文件贮存在一个块中,并树立索引,进步空间利用率; 关于大文件的贮存,则会将数据划分为多个数据块,并作为独立的单元进行贮存。为了确保数据的安全性和容错性,分布式文件体系会存储多个数据副本在数据节点上。当数据不行用时,可调用存放在其他节点上的副本。在 HDFS 体系中,副本的根本存储战略是: 在使命运转的节点上存储第一个副本; 在使命地点机架内的其他节点中的某一节点存储第二个副本; 在集群的其他机架中的某一节点存储第三个副本。