当前位置:谈今说古网 > 生活 > 经验 > hdfs的读写流程 快来看看
手机版

hdfs的读写流程 快来看看

来源:谈今说古网 阅读:2.83W 次
hdfs的读写流程 快来看看

1、客户端向NameNode发出写文件请求。检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。

2、client端按128MB的块切分文件。client将NameNode返回的分配的可写的DataNode列表和Data数据一同发送给最近的第一个DataNode节点,此后client端和NameNode分配的多个DataNode构成pipeline管道,client端向输出流对象中写数据。client每向第一个DataNode写入一个packet,这个packet便会直接在pipeline里传给第二个、第三个…DataNode。

3、每个DataNode写完一个块后,会返回确认信息。

4、写完数据,关闭输输出流。发送完成信号给NameNode。

本文链接:https://www.tjsgw.com/shenghuo/jingyan/4x2oqe.html

Copyright © 2024. 谈今说古网 All right reserved.

文本美图素材,版权属于原作者。部分文章内容由网友提供推送时因种种原因未能与原作者联系上,若涉及版权问题,敬请原作者联系我们,立即处理。