Hadoop——HDFS 3.3.4

- 不会让新的数据读写到DataNode

- 客户访问的时候不提供异常结点的地址

[root@node01 ~]# tar -zxvf hadoop-3.3.4.tar.gz -C /opt/yjx/
[root@node01 ~]# rm hadoop-3.3.4.tar.gz -rf

[root@node01 ~]# cd /opt/yjx/hadoop-3.3.4/etc/hadoop/
[root@node01 hadoop]# vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

[root@node01 hadoop]# vim core-site.xml

<!-- 设置 NameNode 节点的 URI(包括协议、主机名称、端口号)，用于 NameNode 与 DataNode 之间的通讯 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdfs-yjx</value>
</property>
<!-- 设置 Hadoop 运行时临时文件的存放位置，比如 HDFS 的 NameNode 数据默认都存放这个目录下 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/var/yjx/hadoop/ha</value>
</property>
<!-- 设置在 Web 界面访问数据时使用的用户名 -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<!-- 设置 HA，需要一组 ZK 地址，以逗号分隔。被 ZKFailoverController 使用于自动失效备援 failover -->
<property>
<name>ha.zookeeper.quorum</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
<!-- 该参数表示可以通过 httpfs 接口访问 HDFS 的 IP 地址限制 -->
<!-- 配置 root(超级用户) 允许通过 httpfs 方式访问 HDFS 的主机名、域名 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!-- 通过 httpfs 接口访问的用户获得的群组身份 -->
<!-- 配置允许通过 httpfs 方式访问的客户端的用户组 -->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>    

[root@node01 hadoop]# vim hdfs-site.xml

<!-- 设置 nameservices 列表（联邦列表），逗号分隔 -->
<property>
<name>dfs.nameservices</name>
<value>hdfs-yjx</value>
</property>
<!-- 设置一个 NameNode 列表。hdfs-yjx 是指具体的 nameservice 名称，通常就是 dfs.nameservices 中配置的。值
是预备配置的 NameNode 的 ID，ID 是自己取的，不重复就可以，例如 nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.hdfs-yjx</name>
<value>nn1,nn2</value>
</property>
<!-- 设置 NameNode 的 RPC 地址和端口 -->
<property>
<name>dfs.namenode.rpc-address.hdfs-yjx.nn1</name>
<value>node01:8020</value>
</property>
<!-- 设置 NameNode 的 RPC 地址和端口 -->
<property>
<name>dfs.namenode.rpc-address.hdfs-yjx.nn2</name>
<value>node02:8020</value>
</property>
<!-- 设置 NameNode 的 HTTP 地址和端口 -->
<property>
<name>dfs.namenode.http-address.hdfs-yjx.nn1</name>
<value>node01:9870</value>
</property>
<!-- 设置 NameNode 的 HTTP 地址和端口 -->
<property>
<name>dfs.namenode.http-address.hdfs-yjx.nn2</name>
<value>node02:9870</value>
</property>
<!-- 设置 QJM 共享存储系统服务器。在多个 NameNode 中共享存储目录，用于存放 edits 文件，该目录由 Active 写，
Standby 读 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node01:8485;node02:8485;node03:8485/hdfs-yjx</value>
</property>
<!-- 设置 journalnode 用于存放 edits 日志的目录，默认值为 /tmp/hadoop/dfs/journalnode -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/var/yjx/hadoop/ha/qjm</value>
</property>
<!-- 设置客户端连接 Active NameNode 所用的代理类 -->
<property>
<name>dfs.client.failover.proxy.provider.hdfs-yjx</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 设置 HDFS-HA 功能的防脑裂方法。可以是内建的方法(例如 shell 和 sshfence)或者用户自定义的方法 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
<value>shell(true)</value>
    </property>
<!-- 设置失效转移时使用的秘钥文件 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 设置故障转移功能是否开启，建议开启 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 设置 HDFS 默认的数据块副本数。可以在创建文件时指定，如果创建时未指定，则使用默认值 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

[root@node01 hadoop]# vim workers

node01
node02
node03

[root@node02 ~]# scp -r root@node01:/opt/yjx/hadoop-3.3.4 /opt/yjx/
[root@node03 ~]# scp -r root@node01:/opt/yjx/hadoop-3.3.4 /opt/yjx/
# 或者使用分发脚本
[root@node01 ~]# yjxrsync /opt/yjx/hadoop-3.3.4/

export HADOOP_HOME=/opt/yjx/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

zkServer.sh start
zkServer.sh status

hdfs --daemon start journalnode

# 格式化 node01 的 namenode（第一次配置的情况下使用）
[root@node01 ~]# hdfs namenode -format
# 启动 node01 的 namenode
[root@node01 ~]# hdfs --daemon start namenode
# node02 节点同步镜像数据
[root@node02 ~]# hdfs namenode -bootstrapStandby
# 格式化 zkfc（第一次配置的情况下使用）
[root@node01 ~]# hdfs zkfc -formatZK
# 启动 HDFS
[root@node01 ~]# start-dfs.sh

[root@node01 ~]# hdfs dfs -mkdir -p /test
[root@node01 ~]# hdfs dfs -put hadoop-3.3.4.tar.gz /test
# 指定 Block 大小
[root@node01 ~]# hdfs dfs -D dfs.blocksize=134217728 -put hadoop-3.3.4.tar.gz /test

[root@node01 ~]# stop-dfs.sh

[root@node01 ~]# stop-dfs.sh

1 hadoop fs -ls <path>
   列出指定目录下的内容，支持pattern匹配。输出格式如filename（full path）<r n>size.n代表备份数。
   
2 hadoop fs -lsr <path>
   递归列出该路径下所有子目录信息
   
3 hadoop fs -du<path>
显示目录中所有文件大小，或者指定一个文件时，显示此文件大小

4 hadoop fs -dus<path>
显示文件大小 相当于 linux的du -sb s代表显示只显示总计，列出最后的和 b代表显示文件大小时以byte为单位

5 hadoop fs -mv <src> <dst>
将目标文件移动到指定路径下，当src为多个文件，dst必须为目录

6 hadoop fs -cp <src> <dst>
拷贝文件到目标位置，src为多个文件时，dst必须是个目录

7 hadoop fs -rm [skipTrash] <src>
删除匹配pattern的指定文件

8 hadoop fs -rmr [skipTrash] <src>
递归删除文件目录及文件

9 hadoop fs -rmi [skipTrash] <src>
为了避免误删数据，加了一个确认

10 hadoop fs -put <> ... <dst>
从本地系统拷贝到dfs中

11 hadoop fs -copyFromLocal<localsrc>...<dst>
从本地系统拷贝到dfs中,与-put一样

12 hadoop fs -moveFromLocal <localsrc>...<dst>
从本地系统拷贝文件到dfs中，拷贝完删除源文件

13 hadoop fs -get [-ignoreCrc] [-crc] <src> <localdst>
从dfs中拷贝文件到本地系统，文件匹配pattern，若是多个文件，dst必须是个目录

14 hadoop fs -getmerge <src> <localdst>
从dfs中拷贝多个文件合并排序为一个文件到本地文件系统

15 hadoop fs -cat <src>
输出文件内容

16 hadoop fs -copyTolocal [-ignoreCre] [-crc] <src> <localdst>
与 -get一致

17 hadoop fs -mkdir <path>
在指定位置创建目录

18 hadoop fs -setrep [-R] [-w] <rep> <path/file>
设置文件的备份级别，-R标志控制是否递归设置子目录及文件

19 hadoop fs -chmod [-R] <MODE[,MODE]...|OCTALMODE>PATH
修改文件权限， -R递归修改 mode为a+r,g-w,+rwx ,octalmode为755

20 hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH
递归修改文件所有者和组

21 hadoop fs -count[q] <path>
统计文件个数及占空间情况，输出表格列的含义分别为：DIR_COUNT.FILE_COUNT.CONTENT_SIZE.FILE_NAME，如果加-q 的
话，还会列出QUOTA,REMAINING_QUOTA,REMAINING_SPACE_QUOTA

-mkdir 创建目录 hdfs dfs -mkdir [-p] < paths>

-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args>

-put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put <localsrc> … < dst>

-get 将文件或目录从HDFS中的路径拷贝到本地文件路径 hdfs dfs -get [-ignoreCrc] [-crc] <src> <localdst>
       选项：-ignorecrc选项复制CRC校验失败的文件。-crc选项复制文件和CRC。
       
-du 显示给定目录中包含的文件和目录的大小或文件的长度，用字节大小表示。 hdfs dfs -du [-s] [-h] URI [URI…] 选项：-s选项将显示文件长度的汇总摘要，而不是单个文件。-h选项将以“人可读”的方式格式化文件大小（例如64.0m而不是67108864）；第一列标示该目录下总文件大小，第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关
（第二列内容=文件大小*副本数），第三列标示你查询的目录

-dus 显示文件长度的摘要。 hdfs dfs -dus < args> 注意：不推荐使用此命令。而是使用hdfs dfs -du -s。

-mv 在HDFS文件系统中，将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。

-cp 在HDFS文件系统中，将文件或目录复制到目标路径下 hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …]
< dest> 选项：-f选项覆盖已经存在的目标。-p选项将保留文件属性[topx]（时间戳，所有权，权限，ACL，XAttr）。
如果指定了-p且没有arg，则保留时间戳，所有权和权限。如果指定了-pa，则还保留权限，因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。

-copyFromLocal 从本地复制文件到hdfs文件系统（与-put命令相似）hdfs dfs -copyFromLocal <localsrc> URI
选项：如果目标已存在，则-f选项将覆盖目标。

-copyToLocal 复制hdfs文件系统中的文件到本地 （与-get命令相似） hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>

-rm 删除一个文件或目录 hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …] 选项：如果文件不存在，-f选项将不显示诊断消息或修改退出状态以反映错误。-R选项以递归方式删除目录及其下的任何内容。-r选项等效于-R。-skipTrash选项将绕过垃圾桶（如果已启用），并立即删除指定的文件。当需要从超配额目录中删除文件时，这非常有用。

-cat 显示文件内容到标准输出上。 hdfs dfs -cat URI [URI …]

-text 获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。 hdfs dfs -text

-touchz 创建一个零长度的文件。 hdfs dfs -touchz URI [URI …]

-stat 显示文件所占块数(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y) hdfs dfs -stat URI
[URI …]

-tail 显示文件的最后1kb内容到标准输出 hdfs dfs -tail [-f] URI 选项： -f选项将在文件增长时输出附加数据，如在Unix中一样。

-count 统计与指定文件模式匹配的路径下的目录，文件和字节数 hdfs dfs -count [-q] [-h] < paths>

-getmerge 将源目录和目标文件作为输入，并将src中的文件连接到目标本地文件（把两个文件的内容合并起来） hdfs dfs -getmerge < src> < localdst> [addnl] 注：合并后的文件位于当前目录，不在hdfs中，是本地文件

-grep 从hdfs上过滤包含某个字符的行内容 hdfs dfs -cat < srcpath> | grep 过滤字段

-chown hdfs上文件权限修改 hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者   例如：hdfs dfs -chown -R Administrator:Administrator /user/  

-distcp 最常用在集群之间的拷贝：hadoop distcp hdfs://master1:8020/foo/bar hdfs://master2:8020/bar/foo

192.168.100.101 node01
192.168.100.102 node02
192.168.100.103 node03

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.yjxxt</groupId>
    <artifactId>hadoop-demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <!-- Hadoop 版本 -->
        <hadoop.version>3.3.4</hadoop.version>
        <!-- commons-io 版本 -->
        <commons-io.version>2.11.0</commons-io.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>${commons-io.version}</version>
        </dependency>
        <dependency>
            <groupId>com.janeluo</groupId>
            <artifactId>ikanalyzer</artifactId>
            <version>2012_u6</version>
        </dependency>

        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter-api</artifactId>
            <version>5.9.2</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

</project>

package com.yjxxt.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.DisplayName;
import org.junit.jupiter.api.Test;

import java.io.IOException;

@DisplayName("HDFS 测试类")
public class HDFSTest {

    FileSystem fileSystem = null;

    @BeforeEach
    public void hdfsInit() throws IOException {
        // 加载配置文件
        Configuration configuration = new Configuration(true);
        // 获取文件系统
        fileSystem = FileSystem.get(configuration);
    }

    @DisplayName("文件上传与下载")
    @Test
    public void testFileUploadAndDownload() throws IOException {
        // 文件上传
         //Path srcPath = new Path("E:\\Informations\\MSB\\technical_information\\学习资料\\大数据阶段\\大数据第一阶段\\01Linux\\003_software\\JDK\\8\\jdk-8u351-linux-x64.tar.gz");
         //Path destPath = new Path("/yjx/jdk-8u351-linux-x64.tar.gz");
         //fileSystem.copyFromLocalFile(srcPath, destPath);
         //文件下载
        Path localPath = new Path("D:\\test");
        Path hdfsPath = new Path("/yjx/jdk-8u351-linux-x64.tar.gz");
        fileSystem.copyToLocalFile(hdfsPath, localPath);
    }

}

core-site.xml配置文件的作用：
   用于定义系统级别的参数，如HDFS URL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义会覆盖core-default.xml文件中的默认配置。
   
fs.defaultFS 参数的作用：
   #声明namenode的地址，相当于声明hdfs文件系统。我们可以指定某个ip地址，在ha模式中我们通常指定hdfs集群的逻辑名称
   
hadoop.tmp.dir 参数的作用：
   #声明hadoop工作目录的地址。
   
hadoop.http.staticuser.user 参数的作用：
   #在网页界面访问数据使用的用户名。默认值是一个不真实存在的用户，此用户权限很小，不能访问不同用户的数据。这保证了数据安全。也可以设置为hdfs和hadoop等具有较高权限的用户，但会导致能够登陆网页界面的人能看到其它用户数据。实际设置请综合考虑。如无特殊需求。使用默认值就好.
   
ha.zookeeper.quorum 参数的作用：
   #指定zookeeper集群的地址，让zookeeper帮我们管理hdfs集群。

1、hdfs-site.xml 配置文件的作用：
   #HDFS的相关设定，如文件副本的个数、块大小及是否使用强制权限等，此中的参数定义会覆盖hdfs-default.xml文件中的默认配置.
   
dfs.replication 参数的作用：
   #为了数据可用性及冗余的目的，HDFS会在多个节点上保存同一个数据块的多个副本，其默认为3个。而只有一个节点的伪分布式环境中其仅用保存一个副本即可，这可以通过dfs.replication属性进行定义。它是一个软件级备份。
   
dfs.nameservices 参数的作用：
   #指定一个逻辑名称，该名称会自动去帮我们找打真实NameNode节点，这和咱们的keepalive的VIP有点类似！这个名称咱们可以自定义！但是我们正在引用时千万别引用错了！
   
dfs.ha.namenodes.yinzhengjie-hdfs 参数的作用：
   #看到没，上面我们定义了dfs.nameservices的名称，现在我们就用到了，我们把定义的逻辑名称指向了各个namenode的别名
   
dfs.namenode.rpc-address.yinzhengjie-hdfs.namenode1 参数的作用：
   #定义远程主机调用的服务器地址。
   
dfs.namenode.http-address.yinzhengjie-hdfs.namenode1 参数的作用：
   #上面我们定义了集群的逻辑名称，也定义节点的逻辑名称，但是真正的ip地址我们始终没有指定，因此我们这一步骤就是指定dfs.namenode.rpc-address.yinzhengjie-hdfs.namenode1对应的IP地址。当然你写主机名称也是可以的，只不过嘛你得在/etc/hosts文件做映射或者配置DNS中有对应的A记录哟！
   
dfs.namenode.shared.edits.dir 参数的作用：
   #配置JournalNode集群的地址。
   
dfs.client.failover.proxy.provider.yinzhengjie-hdfs 参数的作用：
   #配置故障转移的代理类，这是HDFS客户端找到active NameNode类名的一个代理类，如果你不配置这个项的话，那么客户端连接active namenode地址时会报错！实际上故障转移就是通过这个代理类来实现的，我们只需要默认官网的配置即可！不需要手动修改！
   
dfs.ha.fencing.methods 参数的作用：
   #指定ha出现故障时的隔离方法！
   
dfs.ha.fencing.ssh.private-key-files 参数的作用：
   #指定隔离主机的私钥PATH。
   
dfs.journalnode.edits.dir 参数的作用：
   #指定JN节点存放编辑日志的目录。
   
dfs.ha.automatic-failover.enabled 参数的作用：
   #开启自动故障转移功能.
   
– dfs.name.dir
    – NameNode 元数据存放位置
    – 默认值：使用core-site.xml中的hadoop.tmp.dir/dfs/name
    
– dfs.block.size
    – 对于新文件切分的大小，单位byte。默认是64M,建议是128M。每一个节点都要指定，包括客户端。
    – 默认值：67108864
    
– dfs.data.dir
    – DataNode在本地磁盘存放block的位置，可以是以逗号分隔的目录列表，DataNode循环向磁盘中写入数据，每个DataNode
    可单独指定与其它DataNode不一样
    – 默认值：${hadoop.tmp.dir}/dfs/data
    
– dfs.namenode.handler.count
    – NameNode用来处理来自DataNode的RPC请求的线程数量
    – 建议设置为DataNode数量的10%，一般在10~200个之间
    – 如设置太小，DataNode在传输数据的时候日志中会报告“connecton refused"信息
    – 在NameNode上设定
    – 默认值：10
    
– dfs.datanode.handler.count
    – DataNode用来连接NameNode的RPC请求的线程数量
    – 取决于系统的繁忙程度
    – 设置太小会导致性能下降甚至报错
    – 在DataNode上设定
    – 默认值：3
    
– dfs.datanode.max.xcievers
    – DataNode可以同时处理的数据传输连接数
    – 默认值：256
    – 建议值：4096
    
– dfs.permissions
    – 如果是true则检查权限，否则不检查（每一个人都可以存取文件）
    – 于NameNode上设定
    – 默认值：true
    
– dfs.datanode.du.reserved
    – 在每个卷上面HDFS不能使用的空间大小
    – 在每个DataNode上面设定
    – 默认值：0
    – 建议为10737418240，即10G。需要结合MapReduce场景设置。
    
– dfs.datanode.failed.volumes.tolerated
    – DataNode可以容忍损块的磁盘数量，超过这个数量DataNode将会离线，所有在这个节点上面的block将会被重新复制
    – 默认是0，但是在有多块磁盘的时候一般会增大这个值
    
– dfs.replication
    – 在文件被写入的时候，每一块将要被复制多少份
    – 默认是3份。建议3份
    – 在客户端上设定
	通常也需要在DataNode上设定


2、HDFS core-site.xml 参数配置
– fs.default.name
    – 文件系统的名字。通常是NameNode的hostname与port
    – 需要在每一个需要访问集群的机器上指定，包括集群中的节点
    – 例如：hdfs://<your_namenode>:9000/
    
– hadoop.tmp.dir
    – HDFS与本地磁盘的临时文件
    默认是/tmp/hadoop-${user.name}.需要在所有的节点中设定
    
– fs.trash.interval
    – 当一个文件被删掉后，它会被放到用户目录的.Trash目录下，而不是立即删掉
    – 经过此参数设置的分钟数之后，再删掉数据
    – 默认是0，禁用此功能，建议1440（一天）
    
– io.file.buffer.size
    – 设定在读写数据时的缓存大小，应该为硬件分页大小的2倍
    – 默认是4096，建议为65536 （ 64K）