博客
关于我
搭建单机hadoop并运行自带的分词jar包
阅读量:753 次
发布时间:2019-03-22

本文共 2548 字,大约阅读时间需要 8 分钟。

安装单机Hadoop环境(JDK、Tomcat)

前期准备

网络配置

  • 配置IP地址并访问外网

    确保虚拟机网卡配置正确,通过 uniformsorus注入图片Promise检查网络IP地址,并验证能够正常ping外网服务器。

  • 设置主机名和DNS解析

    修改主机名为hadoop,并在/etc/hosts文件中添加记录:

    hostname hadoopvi /etc/hosts

    示例内容:

    127.0.0.1 localhost172.24.48.10 hadoop
  • 禁用防火墙和SELINUX

    禁用CentOS的防火墙:

    systemctl stop firewalldsystemctl disable firewalld

    禁用SELINUX:

    vi /etc/sysconfig/selinuxSELINUX=disabled
  • 安装JDK和Hadoop

    1. 创建部署目录

    cd /usr/libmkdir javacd /usr/localmkdir soft

    2. 取压并解压文件

    cd /usr/local/soft/tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/javatar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/ hadoop

    3. 配置环境变量

    vi /etc/profile

    在文件末尾添加:

    JAVA_HOME=/usr/local/java/jdk1.8.0_171export PATH=$PATH:$JAVA_HOME/binHADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    应用修改:

    source /etc/profile

    4. 验证JDK环境

    java -version

    输出示例:

    java version "1.8.0_171"

    配置Hadoop生态系统

    1. 修改核心配置文件

  • 修改hadoop-env.sh

    vi hadoop-env.sh

    添加:

    export JAVA_HOME=/usr/local/java/jdk1.8.0_171
  • 修改core-site.xml

    vi core-site.xml

    添加内容:

    fs.defaultFS
    hdfs://hadoop:9000
    hadoop.tmp.dir
    /opt/hadoop/tmp
  • 修改hdfs-site.xml

    vi hdfs-site.xml

    添加内容:

    dfs.replication
    1
  • 修改mapred-site.xml

    mv mapred-site.xml.template mapred-site.xmlvi mapred-site.xml

    添加内容:

    mapreduce.framework.name
    yarn
  • 修改yarn-site.xml

    vi yarn-site.xml

    添加内容:

    yarn.resourcemanager.hostname
    hadoop
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  • 启动与测试

    1. 格式化HadoopNameNode

    hdfs namenode -format

    2. 启动Hadoop

    cd /usr/local/hadoop/bin/'start-all.sh

    查看进程:

    jps

    输出示例:

    9798 SecondaryNameNode9943 ResourceManager9528 NameNode9646 DataNode10318 Jps10223 NodeManager

    3.词存测试

    hadoop fs -mkdir /userhadoop fs -put /opt/example-wordcount.txt /user/input/hdfs dfs -ls /user/input/

    运行MapReduce任务:

    hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/input/example-wordcount.txt /user/input/wordcount-result

    查看任务日志:

    tail -f /tmp/hadoop/mapreduce/mapred*log

    安装并启动Tomcat

    1. 解压缩并部署

    tar -zxvf apache-tomcat-10.0.5.tar.gz -C /optmv apache-tomcat-10.0.5/ tomcat10

    2. 启动Tomcat

    cd /opt/tomcat10/bin/./startup.sh

    查看启动日志:

    tail -f /opt/tomcat10/conf Catalina.out

    转载地址:http://xchwk.baihongyu.com/

    你可能感兴趣的文章
    MySQL 常用列类型
    查看>>
    mysql 常用命令
    查看>>
    Mysql 常见ALTER TABLE操作
    查看>>
    MySQL 常见的 9 种优化方法
    查看>>
    MySQL 常见的开放性问题
    查看>>
    Mysql 常见错误
    查看>>
    mysql 常见问题
    查看>>
    MYSQL 幻读(Phantom Problem)不可重复读
    查看>>
    mysql 往字段后面加字符串
    查看>>
    mysql 快照读 幻读_innodb当前读 与 快照读 and rr级别是否真正避免了幻读
    查看>>
    MySQL 快速创建千万级测试数据
    查看>>
    mysql 快速自增假数据, 新增假数据,mysql自增假数据
    查看>>
    MySql 手动执行主从备份
    查看>>
    Mysql 批量修改四种方式效率对比(一)
    查看>>
    mysql 批量插入
    查看>>
    Mysql 报错 Field 'id' doesn't have a default value
    查看>>
    MySQL 报错:Duplicate entry 'xxx' for key 'UNIQ_XXXX'
    查看>>
    Mysql 拼接多个字段作为查询条件查询方法
    查看>>
    mysql 排序id_mysql如何按特定id排序
    查看>>
    Mysql 提示:Communication link failure
    查看>>