博客
关于我
搭建单机hadoop并运行自带的分词jar包
阅读量:753 次
发布时间:2019-03-22

本文共 2548 字,大约阅读时间需要 8 分钟。

安装单机Hadoop环境(JDK、Tomcat)

前期准备

网络配置

  • 配置IP地址并访问外网

    确保虚拟机网卡配置正确,通过 uniformsorus注入图片Promise检查网络IP地址,并验证能够正常ping外网服务器。

  • 设置主机名和DNS解析

    修改主机名为hadoop,并在/etc/hosts文件中添加记录:

    hostname hadoopvi /etc/hosts

    示例内容:

    127.0.0.1 localhost172.24.48.10 hadoop
  • 禁用防火墙和SELINUX

    禁用CentOS的防火墙:

    systemctl stop firewalldsystemctl disable firewalld

    禁用SELINUX:

    vi /etc/sysconfig/selinuxSELINUX=disabled
  • 安装JDK和Hadoop

    1. 创建部署目录

    cd /usr/libmkdir javacd /usr/localmkdir soft

    2. 取压并解压文件

    cd /usr/local/soft/tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/javatar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/ hadoop

    3. 配置环境变量

    vi /etc/profile

    在文件末尾添加:

    JAVA_HOME=/usr/local/java/jdk1.8.0_171export PATH=$PATH:$JAVA_HOME/binHADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    应用修改:

    source /etc/profile

    4. 验证JDK环境

    java -version

    输出示例:

    java version "1.8.0_171"

    配置Hadoop生态系统

    1. 修改核心配置文件

  • 修改hadoop-env.sh

    vi hadoop-env.sh

    添加:

    export JAVA_HOME=/usr/local/java/jdk1.8.0_171
  • 修改core-site.xml

    vi core-site.xml

    添加内容:

    fs.defaultFS
    hdfs://hadoop:9000
    hadoop.tmp.dir
    /opt/hadoop/tmp
  • 修改hdfs-site.xml

    vi hdfs-site.xml

    添加内容:

    dfs.replication
    1
  • 修改mapred-site.xml

    mv mapred-site.xml.template mapred-site.xmlvi mapred-site.xml

    添加内容:

    mapreduce.framework.name
    yarn
  • 修改yarn-site.xml

    vi yarn-site.xml

    添加内容:

    yarn.resourcemanager.hostname
    hadoop
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  • 启动与测试

    1. 格式化HadoopNameNode

    hdfs namenode -format

    2. 启动Hadoop

    cd /usr/local/hadoop/bin/'start-all.sh

    查看进程:

    jps

    输出示例:

    9798 SecondaryNameNode9943 ResourceManager9528 NameNode9646 DataNode10318 Jps10223 NodeManager

    3.词存测试

    hadoop fs -mkdir /userhadoop fs -put /opt/example-wordcount.txt /user/input/hdfs dfs -ls /user/input/

    运行MapReduce任务:

    hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/input/example-wordcount.txt /user/input/wordcount-result

    查看任务日志:

    tail -f /tmp/hadoop/mapreduce/mapred*log

    安装并启动Tomcat

    1. 解压缩并部署

    tar -zxvf apache-tomcat-10.0.5.tar.gz -C /optmv apache-tomcat-10.0.5/ tomcat10

    2. 启动Tomcat

    cd /opt/tomcat10/bin/./startup.sh

    查看启动日志:

    tail -f /opt/tomcat10/conf Catalina.out

    转载地址:http://xchwk.baihongyu.com/

    你可能感兴趣的文章
    mysql 字段类型类型
    查看>>
    MySQL 字符串截取函数,字段截取,字符串截取
    查看>>
    MySQL 存储引擎
    查看>>
    mysql 存储过程 注入_mysql 视图 事务 存储过程 SQL注入
    查看>>
    MySQL 存储过程参数:in、out、inout
    查看>>
    mysql 存储过程每隔一段时间执行一次
    查看>>
    mysql 存在update不存在insert
    查看>>
    Mysql 学习总结(86)—— Mysql 的 JSON 数据类型正确使用姿势
    查看>>
    Mysql 学习总结(87)—— Mysql 执行计划(Explain)再总结
    查看>>
    Mysql 学习总结(88)—— Mysql 官方为什么不推荐用雪花 id 和 uuid 做 MySQL 主键
    查看>>
    Mysql 学习总结(89)—— Mysql 库表容量统计
    查看>>
    mysql 实现主从复制/主从同步
    查看>>
    mysql 审核_审核MySQL数据库上的登录
    查看>>
    mysql 导入 sql 文件时 ERROR 1046 (3D000) no database selected 错误的解决
    查看>>
    mysql 导入导出大文件
    查看>>
    MySQL 导出数据
    查看>>
    mysql 将null转代为0
    查看>>
    mysql 常用
    查看>>
    MySQL 常用列类型
    查看>>
    mysql 常用命令
    查看>>