博客
关于我
搭建单机hadoop并运行自带的分词jar包
阅读量:753 次
发布时间:2019-03-22

本文共 2548 字,大约阅读时间需要 8 分钟。

安装单机Hadoop环境(JDK、Tomcat)

前期准备

网络配置

  • 配置IP地址并访问外网

    确保虚拟机网卡配置正确,通过 uniformsorus注入图片Promise检查网络IP地址,并验证能够正常ping外网服务器。

  • 设置主机名和DNS解析

    修改主机名为hadoop,并在/etc/hosts文件中添加记录:

    hostname hadoopvi /etc/hosts

    示例内容:

    127.0.0.1 localhost172.24.48.10 hadoop
  • 禁用防火墙和SELINUX

    禁用CentOS的防火墙:

    systemctl stop firewalldsystemctl disable firewalld

    禁用SELINUX:

    vi /etc/sysconfig/selinuxSELINUX=disabled
  • 安装JDK和Hadoop

    1. 创建部署目录

    cd /usr/libmkdir javacd /usr/localmkdir soft

    2. 取压并解压文件

    cd /usr/local/soft/tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/javatar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/ hadoop

    3. 配置环境变量

    vi /etc/profile

    在文件末尾添加:

    JAVA_HOME=/usr/local/java/jdk1.8.0_171export PATH=$PATH:$JAVA_HOME/binHADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    应用修改:

    source /etc/profile

    4. 验证JDK环境

    java -version

    输出示例:

    java version "1.8.0_171"

    配置Hadoop生态系统

    1. 修改核心配置文件

  • 修改hadoop-env.sh

    vi hadoop-env.sh

    添加:

    export JAVA_HOME=/usr/local/java/jdk1.8.0_171
  • 修改core-site.xml

    vi core-site.xml

    添加内容:

    fs.defaultFS
    hdfs://hadoop:9000
    hadoop.tmp.dir
    /opt/hadoop/tmp
  • 修改hdfs-site.xml

    vi hdfs-site.xml

    添加内容:

    dfs.replication
    1
  • 修改mapred-site.xml

    mv mapred-site.xml.template mapred-site.xmlvi mapred-site.xml

    添加内容:

    mapreduce.framework.name
    yarn
  • 修改yarn-site.xml

    vi yarn-site.xml

    添加内容:

    yarn.resourcemanager.hostname
    hadoop
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  • 启动与测试

    1. 格式化HadoopNameNode

    hdfs namenode -format

    2. 启动Hadoop

    cd /usr/local/hadoop/bin/'start-all.sh

    查看进程:

    jps

    输出示例:

    9798 SecondaryNameNode9943 ResourceManager9528 NameNode9646 DataNode10318 Jps10223 NodeManager

    3.词存测试

    hadoop fs -mkdir /userhadoop fs -put /opt/example-wordcount.txt /user/input/hdfs dfs -ls /user/input/

    运行MapReduce任务:

    hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/input/example-wordcount.txt /user/input/wordcount-result

    查看任务日志:

    tail -f /tmp/hadoop/mapreduce/mapred*log

    安装并启动Tomcat

    1. 解压缩并部署

    tar -zxvf apache-tomcat-10.0.5.tar.gz -C /optmv apache-tomcat-10.0.5/ tomcat10

    2. 启动Tomcat

    cd /opt/tomcat10/bin/./startup.sh

    查看启动日志:

    tail -f /opt/tomcat10/conf Catalina.out

    转载地址:http://xchwk.baihongyu.com/

    你可能感兴趣的文章
    mysqldump 导出数据库中每张表的前n条
    查看>>
    mysqldump: Got error: 1044: Access denied for user ‘xx’@’xx’ to database ‘xx’ when using LOCK TABLES
    查看>>
    Mysqldump参数大全(参数来源于mysql5.5.19源码)
    查看>>
    mysqldump备份时忽略某些表
    查看>>
    mysqldump实现数据备份及灾难恢复
    查看>>
    mysqldump数据库备份无法进行操作只能查询 --single-transaction
    查看>>
    mysqldump的一些用法
    查看>>
    mysqli
    查看>>
    MySQLIntegrityConstraintViolationException异常处理
    查看>>
    mysqlreport分析工具详解
    查看>>
    MySQLSyntaxErrorException: Unknown error 1146和SQLSyntaxErrorException: Unknown error 1146
    查看>>
    Mysql_Postgresql中_geometry数据操作_st_astext_GeomFromEWKT函数_在java中转换geometry的16进制数据---PostgreSQL工作笔记007
    查看>>
    mysql_real_connect 参数注意
    查看>>
    mysql_secure_installation初始化数据库报Access denied
    查看>>
    MySQL_西安11月销售昨日未上架的产品_20161212
    查看>>
    Mysql——深入浅出InnoDB底层原理
    查看>>
    MySQL“被动”性能优化汇总
    查看>>
    MySQL、HBase 和 Elasticsearch:特点与区别详解
    查看>>
    MySQL、Redis高频面试题汇总
    查看>>
    MYSQL、SQL Server、Oracle数据库排序空值null问题及其解决办法
    查看>>