Linuxword Global
当前位置: Linux技术 > Mac苹果电脑系统安装Hadoop3.x+Scala+Spark

最折腾的步骤是在hadoop的安装,我尝试安装了4次,前两次直接用brew install hadoop+其他博客上的安装教程,后面两次直接按照hadoop官网说的安,第三次是因为我安装在/usr/local下面遇到了用户权限的问题才又重新安装了一遍。所以说按照hadoop官网安装是最保险的。下面的介绍都是基于hadoop官网的教程,需要配合官网教程食用~

  1. 设备:macOS+java版本–jdk1.8.0_171.jdk
  2. 参考链接:
    hadoop 官方安装教程
  3. 简要的官方安装过程介绍-官网上那些详细的介绍在这里就不赘述了

hadoop3.x 安装

  • 下载+解压
    在 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 选择一个合适的版本下载,我下的是hadoop-3.2.0,解压到你想放的文件夹下面,我是在/user/***以下的文件夹下面。访达右键前往文件夹输入路径就可以打开这个文件夹啦。
    2019022812181145
  • 按照官网教程在etc/hadoop/hadoop-env.sh添加参数
    赠送 java安装路径查询-终端输入以下代码

/usr/libexec/java_home

  • cd到hadoop文件夹下面命令行输入

bin/hadoop

官网提供了3种安装模式我选的是第二种伪分布式。

  • 文件配置(官网都有,懒得贴( ̀⌄ ́)) etc/hadoop/core-site.xml
  • etc/hadoop/hdfs-site.xml
  • 无密登陆ssh
    ssh这里还要在系统里打开远程登录,在 系统偏好设置 -> 共享 中,勾选 远程登录,右边选择 所有用户。
    20190228123441109
    验证是否成功,终端输入

ssh localhost

  • 格式化文件系统(Format the filesystem)
  • 切到hadoop文件夹下面

$ bin/hdfs namenode -format

这里要千万要注意的是只能格式化一次,要是重复格式化的话会导致namenode的cluster id和datanode的cluster id不一致然后你就得去改id,但我改了没有效果所以就删档重来。

  • Start NameNode daemon and DataNode daemon(逐渐变懒):
  • 切到hadoop文件夹下面,反正要看的你输入的路径有这个sh文件就对了

sbin/start-dfs.sh

到了这里你就能リンクスタート了,后面没有坑,照着官网一步一步走,在Execution的6. Run some of the examples provided:

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'

记得把2.9.2换成你自己的hadoop版本就可以运行的。

踩坑填坑

  • namenode的clusterid和datanode的clusterid不一致如何修改datanode的id
    打开hadoop的logs文件夹-hadoop-***-datanode-bogon.log,寻找id不一致的报错信息,20190228125959650
    然后你可以找到一个路径,我是在/tmp/hadoop-***/dfs/,同样访达右键前往文件夹输入/tmp然后再翻一翻就有啦(***代表我的用户名)20190228130848536把data的那个version里面的clusterid改成跟name下面的clusterid一致;但我尝试过了没反应,可能是我自己哪里又犯错了趴。。
  • 如何卸载安装不成功的hadoop
  1. 删除你解压的那个软件包
  2. 删除/tmp/hadoop-***这个文件夹

配置环境变量(hadoop3+scala+spark)

打开.bash_profile文件,添加

[plain] view plaincopy

  1. export HADOOP_HOME=/Users/ironegg/hadoop-3.2.0  
  2. export SCALA_HOME=/usr/local/Cellar/scala/scala-2.12.8  
  3. export SPARK_HOME=/Users/ironegg/spark  
  4. export PYSPARK_PYTHON=python3  
  5. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin  

配置环境变量的时候不要抄!!记得对照你自己的文件路径!!
20190228142130115
叮~成功的~

scala安装

直接brew install scala
20190228141000119

spark安装

官网 http://spark.apache.org/downloads.html
我安装的是spark-2.4.0-bin-hadoop2.7.tar,解压后把他放在跟hadoop同一文件夹中。
环境变量在上面一起配置好了,mac自带了python2所以要添加个pyspark_python的路径(跟上面的环境变量配置一起了),这样pyspark才能基于python3调用。
终端输入spark-shell调出spark
20190228142609910
那个WARN NativeCodeLoader:62网上有解决办法可以自行查找虽然我还没去看。

「梦想一旦被付诸行动,就会变得神圣,如果觉得我的文章对您有用,请帮助本站成长」

赞(0) 打赏
一分也是爱

支付宝扫一扫打赏

微信扫一扫打赏

上一篇:

下一篇:

相关推荐

博客简介

本站CDN采用VmShell免费提供离中国大陆最近的香港CMI高速网络做支撑,ToToTel打造全球最快速的边沿网络支撑服务,具体详情请见 :https://vmshell.com/ 以及 https://tototel.com/,网站所有的文件和内容禁止大陆网站搬迁复制,谢谢,VPS营销投稿邮箱: admin@linuxxword.com,我们免费帮大家发布,不收取任何费用,请提供完整测试文稿!

精彩评论

友情链接

他们同样是一群网虫,却不是每天泡在网上游走在淘宝和网游之间、刷着本来就快要透支的信用卡。他们或许没有踏出国门一步,但同学却不局限在一国一校,而是遍及全球!申请交换友链

站点统计

  • 文章总数: 2591 篇
  • 草稿数目: 22 篇
  • 分类数目: 6 个
  • 独立页面: 0 个
  • 评论总数: 2 条
  • 链接总数: 0 个
  • 标签总数: 13021 个
  • 注册用户: 139 人
  • 访问总量: 8,649,391 次
  • 最近更新: 2024年11月21日