走进大数据 | 如何在Mac上配置maven+eclipse+spark开发环境

2018-09-06 ItStar

微信关注公众号(Lambda在线)

第一时间推送最新技术资料

对于用Mac做开发好?还是用Win做开发好?程序员界一直争论不断。随着各自系统和环境的日益完善,个人觉得还是兼容并序比较好,毕竟每个人都有自己的开发习惯,强求不得。

 

虽然有争论,但现在Mac用于开发的份额日渐增加是个不争的事实。那么我们做大数据开发能不能用Mac呢?当然是可以的。本文就给大家讲讲怎么来配置maven+eclipse+spark开发环境。


1、安装jdk

2、下载scala-ide。官网:http://scala-ide.org

3、安装maven

4、在eclipse中,配置maven的安装了路径。偏好设置--->maven--->installpath

5、修改maven的镜像文件,即setting.txt中的mirror。具体修改为如下:

<mirrors>    <mirror>      <id>alimaven</id>      <name>aliyun maven</name>      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>      <mirrorOf>central</mirrorOf>    </mirror>    <!-- mirror     | Specifies a repository mirror site to use instead of a given repository. The repository that     | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used     | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.     |    <mirror>      <id>mirrorId</id>      <mirrorOf>repositoryId</mirrorOf>      <name>Human Readable Name for this Mirror.</name>      <url>http://my.repository.com/repo/path</url>    </mirror>     -->  </mirrors>

6、修改pom.xml文件中的内容:

(1)需要修改scala的版本

(2)需要添加spark依赖包

此时,保存就会从上面设置的镜像当中下载对应的jar包。若没有设置镜像的话,由于国外的有些包需要FQ,并且每次修改需要记载很长的时间。导致无法运行或者运行失败。

7、修改工程属性中对应的scala compiler版本。

到此基本上配置已经结束,如果通过执行:mvn clean package ;然后通过spark-submit提交运行的话,应该是不会抱错。但是本地运行的话,还是会报错,具体错误如下:

 Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path

这个错误,通过Google和百度,找到一个帖子解决了这个办法:对应的网址:http://blog.csdn.net/stark_summer/article/details/47361603

通俗讲来,解决办法是:

8、解决7的问题。

(1)进入maven下载源的目录下:

  cd  /Users/jeffery/.m2/repository/org/xerial/snappy/snappy-java/1.0.4.1

(2)解压snappy-java-1.0.4.1.jar文件

  unzip snappy-java-1.0.4.1.jar

(3)进入目录:org/xerial/snappy/native/Mac/x86_64/

  cd org/xerial/snappy/native/Mac/x86_64/

(4)复制文件:

  cp libsnappyjava.jnilib libsnappyjava.dylib

(5)返回到解压前的目录下,并进行压缩

  先备份。 cp snappy-java-1.0.4.1.jar snappy-java-1.0.4.1.jar.old 

      后压缩成圆文件名:jar cf snappy-java-1.0.4.1.jar org

ok了。









本文来源:博客园

版权申明:本站内容全部来自于腾讯微信公众号,属第三方自助提交推荐。《走进大数据 | 如何在Mac上配置maven+eclipse+spark开发环境》的版权归原作者「ItStar」所有, 文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

ItStar

ItStar

ITSTAR是潭州教育集团旗下权威技术咨询服务平台,

猜你喜欢