海同科技，欢迎您！
就业
培训
资料
职坐标
IT知识库

系统运维

站
热门城市 全国站>
    其他省市
      搜索
      快速购买 快速购买  >
      icon 400-636-0069

      热门课程

      IT学院

      职坐标首页 IT知识库 系统运维 Windows
      选择在海同培训： 30 天 1320 名， 今日申请 31 人 IT培训咨询 >>
      手把手教你Windows运维下搭建spark
      诗诗 2018-03-19 来源 ：网络 阅读 1028 评论 0

      摘要：本篇Windows运维将教你搭建spark，看完这篇文章会让你有更加清晰的操作。

      本篇Windows运维将教你搭建spark，看完这篇文章会让你有更加清晰的操作。


      安装环境

      JDK 1.7

      scala 2.11.7

      hadoop-winutils 2.6.0

      spark 1.3.1


      安装步骤

      1.安装JDK、scala解释器、hadoop-winutils、spark

      2.配置JAVA_HOME、SCALA_HOME、HADOOP_HOME环境变量

      3.运行spark目录下/bin/spark-shell.cmd


      测试代码

      用这里的wordCount代码，在spark-shell上运行

      $ spark-shell

      scala> val file = sc.textFile("<input file>")

      scala> val counts = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)

      scala> counts.saveAsTextFile("<output file>")

      可以在<output file>/part-00000（可能不只一个输出结果文件）中看到结果


      希望这篇文章可以帮助到你。总之，同学们，你想要的职坐标IT频道都能找到！


      windows自动化运维工具 windows系统日志在哪 windows系统日志更改
      本文由 @诗诗 发布于职坐标。未经许可，禁止转载。
      喜欢 | 0 不喜欢 | 0
      看完这篇文章有何感觉？已经有0人表态，0%的人喜欢 快给朋友分享吧~
      评论（0）
      后参与评论
      加入IT交流圈
      JAVA工程师交流群 +加入
      大数据架构师交流群 +加入
      人工智能Python交流群 +加入
      WEB/H5前端交流群 +加入
      职坐标公众号
      系统运维 直通车
      • 索取资料 索取资料 索取资料
      • 答疑解惑 答疑解惑 答疑解惑
      • 技术交流 技术交流 技术交流
      • 职业测评 职业测评 职业测评
      • 面试技巧 面试技巧 面试技巧
      • 高薪秘笈 高薪秘笈 高薪秘笈
      海同师资推荐 更多>>
      黄骈
      黄骈 联系TA
      认证System Analyst，System Architect
      程光淼
      程光淼 联系TA
      精通C、C++等语言、智能芯片开发
      热门就业培训班 更多>>
      【零基础】人工智能+Python全栈开发课程
      【零基础】人工智能+Python全栈开发课程
      人工智能+Python技术风口浪潮
      【零基础】JavaEE高级开发工程师课程
      【零基础】JavaEE高级开发工程师课程
      0基础入学Java课程
      【零基础】大数据与分布式架构师课程
      【零基础】大数据与分布式架构师课程
      培训大数据分布式架构
      Windows30天热搜词 更多>>
      windows桌面运维 windows操作系统 windows自动化运维工具 windows系统日志在哪 windows8 windows7资源管理器 windows10管理员权限 windows官网 windows系统运维 windows系统日志syslog windows2008系统日志 windows网络测试 windowsserver运维 windows运维管理系统 windows启动管理器 windows运维常见问题 windows8激活工具 windows系统日志查看是否拷贝东西 windows系统日志存储位置 windows运维是做什么的

      您输入的评论内容中包含违禁敏感词

      我知道了

      助您圆梦职场 匹配合适岗位
      验证码手机号，获得海同独家IT培训资料
      选择就业方向：
      人工智能物联网
      大数据开发/分析
      人工智能Python
      Java全栈开发
      WEB前端+H5

      请输入正确的手机号码

      请输入正确的验证码

      获取验证码

      您今天的短信下发次数太多了，明天再试试吧！

      提交

      我们会在第一时间安排职业规划师联系您！

      您也可以联系我们的职业规划师咨询：

      小职老师的微信号：z_zhizuobiao
      小职老师的微信号：z_zhizuobiao

      版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
      上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
       沪公网安备 31011502005948号    

      关于我们 │ 法律声明 │ 联系我们

      ©2015 www.zhizuobiao.com All Rights Reserved

      208小时内训课程
      在线客服