怎么用scala编写wordcount
scala 编写wordCount加载文件 scala>var f1=sc.textFile("/tmp/dataTest/followers.txt")scala>f1.flatMap(x=>x.split("-")).map((_,1)).collect //每个数字以'-'分割,并数字为key,给每个key赋值1res10: Array[(String, Int)] = Array((2,1), (1,1), (4,1), (1,1), (1,1), (2,1), (6,1), (3,1), (7,1), (3,1), (7,1), (6,1), (6,1), (7,1), (3,1), (7,1)reduceByKey(_+_).collect 将key相同元素合并(4出现一次,7出现4次,6出现3次,2出现2次,3出现3次,1出现3次)scala>f1.flatMap(x=>x.split("-")).map((_,1)).reduceByKey(_+_).collectres12: Array[(String, Int)] = Array((4,1), (7,4), (6,3), (2,2), (3,3), (1,3))这个方法也是同样效果scala>f1.flatMap(x=>x.split("-")).map((_,1)).reduceByKey((x,y)=>x+y).collectres18: Array[(String, Int)] = Array((4,1), (7,4), (6,3), (2,2), (3,3), (1,3))对出现的次数进行排序sortByKeyscala>var resText=f1.flatMap(x=>x.split("-")).map((_,1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1))resText: org.apache.spark.rdd.RDD[(String, Int)] = MapPartitionsRDD[39] at map at :26
scala 语言解决 朋友推荐系统
(1)准备工作1) 安装JDK 6或者JDK 72) 安装scala 2.10.x (注意版本)2)下载Intellij IDEA最新版(本文以IntelliJ IDEA Community Edition 13.1.1为例说明,不同版本,界面布局可能不同):http://www.jetbrains.com/idea/download/3)将下载的Intellij IDEA解压后,安装scala插件,流程如下:依次选择“Configure”–>“Plugins”–>“Browse repositories”,输入scala,然后安装即可(2)搭建Spark源码阅读环境(需要联网)一种方法是直接依次选择“import project”–>选择spark所在目录 –>“SBT”,之后intellij会自动识别SBT文件,并下载依赖的外部jar包,整个流程用时非常长,取决于机器的网络环境(不建议在windows下操作,可能遇到各种问题),一般需花费几十分钟到几个小时。
注意,下载过程会用到git,因此应该事先安装了git。
第二种方法是首先在linux操作系统上生成intellij项目文件,然后在intellij IDEA中直接通过“Open Project”打开项目即可。
在linux上生成intellij项目文件的方法(需要安装git,不需要安装scala,sbt会自动下载)是:在spark源代码根目录下,输入sbt/sbt gen-idea注:如果你在windows下阅读源代码,建议先在linux下生成项目文件,然后导入到windows中的intellij IDEA中。
(3)搭建Spark开发环境在intellij IDEA中创建scala project,并依次选择“File”–>“project structure” –>“Libraries”,选择“+”,将spark-hadoop 对应的包导入,比如导入spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar(只需导入该jar包,其他不需要),如果IDE没有识别scala 库,则需要以同样方式将scala库导入。
之后开发scala程序即可:
如何用idea创建scala程序
1.安装JDK,并设置环境变量(1)JAVA_HOME = C:\Program Files\Java\jdk1.8.0_11(2)Path = D:\Program Files\scala\bin;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin(3)CLASSPATH = %JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;2.安装Scala(点击打开链接),并设置环境变量(1)SCALA_HOME = D:\Program Files\scala(2)Path = D:\Program Files\scala\bin;3.安装IDEA(点击打开链接)(1)安装Scala插件(Configure ->Plugins ->Install JetBrains Plugins : 搜索Scala)4.使用IDEA创建Scala程序(1)创建Scala程序
idea如何创建带有头部信息的scala文件
展开全部 1.安装Scala插件: 2.点击『Install JetBrains plugin』按钮,查找Scala关键词,找到后安装。
3.创建Maven的Scala工程: File-->New Project 选中左边栏的Maven,然后勾选右侧的"Create from archetype"选项,然后选中下方的『scala-archetype-s...
最新版IntelliJ IDEA旗舰版 + JDK10最新版,创建javafx项目后很多...
展开全部 (1)准备工作1) 安装JDK 6或者JDK 72) 安装scala 2.10.x (注意版本)2)下载Intellij IDEA最新版(本文以IntelliJ IDEA Community Edition 13.1.1为例说明,不同版本,界面布局可能不同)3)将下载的Intellij IDEA解压后,安装scala插件,流程如下:依次选择“Configure”–> “Plugins”–> “Browse repositories”,输入scala,然后安装即可(2)搭建Spark源码阅读环境(需要联网)一种方法是直接依次选择“import project”–> 选择spark所在目录 –> “SBT”,之后intellij会自动识别SBT文件,并下载依赖的外部jar包,整个流程用时非常长,取决于机器的网络环境(不建议在windows下操作,可能遇到各种问题),一般需花费几十分钟到几个小时。
注意,下载过程会用到git,因此应该事先安装了git。
第二种方法是首先在linux操作系统上生成intellij项目文件,然后在intellij IDEA中直接通过“Open Project”打开项目即可。
在linux上生成intellij项目文件的方法(需要安装git,不需要安装scala,sbt会自动下载)是:在spark源代码根目录下,输入sbt/sbt gen-idea注:如果你在windows下阅读源代码,建议先在linux下生成项目文件,然后导入到windows中的intellij IDEA中。
(3)搭建Spark开发环境在intellij IDEA中创建scala project,并依次选择“File”–> “project structure” –> “Libraries”,选择“+”,将spark-hadoop 对应的包导入,比如导入spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar(只需导入该jar包,其他不需要),如果IDE没有识别scala 库,则需要以同样方式将scala库导入。
之后开发scala程序即可:编写完scala程序后,可以直接在intellij中,以local模式运行,方法如下:点击“Run”–> “Run Configurations”,在弹出的框中对应栏中填写“local”,表示将该参数传递给main函数,如下图所示,之后点击“Run”–> “Run”运行程序即可。
如果想把程序打成jar包,通过命令行的形式运行在spark 集群中,可以按照以下步骤操作:依次选择“File”–> “Project Structure” –> “Artifact”,选择“+”–> “Jar” –> “From Modules with dependencies”,选择main函数,并在弹出框中选择输出jar位置,并选择“OK”。
最后依次选择“Build”–> “Build Artifact”编译生成jar包。
用Intellij idea 编写Scala程序Spark2.0.0 依赖jar包如何解决
在“File|Project Structure|Libraries”窗体中点击绿色+号,选择“Java”,在弹出的窗体中选择“Spark”的安装目录,定位到Spark\jars目录,点击“OK”,把全部jar文件引入到项目中。
网上和目前出版的书中讲解是spark2.0以下版本,采用的是把sparkle核心文件(如:“spark-assembly-1.3.0-hadoop2.4.0.jar”)拷贝到Interllij IDEA安装目录下的Lib目录下,再使用Spark。
由于Spark2.1.0已经取消了该文件,因此无法用原先的方法。
如何成为 IntelliJ IDEA 键盘流
展开全部 在做Java开发的人一定知道eclipse,那么还有其他的开发工具吗。
当然工具只是一个帮助的东西,肯定有其他的类似的软件,intellij idea就是其中一款。
一起来看看怎么安装。
工具/原料电脑;方法/步骤第一步:进入官网下载intellij idea,download-->选择操作系统-->选择版本;第二步:双击安装文件,进入安装界面;第三步:根据需要修改安装路径;4第四步:勾选添加桌面图标;...
intellij idea不显示类文件了
安装后的一些设置技巧:1.如何完美显示中文:Settings->Appearance中勾选Override default fonts by (not recommended),设置Name:NSimSun,Size:122.如何让光标不随意定位:Settings->Editor中去掉Allow placement of caret after end of line。
3:如何显示行号:Settings->Editor->Appearance标签项,勾选Show line numbers4. 如何让IntelliJ IDEA动的时候不打开工程文件:Settings->General去掉Reopen last project on startup.5. 在IntelliJ IDEA中为什么无法起动Tomcat:请使用ZIP版的Tomcat6. 默认代码提示和补全快捷键跟输入法冲突,如何解决:Settings->Keymap先copy一份快捷键方案。
再展开。
如图:选择功能,再添加一个新的快捷键剩下功能,也要改,如上图蓝色字体部分。
我只是把原有快捷键中的空格改成了“;”,就是分号,这样会方便很多。
IntelliJ IDEA 5.0 快捷键1. Ctrl + Space 完成类、方法、变量名称的自动输入这个快捷键是我最经常使用的快捷键了,它可以完成类、方法、变量名称的自动录入,很方便,现在我写程序基本上都不会完整的输入变量名称了,因为有了工具帮你输入,为什么还要自己敲键盘呢?2. Ctrl + N(Ctrl + Shift + N) 跳转到指定的java文件(其它文件)这个功能很方便,至少我不用每回都在一长串的文件列表里找寻我想要编辑的类文件和jsp文件了3. Ctrl + B 跳转到定义处4. Ctrl + Alt + Right/Left 在编辑过的代码位置之间跳转(前进/后退)5. Ctrl + Alt + T 用*来围绕选中的代码行( * 包括if、while、 try catch等)这个功能也很方便,把以前要做的:①先写if-else,②然后调整代码的缩进格式,还要注意括号是否匹配了,现在用这个功能来做,省事多了6. Ctrl + Alt + B 跳转到方法实现处7. Ctrl + W 按一个word来进行选择操作在IDEA里的这个快捷键功能是先选择光标所在字符处的单词,然后是选择源代码的扩展区域。
举例来说,对下边这个语句java.text.SimpleDateFormat formatter = new java.text.SimpleDateFormat("yyyy-MM-dd HH:mm");当光标的位置在双引号内的字符串中时,会先选中这个字符串,然后是等号右边的表达式,再是整个句子。
我一般都是在对代码进行重新修改的时候使用它来选择出那些长长的复合表达式,很方便:)8. Shift + F1 在浏览器中显示指定的java docs这个也应该是几乎所有的java ide都提供的功能,就不多说了。
9. Ctrl + Q 在editor window中显示java docs这个功能很方便--因为有时仅仅是忘记了自己编写的方法中的某个参数的含义,此时又不想再起一个浏览器来查看java doc,此时这个功能的好处就体现出来了10. Ctrl + / 注释/反注释指定的语句它可以注释和反注释你所选择的语句(使用单行注释符号"//"),也可以用Ctrl + Shift + / 来进行多行语句的注释(即使用多行注释符号"/* ... */")11. F2/Shift + F2 跳转到下/上一个错误语句处IDEA提供了一个在错误语句之间方便的跳转的功能,你使用这个快捷键可以快捷在出错的语句之间进行跳转。
12. Shift + F6 提供对方法、变量的重命名对IDEA提供的Refector功能我用得比较少,相比之下这个功能是我用得最多的了。
对于这个功能没什么可说的了,确实很方便,赶快试一试吧。
13. Ctrl + Alt + L 根据模板格式化选择的代码根据模板中设定的格式来format你的java代码,不过可惜的是只对java文件有效:(14. Ctrl + Alt + I 将选中的代码进行自动缩进编排这个功能在编辑jsp文件的时候也可以工作,提供了一个对上边格式化代码功能的补充。
15. Ctrl + Alt + O 优化import自动去除无用的import语句,蛮不错的一个功能。
16. Ctrl + ]/[ 跳转到代码块结束/开始处Ctrl+G(跳转到指定行)、Ctrl+F4(关闭当前编辑页面)、Ctrl+F(搜索)等等可以去IDEA的官方网站下载一份IDEA 3.0 Default Keymap的pdf文档(http://www.intellij.com/docs/ReferenceCard.pdf),上面有快捷键的详细列表及功能简介,如果你觉得IDEA定义的快捷键的键位组合不符合你的使用习惯的话,你可以在Option--Keymaps中修改设置成你的习惯键位组合。
Ctrl+Space // Complete Code, 与输入法冲突, 改为Alt+SCtrl+D // 行复制, 或选定字符串复制Ctrl + W 按一个word来进行选择操作Ctrl + N(Ctrl + Shift + N) //跳转到指定的java文件(其它文件)Ctrl + B 跳转到定义处Ctrl + Alt + B 跳转到方法实现处Ctrl+J // 插入代码模板Alt+Insert // Generate, 生成Constructor, setter, getterCtrl+O // 覆盖方法Ctrl+I // 实现方法Ctrl+Alt+T // Surround WithCtrl+/ // 行注释Ctrl + Shift + / 来进行多行语句的注释(即使用多行注释符号"/* ... */")Ctrl + Alt + L // 格式化代码Ctrl + Alt + O 优化importCtrl + Alt + T 用*来围绕选中的代码行( * 包括if、while、 try catch等)Alt+F7 // 查找使用情况Shift+F6 // 重命名F6 // 移动Ctrl+Shift+F7 // 显示字符串使用次数Alt+Delete // 安全删除Ctrl + ]/[ 跳转到代码块结束/开始处
转载请注明出处51数据库 » idea scala wordcount