RDD Transformation和Action源码剖析

wordcount.toDebugString查看RDD的继承链条所以广义的讲，对任何函数进行某一项操作都可以认为是一个算子，甚至包括求幂次，开方都可以认为是一个算子，只是有的算子我们用了一个符号来代替他所要进行的运算罢了，所以大家看到算子就不要纠结，他和f(x)的f没区别，它甚至和加减乘除的基本运...

Juniper SRX（JunOS）通过RPM做备份路由，类似于Cisco IP SLA

{primary:node0}[edit services]root@SRX# show rpm {       probe Probe-2nd-Line {            &nbs...

配置static IP遇到的问题

今天配置IP折腾了一个上午，然后虚拟机还是不能链接外网 最后在QQ群里面求助了 发现是IP冲突了  真机IP和虚拟机不能用同一个IP 。本来是想链接putty访问虚拟机，然后发现虚拟机怎么也ping不同。最后发现在群里面求助发现是真机和虚拟机处在同一个IP上面。占用了IP，然后更改stat...

搭建hadoop伪分布

hadoop下载地址wget http://hadoop.f.dajiangtai.com/hadoop2.2/hadoop-2.2.0-x64.tar.gz0、创建用户 useradd –m  hadoop1、 下载hadoop 并解压2、为 hadoop 文件分配角色&nbs...

交换机基本配置明细解读

conf tservice timestamps debug datetimelocaltime    #使用本地时间（精确到毫秒）标记DEBUG信息service timestamps log datetimelocaltime   &n...

王家林每日大数据语录Spark篇0018（2015.11.7于南宁）

在Spark的reduceByKey操作时会触发Shuffle的过程，在Shuffle之前，会有本地的聚合过程产生MapPartitionsRDD，接着具体Shuffle会产生ShuffledRDD,之后做全局的聚合生成结果MapPartitionsRDD另外有需要云服务器可以了解下风纳云fengn...

实战Cacti网络监控(2)——搭建Spine轻量级框架实现多线程监控

本次实验接着上次实验的环境。实战Cacti网络监控(1)——基础安装配置实验内容： 1.监控物理主机2.Spine 多线程监控3.monitor监控插件&

Irssi Error [Cannot assign requested address: x.x.x.x]

Symptom: /connect irc.anyserver.com Irssi: Unable to connect server irc.freenode.net port 6667 [Cannot ...

MapReduce提交到Yarn上大体执行流程

启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjarResouceManager 会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster由主管进程(MRApp

解决浏览器主页被篡改

以下是以win10为背景： 有时可以在浏览器的快捷方式-“属性-快捷方式-目标”把其后面的流氓网址删除即可，如果没有可疑的网址，可以参照下面的方法打开浏览器的安装目录，找到“应用程序”，给他重新命名(要与之前不一样)；再打开时发现没有流氓主页了（注意：改过“名字”后，有些程序会不识别，要求...