spark内核

术语解释Executor  多线程的方式运行&

Spark on yarn

ResourceManager  资源管理   只有一个（资源以Container表示）ApplicationMaster  应用管理   用户每提交一个application都包含一个ApplicationMasterNodeManage...

PPP的认证配置是什么

本篇文章给大家分享的是有关PPP的认证配置是什么，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。    通常的封装技术有以太网的封装，PPP和HDLC的封装，以太网常用于局域网之间的连接，而后两种常用于广域网...

Spark学习知识点

1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任...

HDFS balancer怎么用

小编给大家分享一下HDFS balancer怎么用，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！HDFS balancer在hadoop的hdfs集群中新添加节点后，在新节点上运行./start-balancer.sh。运...

hadoop hdfs命令

命令基本格式:hadoop fs/dfs -cmd < args >1.lshadoop fs -ls  /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls&n...

sqoop相关整理记录

生产背景： 在从mysql导入到hive中,遇到如下问题：从hive导出到mysql中，遇到如下问题：sqoop 缺点: 1  基于命令行的操作方式，易出错，且不安全。2  数据传输和数据格式是紧耦合的，这使得connector无法支持所有的数据格式

hadoop 安全模式

 hadoop dfsadmin -safemode leave命令强制离开   hadoop dfsadmin-safemode 命令   格式：Usage: java DFSAdmin [-safemode enter | leave | get |wait] 用户...

互联网思维：3个段子，九大思维，十九大法则

今×××文档的时候，突然看到了这篇文章，感觉挺有意思的，了解一下；增加常识：IDG：美国国际数据集团（International Data Group） 是全世界最大的信息技术出版、研究、发展      与风险投资公司。IDG集团公司创建于1964年，总部

使用vim配置方案spf13中碰到的一些问题

目的：达到我自己自定义安装插件的目的安装YCM（YouCompleteMe）自动补全神器之前的准备先安装编译环境：sudo apt-get install build-essential cmake sudo apt-get install...