spark 1.X standalone和on yarn安装配置

安装JDK 1.7以上 Hadoop 2.7.0不支持JDK1.6，Spark 1.5.0开始不支持JDK 1.6安装Scala 2.10.4安装 Hadoop 2.x  至少HDFSspark-env.shexport JAVA_HOME= export SCALA...

Hadoop基本概念

Hadoop是一个是个海量数据的分布式存储和计算平台  对于数据，我们大致可以将其分为三类：                         结构化数据（对于结...

PowerShell中如何获取AD账号及邮箱信息

小编给大家分享一下PowerShell中如何获取AD账号及邮箱信息，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！有时候我们需要查询账号的很多属性，但是需要通过不同的命令去获取，有点类似SQL Server里面的多表连接查询...

I/O多路复用——poll

poll系统调用和select类似，也是在指定时间内轮询一定数量的文件描述符，以测试其中是否有就绪者。不同于select使用三个位图来表示三个fdset的方式，poll使用一个pollfd的指针实现。poll API&

关于下一代防火墙的几个思考

NGFW（下一代防火墙）出来有些日子了，这3年多来众多主流厂家也都推出了各自的下一代墙。然而热闹之后，下一代墙并没有像厂家盼望的那样，对传统墙形成替代的燎原之势。与此同时，UTM也开始演进，逐渐和NGFW越来越没有区别。此外，虚拟化的兴起，对防火墙也提出了新的要求，不管是传统墙还是下一代墙，在虚拟化...

linux hadoop大数据环境下，某台数据节点下/home文件夹损坏，使用shell快速重新创建

问题描述:    局域网内搭建hadoop环境，节点/home是挂载在单独磁盘上，某次断电原因导致几个节点/home文件系统损坏，无法恢复，只能格式化之后重新挂载/home，然后使用脚本快速恢复hadoop众多用户。   &nbs...

用maven将swing项目打成可执行jar包（含依赖）

本文介绍通过maven将项目打成可执行jar包的方法。本文需要读者具备maven基础知识，了解maven的一般配置、插件配置，了解maven的phase、goal的概念，了解dependency和manifest的作用。先决条件：（本文所述方法适用于项目的特点）1、项目必须是maven项目；3、项目...

Archive failed

终端输入：xcodebuild -scheme xxx(项目名) archive可查看具体哪里导致Archive failed另外有需要云服务器可以了解下风纳云fengnayun.com，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、...

ELK 日志收集实时分析大数据平台（简介）

ELK  “Elasticsearch、Logstash、Kibana” 今天只是了解 。搭建服务的文章后期待续。    日志的收集和分析一直都是困扰你我的麻烦事情 ，虽然我们知道的是 Splunk 公司正是凭借着自己在这个大数据...

Flume-1.6.0学习笔记（五）sink到hdfs

鲁春利的工作笔记，谁说程序员不能有文艺范？Flume从指定目录读取数据，通过memory作为channel，然后讲数据写入到hdfs。Spooling Directory Source（http://flume.apache.org/FlumeUserGuide.html#spooling-dire...