Hadoop安装 1.0（简版）

前提：一定要保证iptables是关闭的并且selinux是disabled1、准备硬件1台namenode和3台datanodenamenode 192.168.137.100datanode1 192.168.137.101datanode2 192.168.137.102datanode3 1...

运行问题 Unable to load native-hadoop library for your p

碰到这种问题可以配置LD_LIBRARY_PATH来解决export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native再执行就不会有问题了。另外有需要云服务器可以了解下风纳云fengnayun.com，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有...

配置并启动spark的thriftserver网关

1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh --driver-class-path /usr/local/spark/spark-1.3.0-bin-hadoop2.3...

安装SPARK和SCALA

1、下载 sparkhttp://mirrors.cnnic.cn/apache/spark/spark-1.3.0/spark-1.3.0-bin-hadoop2.3.tgz2、下载scalahttp://www.scala-lang.org/download/2.10.5.html3、安装sca...

MapReduce 初试

一、境遇    接触Hadoop已经有半年了，从Hadoop集群搭建到Hive、HBase、Sqoop相关组件的安装，甚至Spark on Hive、Phoenix、Kylin这些边缘的项目都有涉及。如果说部署，我自认为可以没有任何问题，但是如果说我对于这个系...

Hive Hue的导出XLS格式，数据不全

在使用Hive Hue查询出结果之后，点击按钮【以XLS格式下载结果】导出的数据文件不完整。下图是按照XLS和CVS格式导出的文件大小比较的图片，明显按照cvs格式导出的文件数据比xls格式的数据多无奈，暂时只能导出csv，然后另存为成xls格式。另外有需要云服务器可以了解下风纳云fengnayun...

O2O之下，腾讯觊夺移动支付大数据，手Q支付出战支付宝

　　业内围绕BAT做O2O的探讨有很多，不过BAT从并未认定自身是一家O2O公司，虽然三巨头均在不同程度上涉足了O2O市场，但更多是都是在做流量、信息、数据等侧重线上的事，真正的核心是移动支付，尤其是移动支付中蕴藏的大数据价值。腾讯的支付野心 微信支付+QQ钱包力拼支付宝钱包 　...

storm ui显示supervisor个数与实际不符的解决

现象:启动了多个supervisor，单在ui上只显示一个解决方法：清空"storm.local.dir"对应的目录中的内容，或者重新指定一个目录，如：          #strom local dir    &nbs...

基于Hadoop数据仓库Hive1.2部署及使用

以下基于上篇Hadoop2.6集群部署：http://lizhenliang.blog.51cto.com/7876557/1661354接下来安装Hadoop数据仓库Hive，上节了解HBase简单使用，听起来HBase与Hive有些类似，概念也有点模糊，那我们先了解下他们之间有什么区别：&nbs...

自动化运维工具之ansible

一、ansiable介绍ansible的架构大致如下