文章列表
前面几篇文章的梳理让我对hadoop新yarn 框架有了一个大概的认识，今天开始回归老本行---开始coding。
因为涉及到linux系统部署，所以今天安了一个linux 的 lszrz 插件
下载并解压缩 lrzsz-0.12.20.tar.gz
安装之前，需要检查系统是否有gcc 若没有请安装 yum install gcc
安装lrzsz ./configure && make && make install上面安装过程默认把lsz和lrz安装到了/usr/local/bin/目录下, 下面创建软链接, 并命名为rz/sz:# cd /us ...
hadoop yarn几个问题的记录
- 博客分类：
- hadoop
本文主要介绍以下几个知识：一、老的 hadoop框架存在的问题二、yarn框架的优势三、yarn框架中几个功能组件介绍一：老的 hadoop框架存在的问题首先我们要了解老hadoop框架中任务流程1：首先用户程序 (JobClient) 提交了一个 job，job ...
本章部署一个hadoop 集群
由于2.5.x 已经出来有好几个月了，网上配置类似架构的文章也有很多，所以在这里重点描述一下namenode 和 secondary namenode不再同一台机器上的配置方法，以及namenode 宕机后 meta数据的恢复方法，并且描述一 ...
下面我们来一步步的进行hadoop安装部署：
从零开始
机器环境
Distributor ID: CentOS
Description: CentOS release 5.8 (Final)
Release: 5.8
Codename: Final
jdk 版本
java version "1.6.0_45"
hadoop 版本
2.5.2
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/
安装jdk:
从甲骨文官方下载：
http://www.oracle.com/technetwork/java/ ...
上一篇文章中简单介绍了一下hadoop文件存储的一些逻辑与简单原理，既然后写入，那肯定要读取分析数据咯，下面我在白话一下hdfs中文件读取的逻辑与简单原理。
第一步：跟写入文件一样，首先客户端会调用DistributedFilesyStem ...
最近忙里偷闲，充充电，虽然在四线城市，但是也要为即将到来的大数据时代最准备不是
下面的大白话简单记录了hdfs在存储文件时都做了哪些个事情，问了将来集群问题的排查提供一些参考依据。
步入正题
创建一个新文件 ...
nginx 的官方wiki 提供了nginx 模块，使其支持了对redis 的读写访问以及支持第三方语言lua去对nginx功能进行扩充。
注：页面最下面有本文描述的各个模块的安装文件。
下面描述两个主要的模块
模块一：HttpRedis2Module
wiki 地址：http://wiki.nginx.org/HttpRedis2Module#Description
官方描述如下：This is an Nginx upstream module that makes nginx talk to a Redis 2.x server in a non-blocking way.
这 ...
注：转载自 http://blog.csdn.net/roadmap001/article/details/8686301
单点登录（SSO）是复杂应用系统的基本需求，Yale CAS是目前常用的开源解决方案。CAS认证中心，基于其特殊作用，自然会成为整个应用系统的核心，所有应用系统的认证工作，都将请求到CAS来完成。因此CAS服务器是整个应用的关键节点，CAS发生故障，所有系统都将陷入瘫痪。同时，CAS的负载能力要足够强，能够承担所有的认证请求响应。利用负载均衡和集群技术，不仅能克服CAS单点故障，同时将认证请求分布到多台CAS服务器上，有效减轻单台CAS服务器的请求压力。下面将基于CAS ...
必要参数：
casServerLoginUrl ：定义CAS服务器的登录URL地址，例如： https://localhost:8443/cas/login
service or serverName：
service ：发送到CAS服务器的service URL地址，例如https://localhost:8443/yourwebapp/index.html
serverName：CAS客户端的服 ...
看到一篇介绍thrift 最基本应用的 几句话就可以说清楚怎么使用 记录下
简单的实现一个PING的功能
1.安装thrift
http://thrift.apache.org/download/
人人网镜像下载:
http://labs.renren.com/apache-mirror/thrift/0.6.1/thrift-0.6.1.exe
2.编写Thrift文件（定义接口，结构，异常等）,保存为test.thrift
namespace java com.netqin
service ThriftService{
void ping(1: i32 lengt ...
基于cas的单点登录配置
- 博客分类：
- sso
CAS 介绍
CAS 是 Yale 大学发起的一个开源项目，旨在为 Web 应用系统提供一种可靠的单点登录方法，CAS 在 2004 年 12 月正式成为 JA-SIG 的一个项目。CAS 具有以下特点：
开源的企业级单点登录解决方案。
CAS Server 为需要独立部署的 ...
自己的入门一点心得。
1：编写一个服务器端，启用10000端口（1024以下端口建议不要使用）。
import java.net.*;
import java.io.*;
public class Server {
private ServerSocket ss;
private Socket socket;
private BufferedReader in;
private PrintWriter out;
public Server() {
try {
ss = new ServerSocket(10000);
while (t ...
oracle 分组常用
- 博客分类：
- oracle
row_number() OVER (PARTITION BY COL1 ORDER BY COL2)
表示根据COL1分组，在分组内部根据 COL2排序，而此函数计算的值就表示每组内部排序后的顺序编号（组内连续的唯一的)
查询每个部门的最高工资
select deptno,ename,sal from
(select deptno,ename,sal,row_number() over (partition by deptno order by sal desc) as sal_order
from scott.emp) where s ...
一个很不错的bash脚本编写教程，至少没接触过BASH的也能看懂！
建立一个脚本
Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell)
进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在
bash的大姐，bourne shell中运行）。
如同其他语言一样，通过我们使用任意一种文字编辑器，比如nedit、kedit、emacs、vi
等来编写我们的shell程序。 程序必须以下面的行开始（必须方在文件的第一行）：
#!/bin/s ...
从学校拿毕业证回来就是连续的出差，在海南一个月，上午回北京，下午就又去呼市出差，不过这次来呼市收获还是不小的。
好了闲话不多说了，开始部署一个基本的postfix（注明是不带smtp验证的，因为只是作为发送服 ...