首页 2014年5月

2014年5月

  • hdfs的C++接口编译测试

    hdfs的C++接口编译测试

     项目中要做一个数据包管理服务,我们主要项目开发都是C++的,所以这个数据包管理也是c++开发的,但是数据包的存储是个问题,最后选择了本地存储和hdfs存储结合。     昨天调试了以下hdfs的C++接口,简单这里记录一下: 代码程序是网上随处可以搜到的测试代码: #include <stdlib.h> #include <stdio.h> #include <string.h> #include "hdfs.h" int main(int argc, cha...

    linux 应用 2014-05-09 84 0
  • linux的io栈图

    linux的io栈图

      G+上看到有人画的一个图,非常不错...

    kernel 2014-05-06 105 0
  •  zz分布式文件系统FastDFS架构剖析

    zz分布式文件系统FastDFS架构剖析

       【本文系外部转贴,原文地址:http://www.programmer.com.cn/4380/】 FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。 它只 能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、 mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 Fa...

    未命名 2014-05-04 112 0 rpc
  • 扩展sawzall代码实现自定义接口

    扩展sawzall代码实现自定义接口

    使用sawzall开发mr程序虽然很快,不过也有不少限制,尤其对于新手来说,比如不能直接像c++一样调用线程的库,不过它提供了一种扩展开发的方式,我们可以自己修改sawzall代码实现新的功能接口,在下载平台的sawzall代码中,我们就扩展了一种聚合器,两个和我们web相关的功能接口:连接我们的domain service进行聚合域名的识别,根据url进行域名提取。这里以使用我们comm库中的url类进行域名提取为例来说明一下sawzall的功能函数扩展。 首先来看一下sawzall代码的目录结构和其用途说...

    未命名 2014-05-04 103 0 iptablesnetty
  • 海量数据分析:Sawzall并行处理(中文版论文)

    海量数据分析:Sawzall并行处理(中文版论文)

    海量数据分析:Sawzall并行处理(中文版论文) Google的工程师为了方便内部人员使用MapReduce,研发了一种名为 Sawzall的DSL,同时Hadoop也推出了类似Sawzall的Pig语言,但在语法上面有一定的区别。今天就给大家贴一下Sawall的论文, 值得注意的是其第一作者是UNIX大师之一(Rob Pike)。原文地址,并在这里谢谢译者崮山路上走9遍。 海量数据分析:Sawzall并行处理(中文版论文) Google的工程师为了方便内部人员使用MapReduce,研...

    未命名 2014-05-04 87 0 iptablesnetty
1