第4页

  • netty用pb来实现多接口rpc

    netty用pb来实现多接口rpc

    在netty中使用pb, nettty的pb编解码必须指定要解码和编码的pb结构体,这然做多接口的应用就很不方便,这里采用了一种简单的方式来解决。 pb定义如下: package org.zhwen.netty.hello; enum ReqestType { LOGIN = 0; SERVICE = 1; } message Request { required ReqestType type = 1; optional Login login = 100; optional...

    linux 应用 2014-12-17 21 0 dockerubuntu
  • zz MySQL的InnoDB索引原理详解

    zz MySQL的InnoDB索引原理详解

    原文地址:http://www.admin10000.com/document/5372.html 摘要: 本篇介绍下Mysql的InnoDB索引相关知识,从各种树到索引原理到存储的细节。 InnoDB是Mysql的默认存储引擎(Mysql5.5.5之前是MyISAM,文档)。本着高效学习的目的,本篇以介绍InnoDB为主,少量涉及MyISAM作为对比。 这篇文章是我在学习过程中总结完成的,内容主要来自书本和博客(参考文献会给出),过程中加入了一些自己的理解,描述不准确的地方烦请指出。   1 各...

    linux 应用 2014-10-27 20 0 shell
  • ngingx访问限制和iptables简单使用

    ngingx访问限制和iptables简单使用

    为了方便安装了一个phpmyadmin,结果公司扫描了之后说要做一些安全限制,主要还是用到nginx的访问限制和iptables,这里稍微做一下记录 nginx的限制较为简单,在server中添加对phpmyadmin的限制即可 location ~* /phpmyadmin/ { allow 192.168.3.0/24; deny all; } 主要还是记录一下iptables的简单使用: 1、查看 iptables -vL –line-number -v 输出...

    linux 应用 2014-10-14 33 0 2pchdfs
  • hdfs的C++接口编译测试

    hdfs的C++接口编译测试

     项目中要做一个数据包管理服务,我们主要项目开发都是C++的,所以这个数据包管理也是c++开发的,但是数据包的存储是个问题,最后选择了本地存储和hdfs存储结合。     昨天调试了以下hdfs的C++接口,简单这里记录一下: 代码程序是网上随处可以搜到的测试代码: #include <stdlib.h> #include <stdio.h> #include <string.h> #include "hdfs.h" int main(int argc, cha...

    linux 应用 2014-05-09 21 0
  • linux的io栈图

    linux的io栈图

      G+上看到有人画的一个图,非常不错...

    kernel 2014-05-06 27 0
  •  zz分布式文件系统FastDFS架构剖析

    zz分布式文件系统FastDFS架构剖析

       【本文系外部转贴,原文地址:http://www.programmer.com.cn/4380/】 FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。 它只 能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、 mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 Fa...

    未命名 2014-05-04 25 0 rpc
  • 扩展sawzall代码实现自定义接口

    扩展sawzall代码实现自定义接口

    使用sawzall开发mr程序虽然很快,不过也有不少限制,尤其对于新手来说,比如不能直接像c++一样调用线程的库,不过它提供了一种扩展开发的方式,我们可以自己修改sawzall代码实现新的功能接口,在下载平台的sawzall代码中,我们就扩展了一种聚合器,两个和我们web相关的功能接口:连接我们的domain service进行聚合域名的识别,根据url进行域名提取。这里以使用我们comm库中的url类进行域名提取为例来说明一下sawzall的功能函数扩展。 首先来看一下sawzall代码的目录结构和其用途说...

    未命名 2014-05-04 23 0 iptablesnetty
  • 海量数据分析:Sawzall并行处理(中文版论文)

    海量数据分析:Sawzall并行处理(中文版论文)

    海量数据分析:Sawzall并行处理(中文版论文) Google的工程师为了方便内部人员使用MapReduce,研发了一种名为 Sawzall的DSL,同时Hadoop也推出了类似Sawzall的Pig语言,但在语法上面有一定的区别。今天就给大家贴一下Sawall的论文, 值得注意的是其第一作者是UNIX大师之一(Rob Pike)。原文地址,并在这里谢谢译者崮山路上走9遍。 海量数据分析:Sawzall并行处理(中文版论文) Google的工程师为了方便内部人员使用MapReduce,研...

    未命名 2014-05-04 19 0 iptablesnetty
  • 使用gdb和ps定位程序cpu占用问题

    使用gdb和ps定位程序cpu占用问题

    先使用ps获取子进程cpu占用时间,可以看出那个线程cpu占用严重 ps -m -o tid,cpu,time -p 6321 TID CPU     TIME -   - 00:30:50 6321   - 00:00:00 6322   - 00:30:50 6323   - 00:00:00 6324   - 00:00:00 6325   - 00:00:00 6326   - 00:00:00 6327   - 00:00:00 6328   - 00:00:00  在用gdb a...

    linux 应用 2014-04-30 35 0 uwsgi
  • Storm云计算学习摘录总结

    Storm云计算学习摘录总结

    本想自己也总结以下,看到这篇文章总结的太好了,直接转载了 原文:http://my.oschina.net/yilian/blog/175451 1.Storm概念: 是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2,基本是用Clojure写的。 Storm为分布式实时计...

    linux 应用 2014-04-12 19 0
  • liunx系统分析图解

    liunx系统分析图解

    ...

    kernel 2014-04-11 25 0
  • Sqlite使用笔记

    Sqlite使用笔记

      在目前做的元数据节点中,为了保存一些节点的私有数据,选择了本地存储,在选择本地存储的选择上又选择了使用sqlite,sqlite对数据存储和数据解析在使用比较简单。而且编译入当前代码也是比较容易的。   Sqlite常使用的函数有下面几个。 sqlite3_open() sqlite3_errcode(_sqlite) sqlite3_errmsg() sqlite3_get_table() sqlite3_exec() sqlite3_prepare() sqlite3_step() sq...

    linux 应用 2014-04-10 22 0 nginx
  • storm安装过程

    storm安装过程

    storm的官方安装说明:https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster 本文主要介绍storm的单机版的安装测试,也是学习阶段,还没有机会搭建集群。 1.storm安装软件包列表: python、zookeeper、zeromq、jzmq、storm sudo apt-get install autoconf automake libtool sudo apt-get install build-e...

    未命名 2014-03-30 21 0 sqlite
  • Hadoop2.3.0源码编译过程记录

    Hadoop2.3.0源码编译过程记录

        要在hadoop上作一个mr程序,做一些统计工作。但是发现官网下载的2.3的库只有32位的,而我的机器系统都是64位的。用g++直接指定编译32位的程序又发现头文件依赖有问题,没法编译通过。所以就只能编译hadoop,编译后在服务上启动64位程序,再编译mr程序进行工作。下面是编译的过程和其中遇到的一些问题。 编译文件准备: protobuf-2.5.0.tar.gz findbugs-2.0.3-source.zip gcc, build-essential, libssl-dev...

    storm 2014-03-28 22 0
  • hadoop2.3单机搭建

    hadoop2.3单机搭建

       没事整理了之前搭建hadoop的过程,这里使用了最新的hadoop版本,想在单机上做一些测试,顺手也就整理了一下这个文档。 一、准备环境 1.Hadoop是用Java开发的,必须要安装JDK1.6或更高版本 apt-get install openjdk-6-jdk 2.Hadoop是通过SSH来启动slave主机中的守护进程,必须安装OpenSSH apt-get install openssh-server 3.Hadoop更新比较快,我们采用最新版hadoop2.3...

    storm 2014-03-23 23 0
  • 配置SSH无密码登录问题解决记录

    配置SSH无密码登录问题解决记录

    在本地测试搭建hadoop玩以下,不想在ssh配置上栽了了,记录以下过程和处理方式: hadoop@debian:~$ ssh-keygen -t rsa  #一直回车生成 hadoop@debian:~$ cd hadoop@debian:~$ cd .ssh/ hadoop@debian:~/.ssh$ ls id_rsa  id_rsa.pub hadoop@debian:~/.ssh$ cat id_rsa.pub >> authorized_keys hadoop@debian:...

    linux 应用 2014-03-23 22 0
  • stl的内存管理

    stl的内存管理

      zz http://biancheng.dnbcw.info/c/73875.html 在你大量使用stl的各种容器时,你确定它们会按你想象的那样释放内存吗?你使用map存放1G的数据,当map clear后,它占用的空间释放了吗? 下面是一些统计数据: vector: 1. 释放内存时机:退出作用域 2. 存10m个int,约占40m内存 priority_queue with vector: 1. 释放内存时机:退出作用域 2. 存10m个int,约占40m内...

    linux 应用 2014-02-15 26 0 django

搜索

«   2019年8月   »
1234
567891011
12131415161718
19202122232425
262728293031
  • 订阅本站的 RSS 2.0 新闻聚合

控制面板

您好,欢迎到访网站!
  查看权限