博客
在Debian 9 安装Docker和Docker基本使用方法
一 安装步骤 1）先清除以前的版本 sudo apt-get -y remove docker docker-engine docker.io Contents such as volumes, images, and networks under /var/lib/docker/ directory are preserved.
February 6, 2018
helight.info域名启用
纠结了好久，终于定了，启用了helight.info这个域名，同时还申请了helight.cn，helight.com的域名已经被人注册了，还是一个黑科技公司，看产品就很奇怪。 这几天已经配置把helight.info配置ok了，整个网站都切换了，zhwen.org还会继续使用，欢迎大家浏览。
January 29, 2018
微信小程序开发体验
一直在想怎么做一个小程序，当然是一个有用的小程序，前天突然想到可以做一个小程序，把我的blog的内容拉去下来，并且在里面可以展示，给自己的blog增加一个移动端的入口，而且可以在每篇文章后面放一个打赏码。自己想着还是挺好的， 所以昨天注册了一个小程序“黑光技术”，现在申请还是比较方便的，不太好的一点就是要每次申请都要用一个不同的邮箱地址，我是用QQ邮箱的域名邮箱来做的，都是一个邮箱，每次申请就增加一个别名。 做一个这样的一个小程序需要几个方面的配合：
January 25, 2018
golang的httpserver优雅重启
去年在做golangserver的时候，内部比较头疼的就是在线服务发布的时候，大量用户的请求在发布时候会被重连，在那时候也想了n多的方法，最后还是落在一个github上的项目，facebook的一个golang项目grace，那时候简单研究测试了一下可以就直接在内部使用了起来，这段时间突然想起来，又想仔细研究一下这个项目了。 从原理上来说是这样一个过程：
January 24, 2018
nginx+php站点配置https
今天准备搞一个小程序测试一下，结果发现如果要链接我的站点，那就必须要站点支持https。所以就顺便鼓捣一下把站点升级一下，增加https的访问支持。 首先解决的就是证书问题，一个个人blog就没有必要买证书了，发现证书老贵老贵的。所以找了找免费证书，最后发现腾讯云提供的还是比较好的，很方便申请，这里https://buy.cloud.tencent.com/ssl 直接选择免费证书，输入自己的域名就可以申请了，再按照他的流程就可以生效了，最后下载下来就可以用了。阿里云说是有，但是我的申请界面没有看到，所以没法用。
January 24, 2018
lex和yacc 学习笔记
前一段时间在项目中要使用一个规则表达式计算的功能，而且想可以任意扩展计算功能，比如计算AUB，A和B都表示一个号码包，计算并集，当然实际使用的公式会更为复杂，这里举例说明。在计算时候要判断如果A包已经计算ok了就可以使用A包，如果没有计算成功就需要发起计算并且等待计算成功，B包也是要同样的处理过程，最后再计算并集。当然这样一个功能自己定义写肯定是没问题的，但是还要想到后面的扩展性和程序代码可移交等问题，还是想有一个通用的方法来解决，所以在最后想到了使用yacc和lex来组织解决。实际上后来发现用yacc和lex非常方便的可以解决这类问题，而且在扩展性上非常好。所以想这里先总结一下yacc和lex使用的一些语法特点和具体我们使用的方式。现在这篇中总体总结一下yacc和lex的语法特点，下一篇再写具体使用中的一些过程。
January 20, 2018
如何使用Swagger编写API文档
最近在梳理内部系统的架构设计，而且前端时间也在kindle上看了一些国外开发在API的架构设计上的一些思考。所以就想着我们内部系统的api也应该梳理梳理了。 目前内部使用golang开发是重头，基本上的服务和调度都是使用golang来开发，而且内部模块之间的调用都是http的接口。而且目前golang1.8已经默认支持了http2的协议，在效率上以前顾虑的问题，现在都有所缓解，所以把这块的梳理重点放在了http接口的梳理上。 重点看了soap，json-rpc，restfull。在梳理中发现一个比较有意思的东东，叫 Swagger，中文名字也比较有意思：丝袜哥，哈哈。这个东西是做什么的呢：专门用户规范设计API的，简单用了一下还是非常好用的。在其官网这样介绍的：
January 19, 2018
ElasticSearch5.2.2安装坑记录
部署完成ES之后，如果我们不修改配置，那么默认只有本机可以访问ES的api接口，如果需要给外部机器访问，那么就需要修改ES的配置了。 在默认情况下，ES只允许本地访问api接口，如果我们希望在另外一台机器上访问ES的接口的话，需要配置主机地址：
March 16, 2017
为游戏分析设计的分布式数据存储系统
本文是今年5月在中国云计算大会中的分享内容，主要是介绍腾讯游戏数据分析平台的一些后台架构设计和游戏分析思路。 在“大数据”相对泛滥的今天，我们看到很多讨论各种大数据架构、存储、工具、算法等等。但是大数据工具在具体应用场景中的计算各有不同之处，那在游戏数据分析中我们腾讯是怎么做的呢？本话题将简单介绍腾讯游戏数据分析系统的后台架构，并且主要介绍一个为游戏分析这类场景设计开发的的小型数据存储系统。
December 27, 2016
使用Spark分析网站日志
郁闷从昨天开始个人网站不断的发出告警504错误，登录机器看了一下是php-fpm报错，这个错误重启php-fpm后，几个小时就告警，快一年了都没什么问题，奇怪
September 29, 2016
Spark分区器HashPartitioner详解和扩展
在Spark中，存在两类分区函数：HashPartitioner和RangePartitioner，它们都是继承自Partitioner，主要提供了每个RDD有几个分区（numPartitions）以及对于给定的值返回一个分区ID（0~numPartitions-1），也就是决定这个值是属于那个分区的。
November 30, 2015
分布式系统的Raft算法(转)
过去, Paxos一直是分布式协议的标准，但是Paxos难于理解，更难以实现，Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。 来自Stanford的新的分布式协议研究称为Raft，它是一个为真实世界应用建立的协议，主要注重协议的落地性和可理解性。 在了解Raft之前，我们先了解Consensus一致性这个概念，它是指多个服务器在状态达成一致，但是在一个分布式系统中，因为各种意外可能，有的服务器可能会崩溃或变得不可靠，它就不能和其他服务器达成一致状态。这样就需要一种Consensus协议，一致性协议是为了确保容错性，也就是即使系统中有一两个服务器当机，也不会影响其处理过程。
October 14, 2015
【转载】从Hadoop到Spark的架构实践
当下，Spark已经在国内得到了广泛的认可和支持：2014年，Spark Summit China在北京召开，场面火爆；同年，Spark Meetup在北京、上海、深圳和杭州四个城市举办，其中仅北京就成功举办了5次，内容更涵盖Spark Core、Spark Streaming、Spark MLlib、Spark SQL等众多领域。而作为较早关注和引入Spark的移动互联网大数据综合服务公司，TalkingData也积极地参与到国内Spark社区的各种活动，并多次在Meetup中分享公司的Spark使用经验。本文则主要介绍TalkingData在大数据平台建设过程中，逐渐引入Spark，并且以Hadoop YARN和Spark为基础来构建移动大数据平台的过程。
September 29, 2015