NSQ是一个实时的分布式消息平台。它的设计目标是为在多台计算机上运行的松散服务提供一个现代化的基础设施骨架。
这篇文章介绍了 基于go语言的NSQ的内部架构，它能够为高吞吐量的网络服务器带来 性能的优化，稳定性和鲁棒性。
可以说， 如果不是因为我们在bitly使用go语言，NSQ就不会存在。这里既会讲NSQ的功能也会涉及语言提供的特征。当然，语言会影响思维，这次也不例外。
现在回想起来，选择使用go语言已经收到了十倍的回报。由语言带来的兴奋和社区的积极反馈为这个项目提供了极大的帮助。 Continue reading
新浪科技讯 11月16日下午消息，由新浪微博(http://t.sina.com.cn)(http://t.sina.com.cn)主办的中国首届微博开发者大会在北京举行，这是国内微博行业的首场技术盛宴。作为国内微博市场的绝对领军者，新浪微博将在此次大会上公布一系列针对开发者的扶持政策，以期与第三方开发者联手推动微博行业的整体发展。图为微博平台首席架构师杨卫华演讲。
以下为演讲实录：
大家下午好，在座的大部分都是技术开发者，技术开发者往往对微博这个产品非常关心。最晚的一次，是12点多收到一个邮件说想了解一下微博底层是 怎么构架的。很多技术人员对微博的构架非常感兴趣，就是一个明星他有300万粉丝，这个技术怎么来实现？今天在这里跟大家分享一下微博的底层机构，让大家 对微博的底层技术有更好的了解。另外不管是做客户端、1.0、2.0、论坛、博客都要考虑架构的问题，架构实际上是有一些共性的。今天我通过讲解微博里面 的一些架构，分析一下架构里面哪些共性大家可以参考。 Continue reading
FastMQ是一款高性能，高扩展性，开源产品。FastMQ基于libevent（网络层）和TC（队列存储），使用C开发而成，目前服务器端只支持linux，暂不支持windows（并且无支持windows计划时间表）。
FastMQ使用TCP/IP协议通讯，所以客户端可以支持任何支持TCP/IP的操作系统（linux，windows），并且几乎支持任何语言（java，C#，c，c++，python等等）。
目前FastMQ发布了V0.1.0版本，此版本还不能很好的支持thread safe，属于预览版本，预计2010年10月底发布V0.1.1，v0.1.1版本将对thread safe有一个完美的支持。
FastMQ的客户端，目前考虑发布linux的C和windows的net版本，java版本也在考虑之中，但是暂无时间表。 Continue reading
又拍网是一个照片分享社区，从2005年6月至今积累了260万用户，1.1亿张照片，目前的日访问量为200多万。5年的发展历程里经历过许多起伏，也积累了一些经验，在这篇文章里，我要介绍一些我们在技术上的积累。
又拍网和大多数Web2.0站点一样，构建于大量开源软件之上，包括MySQL、PHP、nginx、Python、memcached、redis、Solr、Hadoop和RabbitMQ等等。又拍网的服务器端开发语言主要是PHP和Python，其中PHP用于编写Web逻辑（通过HTTP和用户直接打交道）， 而Python则主要用于开发内部服务和后台任务。在客户端则使用了大量的Javascript， 这里要感谢一下MooTools这个JS框架，它使得我们很享受前端开发过程。 另外，我们把图片处理过程从PHP进程里独立出来变成一个服务。这个服务基于nginx，但是是作为nginx的一个模块而开放REST API。
图1：开发语言
随着信息爆炸的加剧，微博客网站Twitter横空出世了。用横空出世这个词来形容Twitter的成长，并不夸张。从2006年5月Twitter上线，到2007年12月，一年半的时间里，Twitter用户数从0增长到6.6万。又过了一年，2008年12月，Twitter的用户数达到5百万。[1]
Twitter网站的成功，先决条件是能够同时给千万用户提供服务，而且提供服务的速度要快。[2,3,4]
有观点认为，Twitter的业务逻辑简单，所以竞争门槛低。前半句正确，但是后半句有商榷余地。Twitter的竞争力，离不开严谨的系统架构设计。
【1】万事开头易
Twitter的核心业务逻辑，在于Following和Be followed。[5]
进入Twitter个人主页，你会看到你following的那些作者，最近发表的微博客。所谓微博客，就是一则短信，Twitter规定，短信的长度不得超过140个字。短信不仅可以包含普通文字信息，也可以包含URL，指向某个网页，或者照片及视频等等。这就是following的过程。
当你写了一则短信并发表以后，你的followers会立刻在他们的个人主页中看到你写的最新短信。这就是be followed的过程。
实现这个业务流程似乎很容易。 Continue reading
| 内容概要：本文分析了大型程序系统设计中经常需要面对的同步和异步结构问题。列举异步结构模式实现手段，论证异步模式效率远远优越于同步模式，证明在硬件资源理想情况下，对同步模式而言并发量对计算机系统的平均交易处理时间没有影响，对异步模式而言平均交易处理时间会随着并发量的增大而急剧下降，最终也趋向一个恒定值。在实际有限计算机资源情况下，程序设计必须设置最大并发量以控制并发程度，否则过多并发量会形成交易对硬件资源的竞争，造成交易的拥塞。
关键词：同步，异步，消息队列，效率，并发 一．基本概念 同步和异步问题是大型程序设计中需要慎重等待的问题，但目前这方面的讨论很少，本文就试图进行有关方面讨论。 一个大型的程序系统常常是由很多不能功能模块组成的。程序系统运行时不同功能模块要按一定顺序执行，以协同完成一件任务。功能模块协作运行完成一件任务存在同步和异步两种方式。如果在某一时间段，这个程序系统的所有功能模块都在为完成相同的一件任务而服务，某一个功能模块在完成一件任务的子任务后，需要等待其他功能模块完成子任务，这样只有当全部功能模块按顺序完成一件任务后，程序系统才能接收下一个任务，功能模块是串行运行，这称之为同步模式。反之，在某一时间段，这个程序系统的不同功能模块可以独立运行完成一件任务的子任务，无须等待其他功能模块完成子任务就可以继续处理下一件任务的子任务，功能模块是并行运行，这称之为异步模式。 Continue reading |
章文嵩博士（LVS开源项目创始人）进入淘宝好几个月了，今天是他第一次讲解LVS的实现原理。作为DBA的一员，终于近距离膜拜了大牛。
讲解的内容就不具体介绍了，在LVS 官方网站上面可以找到。PPT的内容和网站上基本上一样，只是讲解人是章博士本人。我在这整理一下自己的理解，不对请大家指正。 ^_^
组成LVS最重要的部分有三个：请求分发服务器、处理服务器、共享存储。 Continue reading
统架构师角色关键的一方面就是衡量相互冲突的需求、决定解决方案，常常要牺牲一个方面来换取另一个方面。随着系统变得越来越大、越来越复杂，越来越多关于 如何构建应用的传统智慧正在受到挑战。比如说，去年3月在伦敦召开的QCon会议上，Dan Pritchard谈论了eBay的架构。他的介绍随后得到了很多的报道，其中一个主要的结论就是eBay不使用事务，用数据一致性上的损失来换取系统整 体伸缩性和性能上相当大的改进。 Continue reading
在前一期山寨交流会上：桂 新说他会将良好的构架和一套完整的监控系统作为两个非常重要的基础来抓，良好的架构一步到位这点很难做到（对于发展速度并不确定的小公司来说，架 构过大也是一个成本上的风险），但对于后者：一套完整监控系统我是非常认同的。对于目前普遍缺乏测试的Web应用开发过程来说，监控几乎就是测试很重要的 一部分；而系统监控本身，也可以帮助及时发现很多问题并量化优化的效果。而系统的扩展和调优的大部分技巧都可以从《构建可扩展的Web站点》(作者是 Flickr的开发者)一书中看到。为了减少不必要的调优（盲目的调优是危害很大的），建议从这2章开始看起： 第8章《瓶颈》发现和第10章《统计数据，检测和报警》；有了这些瓶颈检查结果和统计监测/报警系统后，再有针对性的看其他章节做系统调优。 Continue reading