这次大会有1000多号人参加,挺大规模的一次技术会议,可惜会议组织的并不好,基本上每个会场都有人站着听。北京会议中心并不是一个适合开技术会议的场所,更适合官僚们开代表大会。去外面吃饭要走半个多钟头,出门没有公交站,最近的地铁要走40分钟。

hadoop作为一个典型的云计算产品,组件模块都相对比较完善,从计算到存储到NOSQL都有解决方案,但是其最核心的HDFS的Name Node存在单点故障/扩展性等问题。这次大会专门安排了一个讨论会,ebay,淘宝,百度,中科院都分享了针对name node的改进方案。百度的HDFS2比较受关注,同时大家都拿这些方案和HDFS federation做比较。也提到了GFS2,另外Google实际上已经抛弃了GFS。Name Node的问题和研究进展会是Hadoop的一个热门方向。

NOSQL方面的HBASE也是个热门话题,ebay对hasoop投入了不少人力,对HBASE的使用也比较积极。淘宝分享了一个HBASE的优化,对这个没什么研究,听了一半就走了。中国移动分享了一个话单处理的NOSQL系统设计,挺有感觉的,毕竟以前做了几年电信系统,现在听来备感亲切。其实NOSQL的适用性比SQL更广,大部分系统里头其实并不需要SQL做复杂的查询;特别是电信应用,通常只做单表查询即可;SQL替换成NOSQL不仅仅是替换个数据库,更是思维/设计模式的转变。

腾讯带来了Typhoon,一个兼容hadoop的类hadoop系统,号称同时支持在线和离线应用。但是对于系统的设计基本不讲,只讲了怎么把hadoop应用放到typhoon上面跑;这个感觉和腾讯openapi的态度相当一致,反正我open了,对你有没有用那就是另一回事了。后面有人问到,才简单说了一下:在线应用基本是内存计算,所以不涉及IO资源冲突;网络上做了QOS,保证在线应用对网络的使用。

人人网的演讲其实还挺有意思,还介绍了他们公司架构上怎么支撑hadoop的应用。他们主要用HDFS和MR做离线分析,用HBASE做准实时计算,这个应该是比较普遍的使用场景了,对互联网公司有较大的借鉴意义。

TIELRA,manycore 体系结构,传统的x86芯片中大部分是辅助处理单元,真正干活的很少,而TIELRA的比例则高很多,同时core数远比x86架构多,主频和电压则低很多。互联网的快速发展,催生了专为网络IO和key-value处理优化的芯片,这个架构上跑特定的应用,效率会明显高过通用芯片,而成本/功耗却低很多。这是硬件发展的一个趋势。原以为这个是讲怎么在多核上的优化key-value软件的,没想到是介绍硬件的。只有一二十人在听,今天看微博发现章文嵩也在听这个。

Google和TIELRA的演讲将学术界和工业界结合的很好,很自然的将学术成果带入到工业应用。而国内的工业界基本上只专注应用,学术界想为工业界提供一些成果,却明显不被认可。


Simon Lee

My blog