你对小米的开源力量一无所知，小米HBase实战之路｜小米技术立业

原标题：你对小米的开源力量一无所知，小米HBase实战之路｜小米技术立业

#What is HBase ?

HBase 是 Apache 软件基金会旗下的顶级项目之一，是一个参考Google BigTable实现的开源非关系型数据库，为用户提供分布式、可扩展的大数据存储服务。

同时，HBase也是属于Hadoop生态的Database，项目目标是支持数十亿行、数百万列的超级大表，同时保证实时的随机读写能力。

01HBase的前世今生

HBase在国外起步较早，包括Apple、Facebook、Yahoo、Pinterest等公司都大规模使用HBase做为底层存储服务。

在国内，对于HBase的使用也越来越普遍，包括阿里巴巴、小米、华为、网易、京东、滴滴、中国移动、中国人寿等各大公司都使用HBase存储海量数据，服务于各种在线查询系统或离线分析系统。

其中阿里、小米和京东更是有着上千台节点的集群规模，业务场景包括订单系统、消息推送、用户画像、搜索推荐、风控以及物联网时序数据存储等。最近阿里云、腾讯云、华为云等云提供商也都先后推出了HBase云服务，为国内更多公司低门槛使用HBase服务提供了更多便利。

HBase做为一款分布式数据库，从下面的架构图中可以看到，其依赖HDFS存储实际数据文件（包括WAL和HFile等），依赖ZooKeeper完成心跳探活、分布式任务协调、核心元数据存储等工作。

HBase集群由Master进程和RegionServer进程组成，其中Master负责DDL操作，比如建表、修改表和删除表等操作。RegionServer进程则负责DML操作，比如表数据的增删改查等操作。

HBase架构图

02

HBase开源社区

每个成功的开源项目背后都必然有一个活跃的开源社区，HBase也不例外。

在2018年和2019年的Apache项目年度报告中，HBase的开发活跃度都排在Top5项目中。HBase项目当前拥有88万行代码，是由449个贡献者的17215次提交完成的，每月的提交个数分布如下图所示，可以看到HBase在经历了12年的发展之后，仍保持着每个月100个左右的Commits活跃度。

每月Commits提交个数

HBase开源社区沿用了Apache软件基金会的开源规则，项目开发者由Contributor和Committer组成。任何对项目代码、文档有贡献的都是Contributor，当贡献的数量或价值到达一定程度时，就可能被社区提名成为Committer。

但成为Committer并没有绝对的标准，只要持续的为社区做贡献，成为Committer通常都是早晚的事。成为Committer后，你将拥有提交代码的权限，不仅可以提交自己的代码，还可以帮助其他Contributor提交代码。

同时，每个项目还有一个项目管理委员会（简称PMC），负责为项目的版本发布进行投票，也负责提名新的Committer。当Committer在社区的影响力越来越大之后，通常就会被邀请加入PMC了。

HBase项目目前累计在全球有88名Committer和52名PMC成员，这些人是HBase开源社区正常运转和保持活跃的重要保证。

03

HBase历代版本

开源社区的另一个重要功能是版本发布，HBase社区也曾发布了多个重要版本。

0.94.x版本是HBase第一个相对稳定的生产线版本，国内最早使用HBase的互联网公司比如小米、阿里和网易，都曾在生产线上大规模使用0.94.x版本做为服务版本。0.98.x版本则大大提升了系统可用性和稳定性，是公认的HBase最稳定版本之一，直到2018年都是生产线上应用最广泛的版本。

2015年2月HBase社区发布了1.0.0版本，从这个版本起，HBase规范了版本语义，使用Major.Minor.Patch的3层版本号语义，并相继推出了1.1.x、1.2.x、1.3.x、1.4.x等多个版本。

2.x版本是接下来最受期待的版本，因为最近几年社区开发的新功能都集中在2.x版本上，包括：降低GC影响的offheap read/write path工作；提升稳定性的Procedure V2框架；更完善的多租户功能RegionServer Group等。

小米内部目前也正在做0.98.x版本到2.x版本的升级工作，相信新版本的HBase可以给业务带来更好的服务体验。

04

小米HBase

开源之路

小米对HBase的使用比较早，在2012年就开始部署和使用HBase，最早是为了支持米聊消息的存储需求。之所以选型HBase，在一定程度上也是参考了Facebook Message系统对HBase的经典使用案例。到2013年，MiCloud业务开始使用HBase存储加密后的同步数据。

小米在早期发展十分迅速，用户量增长也十分迅速，对应的存储需求也是不断翻番，HBase近乎线性的高扩展性完美的支持了业务发展。经过多年的发展，小米HBase目前存储了数十万亿行、数十PB的业务数据。

我们在支持小米业务发展的同时，也积极大力地回馈社区。截至目前，小米累计为HBase社区贡献了近1500个Patch，在2018年的年度统计中，来自小米的Patch贡献数占到了 整个社区的三分之一。

随着对社区的贡献越来越多，我们在社区得到的认可也越多。截至目前，小米累计为HBase社区培养了9位Committer和3位PMC成员，其中谢良在2013年成为了小米第一个、大陆第二个HBase Committer，梅祎则是大陆第一位女性Committer，而张铎更是在2019年被Apache软件基金会任命为HBase PMC主席。

小米集团副总裁、集团技术委员会主席崔宝秋博士在2013年曾邀请HBase项目创始人、HBase资深PMC成员Michael Stack来中国跟小米年轻的工程师们交流，他对小米工程师的技术能力以及小米开源的决心留下了深刻印象。

Michael Stack和小米年轻的工程师们

Michael Stack曾在开源峰会上多次盛赞小米在这个项目上做出的贡献：“小米是HBase全球社区最活跃、力量最强的队伍之一，为社区做出了巨大的贡献。”

Michael Stack和小米集团副总裁崔宝秋

下方的表格记录了小米多年来为HBase开源社区所贡献的重大功能：

除了积极为社区贡献代码外，我们也多次参加HBaseCon。HBaseCon是社区每年一度的重要会议，来自全球多个公司的数十位技术专家会为大家分享HBase项目最新进展，以及云计算、大数据和开源等领域的洞察和行业经验。这对普及开源文化、促进开源社区发展意义重大。

小米自2014年便开始参加每年的HBaseCon，为社区分享HBase在小米的重要实践经验。随着HBase在中国各大互联网公司的普及越来越广，自2017年开始，每年除了在美国举办的HBaseCon之外，还会在中国举办一次HBaseConAsia。

2017年和2018年分别由华为和阿里巴巴举办，而2019年的HBaseConAsia则是由小米举办，会议吸引了近500人参会和2万人观看线上直播。

HBase PMC主席张铎

和阿里巴巴HBase团队负责人沈春晖

小米在HBase社区的深度参与离不开公司的大力支持。小米集团副总裁、集团技术委员会主席崔宝秋博士在早期便为小米制定了开源战略的五大原则，简单来说就是：快；不重造轮子；不用则已，要用则精；坚持开放与共享；在重大项目上极力推出自己的Committer。

小米能够快速融入开源社区，深度拥抱开源的原因，正是因为长期践行了这五大原则。如此，才可以做到在帮助业务发展的同时，持续地为开源社区做出贡献。

站在今天，可以看到小米在HBase开源社区取得了非常大的成绩，但罗马不是一日建成的。万事开头难，小米在最开始参与HBase社区的过程中也是困难重重，每一个修改都需要和社区反复讨论和验证。

Issue HBASE-8755便是其中一个例子，创建时间是2013年6月，而完全合入社区的时间则是2013年12月，1个Patch耗时半年才得到社区的最终认可，可见从零开始参与社区并获得认可需要付出多少努力和耐心。

前人植树，后人乘凉。随着我们在社区的话语权越来越大，现在已经可以慢慢主导项目的发展、Roadmap的制定、Committer提名和版本发布等重要事情。我们始终相信，开源是企业站在巨人肩膀上快速创新、快速迭代、快速推出产品的必经之路。

而小米的开源，不仅是要站在巨人肩膀上，还要为巨人指方向。我们将持续秉持开源和分享的精神，拥抱开源，为HBase开源社区的发展和壮大做出更多的贡献。

—

作者

张洸豪

目前是HBase生态组的负责人，同时也是HBase Committer和PMC成员。2019年他个人就为HBase社区贡献了60多个Patch，并成为HBase社区2.2分支的Release Manager。

Reference

1.https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/bigtable-osdi06.pdf

2.https://blogs.apache.org/foundation/entry/apache-in-2018-by-the

3.https://blogs.apache.org/foundation/entry/apache-in-2019-by-the

4.https://www.openhub.net/p/hbase

5.http://hbase.apache.org/team-list.html

6.http://hbase.apache.org/downloads.html

7.http://sites.computer.org/debull/a12june/facebook.pdf

8.https://open.mi.com/conference/hbasecon-asia-2019 游戏网

相关下载

---