`
- 浏览:
65659 次
- 性别:
- 来自:
北京
-
Facebook之前曾经透露过Facebook的hbase架构,可以说是非常不错的。如他们将message服务的hbase集群按用户分为数个集群,每个集群100台服务器,拥有一台namenode以及分为5个机架,每个机架上一台zookeeper。可以说对于大数据量的服务这是一种优良的架构。对于淘宝来说,由于数据量远没有那么大,应用也没有那么核心,因此我们采用公用hdfs以及zookeeper集群的架构。每个hdfs集群尽量不超过100台规模(这是为了尽量限制namenode单点问题)。在其上架设数个hbase集群,每个集群一个master以及一个backupmaster。公用hdfs的好处是可以尽量减少compact的影响,以及均摊掉硬盘的成本,因为总有集群对磁盘空间要求高,也总有集群对磁盘空间要求低,混合在一起用从成本上是比较合算的。zookeeper集群公用,每个hbase集群在zk上分属不同的根节点。通过zk的权限机制来保证hbase集群的相互独立。zk的公用原因则仅仅是为了运维方便。
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
HBase在淘宝的应用和优化,快速领会大数据hadoop
hbase在淘宝的应用与优化;优化方面全面
HBase在阿里的应用与优化.pdf
HBase企业应用开发】工作中自己总结的Hbase文档,非常全面!
HBase在小米的应用现状 对HBase已做的改进与扩展 进行中/计划中的改进与扩展
HBase最佳实践-读性能优化策略,HBase最佳实践-读性能优化策略
hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构
类比于传统型数据库里的一些查询方式,本文对Hbase的存储原理进行了研究,借助分布式计算框架Mapreduce在Hbase上构建了二级索引,就可以对表进行有针对性的定位和高效率的查找,同时也减轻zookeeper服务对资源调度的压力...
hbase在小米的应用现状、改进与扩展 应用场景:云服务、推送
卢亿雷-HBase应用与优化分析.pdf 卢亿雷-HBase应用与优化分析.pdf
介绍贝壳基于hbase在多维分析(kylin),楼盘字典等核心项目的应用,并分享在实践过程中遇到的问题和性能优化经验。
数据库高级技术专家 悠你在2017杭州云栖大会中做了题为《HBase在时间序列数据库中的应用》的分享,就时序数据和时序数据库介绍,HiTSDB针对时序场景的优化,HBase作为底层存储的优势做了深入的分析。
里面是Hbase相关参数的优化
HBase写性能优化策略HBase写性能优化策略HBase写性能优化策略
小米基础平台组对HBase使用的应用实践总结,不能错过。
HBase作为Google发表BigTable论文的开源实现版本,是一种分布式列式存储的数据库,...当然,本文假设用户有一定的HBase知识基础,不会详细去介绍HBase的架构和原理,本文着重介绍HBase和Flink在实际场景中的结合使用
HBase在苏宁的应用和实践.pdf
月光宝盒双11-HBase集群应用和优化经验
企业中应用HBase
月光宝盒双11-HBase集群应用和优化经验