0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

HBase是什么 HBase八大應用場景介紹

美信半導體 ? 來源:未知 ? 作者:工程師飛燕 ? 2018-11-11 11:05 ? 次閱讀

HBase概述

HBase是一個分布式存儲、數(shù)據(jù)庫引擎,可以支持千萬的QPS、PB級別的存儲,這些都已經(jīng)在生產(chǎn)環(huán)境驗證,并且在廣大的公司已經(jīng)驗證。特別是阿里、小米、京東、滴滴內(nèi)部都有數(shù)千、上萬臺的HBase集群。選擇一個技術的首要條件是對齊大公司,大公司會投入大量的人力去維護、改進、貢獻社區(qū)。

關于NewSQL與NoSQL的關系

技術總是不斷向前發(fā)展的,如今都在提NewSQL,其實NewSQL在筆者看來是NoSQL之上的一個封裝,一個子場景。NoSQL中的大表,典型就是提供了KV1V2……Vn,其中每個V可以是1b,也可以是100MB。可以說是一個元的存在,就類似于數(shù)字世界的01,可以任意組合。在以HBase為代表的NoSQL中,HBase可以組合出任意的場景,NewSQL可以是之上加了SQL層或者更近一層添加事務的子場景。

關于計算與存儲分離

在云上,對于引擎最為核心的就是存儲計算分離,存儲可以按需計費,起碼得彈性伸縮。計算則按節(jié)點存儲提供。如果完全按照QPS計費,要么費用高得嚇人,要么難以滿足更多的場景,比如存儲10M,到底算一次QPS,還是多少次。 由于HBase天生就是存儲計算分離,天然比較適配云上的架構,可以說到了云上,HBase更加具有優(yōu)勢。

HBase場景

HBase可以說是一個數(shù)據(jù)庫,也可以說是一個存儲。擁有雙重屬性的HBase天生就具備廣闊的應用場景。在最近的一些版本中,引入了OffHeap降低gc影響,優(yōu)化鏈路延遲,提供Replica等可以滿足在線的需求。引入MOB,可以存儲10M左右的對象,完全適應了對象存儲。另外由于自身的并發(fā)能力、存儲能力,可以說是具有最為競爭力的引擎。

對象存儲:我們知道不少的頭條類、新聞類的的新聞、網(wǎng)頁、圖片存儲在HBase之中,一些病毒公司的病毒庫也是存儲在HBase之中。

時序數(shù)據(jù):HBase之上有OpenTSDB模塊,可以滿足時序類場景的需求。

推薦畫像:特別是用戶的畫像,是一個比較大的稀疏矩陣,螞蟻的風控就是構建在HBase之上。

時空數(shù)據(jù):主要是軌跡、氣象網(wǎng)格之類,滴滴打車的軌跡數(shù)據(jù)主要存在HBase之中,另外在技術所有大一點的數(shù)據(jù)量的車聯(lián)網(wǎng)企業(yè),數(shù)據(jù)都是存在HBase之中。

CubeDB OLAP:Kylin一個cube分析工具,底層的數(shù)據(jù)就是存儲在HBase之中,不少客戶自己基于離線計算構建cube存儲在hbase之中,滿足在線報表查詢的需求。

消息/訂單:在電信領域、銀行領域,不少的訂單查詢底層的存儲,另外不少通信、消息同步的應用構建在HBase之上。

Feeds流:典型的應用就是xx朋友圈類似的應用。

NewSQL:之上有Phoenix的插件,可以滿足二級索引、SQL的需求,對接傳統(tǒng)數(shù)據(jù)需要SQL非事務的需求。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • Hbase
    +關注

    關注

    0

    文章

    27

    瀏覽量

    11156
  • nosql
    +關注

    關注

    0

    文章

    38

    瀏覽量

    9975

原文標題:技術直播 | 借助Maxim的模擬技術優(yōu)化設計

文章出處:【微信號:Maxim_Integrated,微信公眾號:美信半導體】歡迎添加關注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關推薦

    再談全局網(wǎng)HBase八大用場景

    摘要: HBase可以說是一個數(shù)據(jù)庫,也可以說是一個存儲。擁有雙重屬性的HBase天生就具備廣闊的應用場景。在2.0中,引入了OffHeap降低了延遲,可以滿足在線的需求。引入MOB,可以存儲10M
    發(fā)表于 04-11 11:14

    HBase性能優(yōu)化方法總結

    HBase是Hadoop生態(tài)系統(tǒng)中的一個組件,是一個分布式、面向列的開源數(shù)據(jù)庫,可以支持數(shù)百萬列、超過10億行的數(shù)據(jù)存儲,因此,對HBase性能提出了一定的要求,那么如何進行HBase性能優(yōu)化呢
    發(fā)表于 04-20 17:16

    阿里HBase的數(shù)據(jù)管道設施實踐與演進

    ,數(shù)據(jù)倉會產(chǎn)生報表,然后去訓練路由算法。淘寶客服淘寶客服的一個退款應用場景如上圖。這是一個逆向鏈接,把退款、糾紛、退款物流、退款費用等實時的寫入到HBase里,HBase會實時的寫入queue里
    發(fā)表于 05-29 20:34

    HBase read replicas 功能介紹系列

    摘要: 主要介紹HBase 在讀可用性這塊做的read replica 功能的大概介紹,包括:基本使用,讀寫流程的大概鏈路,設計的折中等等。HBase read replicas1.概
    發(fā)表于 06-12 16:02

    兌吧:從自建HBase遷移到阿里云HBase實戰(zhàn)經(jīng)驗

    維度和指標的統(tǒng)計HBase在"推啊"使用場景HBase在推啊主要用于流式數(shù)據(jù)統(tǒng)計,存儲用戶畫像的相關數(shù)據(jù),屬于實時統(tǒng)計模塊中主要存儲。實時統(tǒng)計時,對用戶的行為數(shù)據(jù)根據(jù)不同維度不同指
    發(fā)表于 06-19 17:32

    關于Hbase的全面介紹

    Hbase原理與使用
    發(fā)表于 07-25 14:58

    HBase安裝與操作指南

    HBase初識、CentOS66中HBase安裝與HBase Shell簡單使用
    發(fā)表于 09-20 14:51

    關于HBase的學習筆記

    初識HBase(一些HBase學習筆記)
    發(fā)表于 04-21 15:07

    基于HBase行鍵面向海量交通數(shù)據(jù)的HBase時空索引

    針對HBase無法直接建立時空索引所帶來的交通數(shù)據(jù)查詢性能問題,基于HBase行鍵設計了面向海量交通數(shù)據(jù)的HBase時空索引。首先利用Geohash降維方法將二維空間位置數(shù)據(jù)轉(zhuǎn)化為一維編碼,再與時間
    發(fā)表于 12-06 15:23 ?0次下載
    基于<b class='flag-5'>HBase</b>行鍵面向海量交通數(shù)據(jù)的<b class='flag-5'>HBase</b>時空索引

    hbase工作原理_hbase超詳細介紹

    HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng),利用HBase技術可在廉價PC Server上搭建大規(guī)模結構化的存儲集群。hbase工作原理如下所述...
    發(fā)表于 12-27 14:17 ?1.8w次閱讀
    <b class='flag-5'>hbase</b>工作原理_<b class='flag-5'>hbase</b>超詳細<b class='flag-5'>介紹</b>

    hbase性能測試總結

    hbase的寫性能:集群吞吐量最大可以達到70000+ ops/sec,延遲在幾個毫秒左右。網(wǎng)絡帶寬是主要瓶頸,如果將千兆網(wǎng)卡換成萬兆網(wǎng)卡,吞吐量還可以繼續(xù)增加,甚至達到目前吞吐量的兩倍。hbase
    發(fā)表于 12-27 14:42 ?1w次閱讀
    <b class='flag-5'>hbase</b>性能測試總結

    hbase常用操作命令大全

    HBase是Google Bigtable的開源實現(xiàn),類似Google Bigtable利用GFS作為其文件存儲系統(tǒng),HBase利用Hadoop HDFS作為其文件存儲系統(tǒng);Google運行
    發(fā)表于 12-27 15:10 ?2568次閱讀

    hbase分布式安裝部署過程

    先下載安裝包,再配置安裝路徑,后驗證是否安裝成功。完成以上操作后啟動HBase,啟動順序:先啟動Hadoop,再啟動HBase,關閉順序:先關閉HBase,再關閉Hadoop。
    發(fā)表于 12-27 15:26 ?1558次閱讀
    <b class='flag-5'>hbase</b>分布式安裝部署過程

    Ali-HBase的SQL實踐與改進

    其實在一定程度上提升了讀的性能?;?b class='flag-5'>HBase Native api的實現(xiàn)現(xiàn)在說的場景是經(jīng)過高度抽象的場景,實際的場景不可能這么簡單,即使在簡單的
    發(fā)表于 08-03 12:11 ?207次閱讀

    Hbase的基礎性介紹與入門

    無論是 NoSQL,還是大數(shù)據(jù)領域,HBase 都是非常"炙熱"的一門數(shù)據(jù)庫。本文將對 HBase 做一些基礎性的介紹,旨在入門。
    的頭像 發(fā)表于 03-15 17:21 ?1373次閱讀
    <b class='flag-5'>Hbase</b>的基礎性<b class='flag-5'>介紹</b>與入門