手機版 | wap版 | 網站主頁 | HOME | 3G網頁
<button id="aknoc"><acronym id="aknoc"></acronym></button>

<dd id="aknoc"></dd>
<button id="aknoc"></button>
      1. <progress id="aknoc"></progress>
        <tbody id="aknoc"><track id="aknoc"></track></tbody>
        <em id="aknoc"><tr id="aknoc"></tr></em>
        廣告
        廣告
        大廠是如何搭建大數據平台架構
        您的位置 資訊中心 > 產業新聞 > 正文

        大廠是如何搭建大數據平台架構

        2020-01-14 15:19:17 來源:中琛魔方 點擊:607

        【大比特導讀】淘寶的大數據平台基本也是分成三個部分,上面是數據源與數據同步;中間是雲梯1,也就是淘寶的Hadoop大數據集群;下面是大數據的應用,使用大數據集群的計算結果。

        今天來看一下淘寶、美團和滴滴的大數據平台,一方面進一步學習大廠大數據平台的架構,另一方面也學習大廠的工程師如何畫架構圖。通過大廠的這些架構圖,你就會發現,不但這些知名大廠的大數據平台設計方案大同小異,架構圖的畫法也有套路可以尋覓。

        淘寶大數據平台

        淘寶可能是中國互聯網業界較早搭建了自己大數據平台的公司,下圖是淘寶早期的Hadoop大數據平台,比較典型。

        淘寶的大數據平台基本也是分成三個部分,上面是數據源與數據同步;中間是雲梯1,也就是淘寶的Hadoop大數據集群;下面是大數據的應用,使用大數據集群的計算結果。

        在Hadoop中的計算任務會通過天網調度系統,根據集群資源和作業優先順序,調度作業的提交和執行。計算結果寫入到HDFS,再經過DataExchange同步到MySQL和Oracle資料庫。處於平台下方的數據魔方、推薦系統等從資料庫中讀取數據,就可以實時響應用戶的操作請求。

        淘寶大數據平台的核心是位於架構圖左側的天網調度系統,提交到Hadoop集群上的任務需要按序按優先順序調度執行,Hadoop集群上已經定義好的任務也需要調度執行,何時從資料庫、日誌、爬蟲系統導入數據也需要調度執行,何時將Hadoop執行結果導出到應用系統的資料庫,也需要調度執行。可以說,整個大數據平台都是在天網調度系統的統一規劃和安排下進行運作的。

        DBSync、TimeTunnel、DataExchange這些數據同步組件也是淘寶內部開發的,可以針對不同的數據源和同步需求進行數據導入導出。這些組件淘寶大都已經開源,我們可以參考使用。

        美團大數據平台

        Kafka的數據會被流式計算和批處理計算兩個引擎分別消費。流處理使用Storm進行計算,結果輸出到Hbase或者資料庫。批處理計算使用Hive進行分析計算,結果輸出到查詢系統和BI平台。

        數據分析師可以通過BI產品平台進行互動式的數據查詢訪問,也可以通過可視化的報表工具查看已經處理好的常用分析指標。公司高管也是通過這個平台上的天機系統查看公司主要業務指標和報表。

        美團大數據平台的整個過程管理通過調度平台進行管理。公司內部開發者使用數據開發平台訪問大數據平台,進行ETL開發,提交任務作業並進行數據管理。

        滴滴大數據平台

        滴滴大數據平台分為實時計算平台和離線計算平台兩個部分。

        實時計算平台架構如下。數據採集以後輸出到Kafka消息隊列,消費通道有兩個,一個是數據ETL,使用Spark Streaming或者Flink將數據進行清洗、轉換、處理後記錄到HDFS中,供後續批處理計算。另一個通道是Druid,計算實時監控指標,將結果輸出到報警系統和實時圖表系統DashBoard。

        離線計算平台架構如下。滴滴的離線大數據平台是基於Hadoo 2和Spark以及Hive構建,在此基礎上開發了自己的調度系統和開發系統。調度系統和前面其他系統一樣,調度大數據作業的優先順序和執行順序。開發平台是一個可視化的SQL編輯器,可以方便地查詢表結構、開發SQL,併發布到大數據集群上。

        此外,滴滴還對Hbase重度使用,並對相關產品做了一些自定義的開發,維護著一個和實時、離線兩個大數據平台同級別的Hbase平台,它的架構圖如下。

        來自於實時計算平台和離線計算平台的計算結果被保存到Hbase中,然後應用程序通過Phoenix訪問Hbase。而Phoenix是一個構建在Hbase上的SQL引擎,可以通過SQL方式訪問Hbase上的數據。

        大廠是如何搭建大數據平台架構.中琛魔方大數據(www.zcmorefun.com)表示可以看到,這些知名大廠的大數據平台真的是大同小異,他們根據各自場景和技術棧的不同,雖然在大數據產品選型和架構細節上略有調整,但整體思路基本上都是一樣的。不過也正是這種大同小異,讓我們從各個角度更加了解大數據平台架構,對大數據平台架構有了更加深刻的認知。

        聲明:轉載此文是出於傳遞更多信息之目的。若有來源標註錯誤或侵犯了您的合法權益,請與我們聯繫,我們將及時更正、刪除,謝謝。

        分享到:
        閱讀延展
        大數據平台
        • 助力鄉村產業振興 四個農業大數據平台亮相2020「數博發布」

          助力鄉村產業振興 四個農業大數據平台亮相2020「數博發布」

          此外,中科易農還發布了台湾省食用菌一季度指數。數據顯示,新冠肺炎疫情暴發以來,食用菌市場價格一定程度受到影響,隨著防疫進入常態化,食用菌價格總體回暖,與1-3月全省食用菌價格對比,進入4月,市場價格逐步止跌,降幅減緩並逐步回暖。

        • 妙健康攜手百度智慧醫療,打造AI家庭醫生服務新模式

          妙健康攜手百度智慧醫療,打造AI家庭醫生服務新模式

          妙健康和百度合作后,妙健康將通過開放「妙+」物聯網健康大數據平台,進一步與小度智能音箱打通SDK數據介面,一鍵連接300+智能健康監測設備,讓用戶居家檢測更便捷。

        • 「城軌雲」連線大數據 築智慧城市

          「城軌雲」連線大數據 築智慧城市

          綱要提出,力爭通過「兩步走」,實現智慧城軌建設的戰略目標。到2025年,將完善「城軌雲」與大數據平台的體系建設和應用落地,新建城軌交通城市全部採用「城軌雲」。實現對城軌業務的全覆蓋,數據共享平台與城軌網路安全體系同步建立。

        • 蘇州:吳江區獲評省大數據開放共享與應用試驗區

          蘇州:吳江區獲評省大數據開放共享與應用試驗區

          據悉,吳江區將進一步提升對智慧城市建設的支撐,實現從資源中心向政務智庫的跨越,擴充政務大數據平台服務內容,通過整合和豐富政府大數據、社會大數據、特色產業大數據,助力構建大數據發展生態體系。

        • 城市能源大數據高峰論壇24日在津舉行 助力能源革命先鋒城市建設

          城市能源大數據高峰論壇24日在津舉行 助力能源革命先鋒城市建設

          據了解,在第四屆世界智能大會上,國家電網有限公司還將通過視頻、VR漫遊、三維動畫、三維模型等多媒體互動形式,以「雲展廳」的方式重點展示配網帶電作業機器人、零能耗建築、能源大數據平台等7項內容,立體呈現共建共治共享的能源互聯網生態圈生動場景。

        •  一起分析下這款濾波器的獨特之處

          一起分析下這款濾波器的獨特之處

          雜訊對我們來說真的是太煩了,就在我們無法解決機器設備雜訊的時候,一種叫電源濾波器的產品就產生了,什麼是電源濾波器呢?下面會詳細介紹一些有關電源濾波器的小知識,和小編一起學習下吧!

        微信

        第一時間獲取電子製造行業新鮮資訊和深度商業分析,請在微信公眾賬號中搜索「大比特商務網」或者「big-bit」,或用手機掃描左方二維碼,即可獲得大比特每日精華內容推送和最優搜索體驗,並參與活動!

        發表評論

        • 最新評論
        • 廣告
        • 廣告
        • 廣告
        廣告
        Copyright Big-Bit © 2019-2029 All Right Reserved 大比特資訊公司 版權所有       未經本網站書面特別授權,請勿轉載或建立影像,違者依法追究相關法律責任  
        <button id="aknoc"><acronym id="aknoc"></acronym></button>

        <dd id="aknoc"></dd>
        <button id="aknoc"></button>
            1. <progress id="aknoc"></progress>
              <tbody id="aknoc"><track id="aknoc"></track></tbody>
              <em id="aknoc"><tr id="aknoc"></tr></em>