<label id="2a06w"><tt id="2a06w"></tt></label><label id="2a06w"><tt id="2a06w"><em id="2a06w"></em></tt></label><menu id="2a06w"></menu>
  • <dfn id="2a06w"><var id="2a06w"><label id="2a06w"></label></var></dfn>
    <sup id="2a06w"><button id="2a06w"><em id="2a06w"></em></button></sup>
    <dfn id="2a06w"><var id="2a06w"></var></dfn>
    <dfn id="2a06w"></dfn>
  • <dfn id="2a06w"><code id="2a06w"><ins id="2a06w"></ins></code></dfn>
  • <small id="2a06w"><samp id="2a06w"></samp></small>
  • <dfn id="2a06w"><table id="2a06w"><center id="2a06w"></center></table></dfn>
    <label id="2a06w"><tt id="2a06w"><em id="2a06w"></em></tt></label>
    <strike id="2a06w"><form id="2a06w"></form></strike>
    <menu id="2a06w"><tt id="2a06w"></tt></menu>

    將想法與焦點和您一起共享

    智慧消防物聯(lián)網(wǎng)平臺層的5個子系統(tǒng)發(fā)布者:本站     時間:2020-01-02 14:01:23

    智慧消防物聯(lián)網(wǎng)平臺層根據(jù)功能可以分為5個子系統(tǒng),分別為:數(shù)據(jù)接入子系統(tǒng)、數(shù)據(jù)存儲子系統(tǒng)、數(shù)據(jù)處理子系統(tǒng)、平臺服務(wù)子系統(tǒng)、監(jiān)控報警子系統(tǒng),其技術(shù)特點為:
    1.3.1 數(shù)據(jù)接入子系統(tǒng)

    負載均衡
    負載均衡是一種擴展服務(wù)器帶寬、增加吞吐量、加強網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性的技術(shù)。它將大量并發(fā)訪問分擔到多臺設(shè)備上進行分別處理,降低處理時延和單臺服務(wù)器負載。
    網(wǎng)關(guān)
    數(shù)據(jù)網(wǎng)關(guān)主要負責接收終端上報的數(shù)據(jù)、指令下發(fā)和數(shù)據(jù)路由。
    消息中間件
    消息隊列是設(shè)計大規(guī)模分布式系統(tǒng)時經(jīng)常使用的中間件產(chǎn)品。分布式系統(tǒng)構(gòu)件之間通過傳遞消息可以解除相互之間的功能耦合,這樣可以減輕子系統(tǒng)之間的依賴,使得各個子系統(tǒng)或者構(gòu)件可以獨立演進、維護或重用。
    1.3.2 數(shù)據(jù)存儲子系統(tǒng)
    HDFS
    HDFS是Hadoop最核心的設(shè)計之一。它是高度容錯的分布式文件系統(tǒng),設(shè)計用在低成本的硬件上運行。HDFS能提供高吞吐量的數(shù)據(jù)訪問,非常適合大規(guī)模數(shù)據(jù)集上的應用。
    HBASE
    HBase 是一個面向列的分布式數(shù)據(jù)庫,其設(shè)計目標是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時的理論和實現(xiàn)上的局限性,支持Terabyte到Petabyte級別的海量數(shù)據(jù)存儲和高速讀寫,這些數(shù)據(jù)被分布在數(shù)千臺普通服務(wù)器上,并且能夠被大量并發(fā)用戶高速訪問。
    RDBMS
    HBase雖然支持大數(shù)據(jù)量的存儲,但是不支持復雜的查詢。TStar中業(yè)務(wù)數(shù)據(jù)在進行展示時需要支持復雜查詢,這部分數(shù)據(jù)主要存儲在關(guān)系型數(shù)據(jù)庫。90%以上的存儲已經(jīng)被Hadoop和HBase承擔,RDBMS在TStar中負荷較低,性能比較高。
    Redis
    Redis是一款開源的、高性能支持持久化的鍵-值存儲系統(tǒng),其性能極高,能支持超過10萬每秒的讀寫頻率。
    TStar主要使用Redis來存儲讀寫頻率較高,數(shù)據(jù)量較恒定的數(shù)據(jù)。例如,終端當前狀態(tài)。
    1.3.3數(shù)據(jù)處理子系統(tǒng)
    數(shù)據(jù)處理子系統(tǒng),主要包括實時處理和批量處理。實時處理主要針對終端定時上報數(shù)據(jù)進行解析、報警判斷等時效性要求高的任務(wù)。批量處理主要針對報表分析、BI等對時效性要求不高的任務(wù)。
    實時處理
    在TStar中,對大數(shù)據(jù)處理的計算時效性要求很高,要求計算能在非常短的時延內(nèi)完成。因此采用了Storm框架,它能提供很好的可擴展性和容錯性,并且對消息的處理可以達到毫秒級的延遲。
    離線計算
    TStar離線分析模塊使用MapReduce計算框架,是Hadoop最核心的設(shè)計之一,適合離線處理超大規(guī)模數(shù)據(jù)集,如日報表分析、月報表分析、年度報表分析等。
    1.3.4平臺服務(wù)子系統(tǒng)
    數(shù)據(jù)導入
    網(wǎng)關(guān)接收到的終端原始數(shù)據(jù)和實時計算產(chǎn)生的部分數(shù)據(jù)分別存放在HDFS和Hbase里面,使用Kafka進行解耦,網(wǎng)關(guān)把原始數(shù)據(jù)寫入Kafka中,實時計算把解析數(shù)據(jù)寫入Kafka中 ,HDFS數(shù)據(jù)導入模塊和Hbase數(shù)據(jù)導入模塊異步的將Kafka中的數(shù)據(jù)導入到相應的存儲中。
    數(shù)據(jù)交換接口
    TStar提供三種數(shù)據(jù)交換接口:跨語言的Thrift RPC接口、JAVA API接口和REST API接口。
    跨語言的Thrift RPC接口
    TStar提供跨語言(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml)的數(shù)據(jù)交換接口,旨在提供業(yè)務(wù)層和平臺層的數(shù)據(jù)交互服務(wù),包括實時數(shù)據(jù)獲取,歷史數(shù)據(jù)獲取,終端指令下發(fā)及應答檢查。
    JAVA API
    TStar提供與TStar各模塊直接交互的JAVA API,為業(yè)務(wù)層提供了高性能的數(shù)據(jù)交互服務(wù),包括實時數(shù)據(jù)獲取,歷史數(shù)據(jù)獲取,終端指令下發(fā)及應答檢查。
    REST API
    TStar為第三方平臺提供了統(tǒng)一的REST API接口,您可以使用幾乎任何客戶端在任何編程語言與REST API進行交互,以及編寫和測試應用程序。接口支持設(shè)備的管理,實時數(shù)據(jù)、歷史數(shù)據(jù)的獲取,終端的指令下發(fā)。

    1.3.5監(jiān)控報警子系統(tǒng)
    系統(tǒng)監(jiān)控
    TStar使用Ganglia來監(jiān)控每個節(jié)點的工作狀態(tài),通過長期監(jiān)測系統(tǒng)運行狀況可以對合理調(diào)整、分配系統(tǒng)資源提供參考。系統(tǒng)運行初期可以依據(jù)系統(tǒng)監(jiān)控數(shù)據(jù)對平臺進行優(yōu)化。
    系統(tǒng)告警
    TStar平臺使用Nagios提供三個層面的監(jiān)控和告警:
    系統(tǒng)層面:使用插件來監(jiān)控服務(wù)器的CPU、內(nèi)存、硬盤使用率、I/O負載
    軟件層面:TStar的所有進程在啟動后把自己的PID寫入指定目錄的文件內(nèi),文件名為進程名。Nagios根據(jù)PID定時檢查進程的狀態(tài),對掛掉的進程顯示報警。
    業(yè)務(wù)層面:TStar中的各個模塊可以自定義告警,例如當網(wǎng)關(guān)中的鏈接數(shù)超過閾值,數(shù)據(jù)導入模塊在一定時間內(nèi)沒有接收到數(shù)據(jù)都可以產(chǎn)生告警
    TStar平臺提供多種告警通知方式,包含郵件或短信或APP等。智慧消防物聯(lián)網(wǎng)平臺層根據(jù)功能可以分為5個子系統(tǒng),分別為:數(shù)據(jù)接入子系統(tǒng)、數(shù)據(jù)存儲子系統(tǒng)、數(shù)據(jù)處理子系統(tǒng)、平臺服務(wù)子系統(tǒng)、監(jiān)控報警子系統(tǒng),其技術(shù)特點為:
    1.3.1 數(shù)據(jù)接入子系統(tǒng)

    負載均衡
     負載均衡是一種擴展服務(wù)器帶寬、增加吞吐量、加強網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性的技術(shù)。它將大量并發(fā)訪問分擔到多臺設(shè)備上進行分別處理,降低處理時延和單臺服務(wù)器負載。
     網(wǎng)關(guān)
     數(shù)據(jù)網(wǎng)關(guān)主要負責接收終端上報的數(shù)據(jù)、指令下發(fā)和數(shù)據(jù)路由。
     消息中間件
     消息隊列是設(shè)計大規(guī)模分布式系統(tǒng)時經(jīng)常使用的中間件產(chǎn)品。分布式系統(tǒng)構(gòu)件之間通過傳遞消息可以解除相互之間的功能耦合,這樣可以減輕子系統(tǒng)之間的依賴,使得各個子系統(tǒng)或者構(gòu)件可以獨立演進、維護或重用。
    1.3.2 數(shù)據(jù)存儲子系統(tǒng)
    HDFS
     HDFS是Hadoop最核心的設(shè)計之一。它是高度容錯的分布式文件系統(tǒng),設(shè)計用在低成本的硬件上運行。HDFS能提供高吞吐量的數(shù)據(jù)訪問,非常適合大規(guī)模數(shù)據(jù)集上的應用。
    HBASE
     HBase 是一個面向列的分布式數(shù)據(jù)庫,其設(shè)計目標是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時的理論和實現(xiàn)上的局限性,支持Terabyte到Petabyte級別的海量數(shù)據(jù)存儲和高速讀寫,這些數(shù)據(jù)被分布在數(shù)千臺普通服務(wù)器上,并且能夠被大量并發(fā)用戶高速訪問。
    RDBMS
     HBase雖然支持大數(shù)據(jù)量的存儲,但是不支持復雜的查詢。TStar中業(yè)務(wù)數(shù)據(jù)在進行展示時需要支持復雜查詢,這部分數(shù)據(jù)主要存儲在關(guān)系型數(shù)據(jù)庫。90%以上的存儲已經(jīng)被Hadoop和HBase承擔,RDBMS在TStar中負荷較低,性能比較高。
    Redis
     Redis是一款開源的、高性能支持持久化的鍵-值存儲系統(tǒng),其性能極高,能支持超過10萬每秒的讀寫頻率。
    TStar主要使用Redis來存儲讀寫頻率較高,數(shù)據(jù)量較恒定的數(shù)據(jù)。例如,終端當前狀態(tài)。
    1.3.3數(shù)據(jù)處理子系統(tǒng)
     數(shù)據(jù)處理子系統(tǒng),主要包括實時處理和批量處理。實時處理主要針對終端定時上報數(shù)據(jù)進行解析、報警判斷等時效性要求高的任務(wù)。批量處理主要針對報表分析、BI等對時效性要求不高的任務(wù)。
     實時處理
     在TStar中,對大數(shù)據(jù)處理的計算時效性要求很高,要求計算能在非常短的時延內(nèi)完成。因此采用了Storm框架,它能提供很好的可擴展性和容錯性,并且對消息的處理可以達到毫秒級的延遲。
     離線計算
    TStar離線分析模塊使用MapReduce計算框架,是Hadoop最核心的設(shè)計之一,適合離線處理超大規(guī)模數(shù)據(jù)集,如日報表分析、月報表分析、年度報表分析等。
    1.3.4平臺服務(wù)子系統(tǒng)
     數(shù)據(jù)導入
     網(wǎng)關(guān)接收到的終端原始數(shù)據(jù)和實時計算產(chǎn)生的部分數(shù)據(jù)分別存放在HDFS和Hbase里面,使用Kafka進行解耦,網(wǎng)關(guān)把原始數(shù)據(jù)寫入Kafka中,實時計算把解析數(shù)據(jù)寫入Kafka中 ,HDFS數(shù)據(jù)導入模塊和Hbase數(shù)據(jù)導入模塊異步的將Kafka中的數(shù)據(jù)導入到相應的存儲中。
     數(shù)據(jù)交換接口
    TStar提供三種數(shù)據(jù)交換接口:跨語言的Thrift RPC接口、JAVA API接口和REST API接口。
     跨語言的Thrift RPC接口
    TStar提供跨語言(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml)的數(shù)據(jù)交換接口,旨在提供業(yè)務(wù)層和平臺層的數(shù)據(jù)交互服務(wù),包括實時數(shù)據(jù)獲取,歷史數(shù)據(jù)獲取,終端指令下發(fā)及應答檢查。
    JAVA API
     TStar提供與TStar各模塊直接交互的JAVA API,為業(yè)務(wù)層提供了高性能的數(shù)據(jù)交互服務(wù),包括實時數(shù)據(jù)獲取,歷史數(shù)據(jù)獲取,終端指令下發(fā)及應答檢查。
    REST API
     TStar為第三方平臺提供了統(tǒng)一的REST API接口,您可以使用幾乎任何客戶端在任何編程語言與REST API進行交互,以及編寫和測試應用程序。接口支持設(shè)備的管理,實時數(shù)據(jù)、歷史數(shù)據(jù)的獲取,終端的指令下發(fā)。

    1.3.5監(jiān)控報警子系統(tǒng)
     系統(tǒng)監(jiān)控
    TStar使用Ganglia來監(jiān)控每個節(jié)點的工作狀態(tài),通過長期監(jiān)測系統(tǒng)運行狀況可以對合理調(diào)整、分配系統(tǒng)資源提供參考。系統(tǒng)運行初期可以依據(jù)系統(tǒng)監(jiān)控數(shù)據(jù)對平臺進行優(yōu)化。
     系統(tǒng)告警
    TStar平臺使用Nagios提供三個層面的監(jiān)控和告警:
     系統(tǒng)層面:使用插件來監(jiān)控服務(wù)器的CPU、內(nèi)存、硬盤使用率、I/O負載
     軟件層面:TStar的所有進程在啟動后把自己的PID寫入指定目錄的文件內(nèi),文件名為進程名。Nagios根據(jù)PID定時檢查進程的狀態(tài),對掛掉的進程顯示報警。
     業(yè)務(wù)層面:TStar中的各個模塊可以自定義告警,例如當網(wǎng)關(guān)中的鏈接數(shù)超過閾值,數(shù)據(jù)導入模塊在一定時間內(nèi)沒有接收到數(shù)據(jù)都可以產(chǎn)生告警
    TStar平臺提供多種告警通知方式,包含郵件或短信或APP等。



    選擇我們,優(yōu)質(zhì)服務(wù),不容錯過
    1. 優(yōu)秀的網(wǎng)絡(luò)資源,強大的網(wǎng)站優(yōu)化技術(shù),穩(wěn)定的網(wǎng)站和速度保證
    2. 15年上海網(wǎng)站建設(shè)經(jīng)驗,優(yōu)秀的技術(shù)和設(shè)計水平,更放心
    3. 全程省心服務(wù),不必擔心自己不懂網(wǎng)絡(luò),更省心。
    ------------------------------------------------------------
    24小時聯(lián)系電話:021-58370032
    99人妻中文字幕视频在,亚洲无码视频在线免费看,久久国产乱子伦免费精品,日本中文字幕色视频网站
    <label id="2a06w"><tt id="2a06w"></tt></label><label id="2a06w"><tt id="2a06w"><em id="2a06w"></em></tt></label><menu id="2a06w"></menu>
  • <dfn id="2a06w"><var id="2a06w"><label id="2a06w"></label></var></dfn>
    <sup id="2a06w"><button id="2a06w"><em id="2a06w"></em></button></sup>
    <dfn id="2a06w"><var id="2a06w"></var></dfn>
    <dfn id="2a06w"></dfn>
  • <dfn id="2a06w"><code id="2a06w"><ins id="2a06w"></ins></code></dfn>
  • <small id="2a06w"><samp id="2a06w"></samp></small>
  • <dfn id="2a06w"><table id="2a06w"><center id="2a06w"></center></table></dfn>
    <label id="2a06w"><tt id="2a06w"><em id="2a06w"></em></tt></label>
    <strike id="2a06w"><form id="2a06w"></form></strike>
    <menu id="2a06w"><tt id="2a06w"></tt></menu>