智慧消防物聯(lián)網(wǎng)平臺(tái)層的5個(gè)子系統(tǒng)發(fā)布者:本站 時(shí)間:2020-01-02 14:01:23
智慧消防物聯(lián)網(wǎng)平臺(tái)層根據(jù)功能可以分為5個(gè)子系統(tǒng),分別為:數(shù)據(jù)接入子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)、數(shù)據(jù)處理子系統(tǒng)、平臺(tái)服務(wù)子系統(tǒng)、監(jiān)控報(bào)警子系統(tǒng),其技術(shù)特點(diǎn)為:
1.3.1 數(shù)據(jù)接入子系統(tǒng)
負(fù)載均衡
負(fù)載均衡是一種擴(kuò)展服務(wù)器帶寬、增加吞吐量、加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性的技術(shù)。它將大量并發(fā)訪問分擔(dān)到多臺(tái)設(shè)備上進(jìn)行分別處理,降低處理時(shí)延和單臺(tái)服務(wù)器負(fù)載。
網(wǎng)關(guān)
數(shù)據(jù)網(wǎng)關(guān)主要負(fù)責(zé)接收終端上報(bào)的數(shù)據(jù)、指令下發(fā)和數(shù)據(jù)路由。
消息中間件
消息隊(duì)列是設(shè)計(jì)大規(guī)模分布式系統(tǒng)時(shí)經(jīng)常使用的中間件產(chǎn)品。分布式系統(tǒng)構(gòu)件之間通過傳遞消息可以解除相互之間的功能耦合,這樣可以減輕子系統(tǒng)之間的依賴,使得各個(gè)子系統(tǒng)或者構(gòu)件可以獨(dú)立演進(jìn)、維護(hù)或重用。
1.3.2 數(shù)據(jù)存儲(chǔ)子系統(tǒng)
HDFS
HDFS是Hadoop最核心的設(shè)計(jì)之一。它是高度容錯(cuò)的分布式文件系統(tǒng),設(shè)計(jì)用在低成本的硬件上運(yùn)行。HDFS能提供高吞吐量的數(shù)據(jù)訪問,非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。
HBASE
HBase 是一個(gè)面向列的分布式數(shù)據(jù)庫,其設(shè)計(jì)目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時(shí)的理論和實(shí)現(xiàn)上的局限性,支持Terabyte到Petabyte級(jí)別的海量數(shù)據(jù)存儲(chǔ)和高速讀寫,這些數(shù)據(jù)被分布在數(shù)千臺(tái)普通服務(wù)器上,并且能夠被大量并發(fā)用戶高速訪問。
RDBMS
HBase雖然支持大數(shù)據(jù)量的存儲(chǔ),但是不支持復(fù)雜的查詢。TStar中業(yè)務(wù)數(shù)據(jù)在進(jìn)行展示時(shí)需要支持復(fù)雜查詢,這部分?jǐn)?shù)據(jù)主要存儲(chǔ)在關(guān)系型數(shù)據(jù)庫。90%以上的存儲(chǔ)已經(jīng)被Hadoop和HBase承擔(dān),RDBMS在TStar中負(fù)荷較低,性能比較高。
Redis
Redis是一款開源的、高性能支持持久化的鍵-值存儲(chǔ)系統(tǒng),其性能極高,能支持超過10萬每秒的讀寫頻率。
TStar主要使用Redis來存儲(chǔ)讀寫頻率較高,數(shù)據(jù)量較恒定的數(shù)據(jù)。例如,終端當(dāng)前狀態(tài)。
1.3.3數(shù)據(jù)處理子系統(tǒng)
數(shù)據(jù)處理子系統(tǒng),主要包括實(shí)時(shí)處理和批量處理。實(shí)時(shí)處理主要針對(duì)終端定時(shí)上報(bào)數(shù)據(jù)進(jìn)行解析、報(bào)警判斷等時(shí)效性要求高的任務(wù)。批量處理主要針對(duì)報(bào)表分析、BI等對(duì)時(shí)效性要求不高的任務(wù)。
實(shí)時(shí)處理
在TStar中,對(duì)大數(shù)據(jù)處理的計(jì)算時(shí)效性要求很高,要求計(jì)算能在非常短的時(shí)延內(nèi)完成。因此采用了Storm框架,它能提供很好的可擴(kuò)展性和容錯(cuò)性,并且對(duì)消息的處理可以達(dá)到毫秒級(jí)的延遲。
離線計(jì)算
TStar離線分析模塊使用MapReduce計(jì)算框架,是Hadoop最核心的設(shè)計(jì)之一,適合離線處理超大規(guī)模數(shù)據(jù)集,如日?qǐng)?bào)表分析、月報(bào)表分析、年度報(bào)表分析等。
1.3.4平臺(tái)服務(wù)子系統(tǒng)
數(shù)據(jù)導(dǎo)入
網(wǎng)關(guān)接收到的終端原始數(shù)據(jù)和實(shí)時(shí)計(jì)算產(chǎn)生的部分?jǐn)?shù)據(jù)分別存放在HDFS和Hbase里面,使用Kafka進(jìn)行解耦,網(wǎng)關(guān)把原始數(shù)據(jù)寫入Kafka中,實(shí)時(shí)計(jì)算把解析數(shù)據(jù)寫入Kafka中
,HDFS數(shù)據(jù)導(dǎo)入模塊和Hbase數(shù)據(jù)導(dǎo)入模塊異步的將Kafka中的數(shù)據(jù)導(dǎo)入到相應(yīng)的存儲(chǔ)中。
數(shù)據(jù)交換接口
TStar提供三種數(shù)據(jù)交換接口:跨語言的Thrift RPC接口、JAVA API接口和REST API接口。
跨語言的Thrift RPC接口
TStar提供跨語言(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#,
Cocoa,
Smalltalk和OCaml)的數(shù)據(jù)交換接口,旨在提供業(yè)務(wù)層和平臺(tái)層的數(shù)據(jù)交互服務(wù),包括實(shí)時(shí)數(shù)據(jù)獲取,歷史數(shù)據(jù)獲取,終端指令下發(fā)及應(yīng)答檢查。
JAVA API
TStar提供與TStar各模塊直接交互的JAVA API,為業(yè)務(wù)層提供了高性能的數(shù)據(jù)交互服務(wù),包括實(shí)時(shí)數(shù)據(jù)獲取,歷史數(shù)據(jù)獲取,終端指令下發(fā)及應(yīng)答檢查。
REST API
TStar為第三方平臺(tái)提供了統(tǒng)一的REST API接口,您可以使用幾乎任何客戶端在任何編程語言與REST API進(jìn)行交互,以及編寫和測(cè)試應(yīng)用程序。接口支持設(shè)備的管理,實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)的獲取,終端的指令下發(fā)。
1.3.5監(jiān)控報(bào)警子系統(tǒng)
系統(tǒng)監(jiān)控
TStar使用Ganglia來監(jiān)控每個(gè)節(jié)點(diǎn)的工作狀態(tài),通過長(zhǎng)期監(jiān)測(cè)系統(tǒng)運(yùn)行狀況可以對(duì)合理調(diào)整、分配系統(tǒng)資源提供參考。系統(tǒng)運(yùn)行初期可以依據(jù)系統(tǒng)監(jiān)控?cái)?shù)據(jù)對(duì)平臺(tái)進(jìn)行優(yōu)化。
系統(tǒng)告警
TStar平臺(tái)使用Nagios提供三個(gè)層面的監(jiān)控和告警:
系統(tǒng)層面:使用插件來監(jiān)控服務(wù)器的CPU、內(nèi)存、硬盤使用率、I/O負(fù)載
軟件層面:TStar的所有進(jìn)程在啟動(dòng)后把自己的PID寫入指定目錄的文件內(nèi),文件名為進(jìn)程名。Nagios根據(jù)PID定時(shí)檢查進(jìn)程的狀態(tài),對(duì)掛掉的進(jìn)程顯示報(bào)警。
業(yè)務(wù)層面:TStar中的各個(gè)模塊可以自定義告警,例如當(dāng)網(wǎng)關(guān)中的鏈接數(shù)超過閾值,數(shù)據(jù)導(dǎo)入模塊在一定時(shí)間內(nèi)沒有接收到數(shù)據(jù)都可以產(chǎn)生告警
TStar平臺(tái)提供多種告警通知方式,包含郵件或短信或APP等。智慧消防物聯(lián)網(wǎng)平臺(tái)層根據(jù)功能可以分為5個(gè)子系統(tǒng),分別為:數(shù)據(jù)接入子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)、數(shù)據(jù)處理子系統(tǒng)、平臺(tái)服務(wù)子系統(tǒng)、監(jiān)控報(bào)警子系統(tǒng),其技術(shù)特點(diǎn)為:
1.3.1 數(shù)據(jù)接入子系統(tǒng)
負(fù)載均衡
負(fù)載均衡是一種擴(kuò)展服務(wù)器帶寬、增加吞吐量、加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性的技術(shù)。它將大量并發(fā)訪問分擔(dān)到多臺(tái)設(shè)備上進(jìn)行分別處理,降低處理時(shí)延和單臺(tái)服務(wù)器負(fù)載。
網(wǎng)關(guān)
數(shù)據(jù)網(wǎng)關(guān)主要負(fù)責(zé)接收終端上報(bào)的數(shù)據(jù)、指令下發(fā)和數(shù)據(jù)路由。
消息中間件
消息隊(duì)列是設(shè)計(jì)大規(guī)模分布式系統(tǒng)時(shí)經(jīng)常使用的中間件產(chǎn)品。分布式系統(tǒng)構(gòu)件之間通過傳遞消息可以解除相互之間的功能耦合,這樣可以減輕子系統(tǒng)之間的依賴,使得各個(gè)子系統(tǒng)或者構(gòu)件可以獨(dú)立演進(jìn)、維護(hù)或重用。
1.3.2 數(shù)據(jù)存儲(chǔ)子系統(tǒng)
HDFS
HDFS是Hadoop最核心的設(shè)計(jì)之一。它是高度容錯(cuò)的分布式文件系統(tǒng),設(shè)計(jì)用在低成本的硬件上運(yùn)行。HDFS能提供高吞吐量的數(shù)據(jù)訪問,非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。
HBASE
HBase 是一個(gè)面向列的分布式數(shù)據(jù)庫,其設(shè)計(jì)目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時(shí)的理論和實(shí)現(xiàn)上的局限性,支持Terabyte到Petabyte級(jí)別的海量數(shù)據(jù)存儲(chǔ)和高速讀寫,這些數(shù)據(jù)被分布在數(shù)千臺(tái)普通服務(wù)器上,并且能夠被大量并發(fā)用戶高速訪問。
RDBMS
HBase雖然支持大數(shù)據(jù)量的存儲(chǔ),但是不支持復(fù)雜的查詢。TStar中業(yè)務(wù)數(shù)據(jù)在進(jìn)行展示時(shí)需要支持復(fù)雜查詢,這部分?jǐn)?shù)據(jù)主要存儲(chǔ)在關(guān)系型數(shù)據(jù)庫。90%以上的存儲(chǔ)已經(jīng)被Hadoop和HBase承擔(dān),RDBMS在TStar中負(fù)荷較低,性能比較高。
Redis
Redis是一款開源的、高性能支持持久化的鍵-值存儲(chǔ)系統(tǒng),其性能極高,能支持超過10萬每秒的讀寫頻率。
TStar主要使用Redis來存儲(chǔ)讀寫頻率較高,數(shù)據(jù)量較恒定的數(shù)據(jù)。例如,終端當(dāng)前狀態(tài)。
1.3.3數(shù)據(jù)處理子系統(tǒng)
數(shù)據(jù)處理子系統(tǒng),主要包括實(shí)時(shí)處理和批量處理。實(shí)時(shí)處理主要針對(duì)終端定時(shí)上報(bào)數(shù)據(jù)進(jìn)行解析、報(bào)警判斷等時(shí)效性要求高的任務(wù)。批量處理主要針對(duì)報(bào)表分析、BI等對(duì)時(shí)效性要求不高的任務(wù)。
實(shí)時(shí)處理
在TStar中,對(duì)大數(shù)據(jù)處理的計(jì)算時(shí)效性要求很高,要求計(jì)算能在非常短的時(shí)延內(nèi)完成。因此采用了Storm框架,它能提供很好的可擴(kuò)展性和容錯(cuò)性,并且對(duì)消息的處理可以達(dá)到毫秒級(jí)的延遲。
離線計(jì)算
TStar離線分析模塊使用MapReduce計(jì)算框架,是Hadoop最核心的設(shè)計(jì)之一,適合離線處理超大規(guī)模數(shù)據(jù)集,如日?qǐng)?bào)表分析、月報(bào)表分析、年度報(bào)表分析等。
1.3.4平臺(tái)服務(wù)子系統(tǒng)
數(shù)據(jù)導(dǎo)入
網(wǎng)關(guān)接收到的終端原始數(shù)據(jù)和實(shí)時(shí)計(jì)算產(chǎn)生的部分?jǐn)?shù)據(jù)分別存放在HDFS和Hbase里面,使用Kafka進(jìn)行解耦,網(wǎng)關(guān)把原始數(shù)據(jù)寫入Kafka中,實(shí)時(shí)計(jì)算把解析數(shù)據(jù)寫入Kafka中
,HDFS數(shù)據(jù)導(dǎo)入模塊和Hbase數(shù)據(jù)導(dǎo)入模塊異步的將Kafka中的數(shù)據(jù)導(dǎo)入到相應(yīng)的存儲(chǔ)中。
數(shù)據(jù)交換接口
TStar提供三種數(shù)據(jù)交換接口:跨語言的Thrift RPC接口、JAVA API接口和REST API接口。
跨語言的Thrift RPC接口
TStar提供跨語言(目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#,
Cocoa,
Smalltalk和OCaml)的數(shù)據(jù)交換接口,旨在提供業(yè)務(wù)層和平臺(tái)層的數(shù)據(jù)交互服務(wù),包括實(shí)時(shí)數(shù)據(jù)獲取,歷史數(shù)據(jù)獲取,終端指令下發(fā)及應(yīng)答檢查。
JAVA API
TStar提供與TStar各模塊直接交互的JAVA API,為業(yè)務(wù)層提供了高性能的數(shù)據(jù)交互服務(wù),包括實(shí)時(shí)數(shù)據(jù)獲取,歷史數(shù)據(jù)獲取,終端指令下發(fā)及應(yīng)答檢查。
REST API
TStar為第三方平臺(tái)提供了統(tǒng)一的REST API接口,您可以使用幾乎任何客戶端在任何編程語言與REST API進(jìn)行交互,以及編寫和測(cè)試應(yīng)用程序。接口支持設(shè)備的管理,實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)的獲取,終端的指令下發(fā)。
1.3.5監(jiān)控報(bào)警子系統(tǒng)
系統(tǒng)監(jiān)控
TStar使用Ganglia來監(jiān)控每個(gè)節(jié)點(diǎn)的工作狀態(tài),通過長(zhǎng)期監(jiān)測(cè)系統(tǒng)運(yùn)行狀況可以對(duì)合理調(diào)整、分配系統(tǒng)資源提供參考。系統(tǒng)運(yùn)行初期可以依據(jù)系統(tǒng)監(jiān)控?cái)?shù)據(jù)對(duì)平臺(tái)進(jìn)行優(yōu)化。
系統(tǒng)告警
TStar平臺(tái)使用Nagios提供三個(gè)層面的監(jiān)控和告警:
系統(tǒng)層面:使用插件來監(jiān)控服務(wù)器的CPU、內(nèi)存、硬盤使用率、I/O負(fù)載
軟件層面:TStar的所有進(jìn)程在啟動(dòng)后把自己的PID寫入指定目錄的文件內(nèi),文件名為進(jìn)程名。Nagios根據(jù)PID定時(shí)檢查進(jìn)程的狀態(tài),對(duì)掛掉的進(jìn)程顯示報(bào)警。
業(yè)務(wù)層面:TStar中的各個(gè)模塊可以自定義告警,例如當(dāng)網(wǎng)關(guān)中的鏈接數(shù)超過閾值,數(shù)據(jù)導(dǎo)入模塊在一定時(shí)間內(nèi)沒有接收到數(shù)據(jù)都可以產(chǎn)生告警
TStar平臺(tái)提供多種告警通知方式,包含郵件或短信或APP等。
選擇我們,優(yōu)質(zhì)服務(wù),不容錯(cuò)過
1. 優(yōu)秀的網(wǎng)絡(luò)資源,強(qiáng)大的網(wǎng)站優(yōu)化技術(shù),穩(wěn)定的網(wǎng)站和速度保證
2. 15年上海網(wǎng)站建設(shè)經(jīng)驗(yàn),優(yōu)秀的技術(shù)和設(shè)計(jì)水平,更放心
3. 全程省心服務(wù),不必?fù)?dān)心自己不懂網(wǎng)絡(luò),更省心。
------------------------------------------------------------
24小時(shí)聯(lián)系電話:021-58370032