作者:仁威
一、車聯網市場及趨勢淺析(一)什么是車聯網
未來智能互聯化是一個不可逆轉的趨勢,生活中常用的物品都在逐漸聯網化,例如洗衣機、電視、智能家居等設備,通過聯網可以用手機控制,甚至于智能穿戴的設備,衣服、眼鏡、鞋都有逐漸聯網的趨勢。
手機作為第一個智能終端,它已經從簡單的通話工具演變成了可以社交,查看新聞,甚至辦公的工具。汽車也是一樣,現在汽車正在逐漸聯網,成為第二個智能終端。汽車作為智能終端接入網絡之后,利用車載設備實現智能化交通、移動金融服務、購物、車家互控等場景逐漸成為現實。這些場景下會產生越來越多的數據,比如,現在可以從手機端直接連接汽車4S店的服務。甚至汽車跟手機的終端打通,已經可以互聯互通互動。也可以從汽車端直接控制家電,比如在汽車上有些高端車,可以直接車家互動,在車里面控制家里的空調、洗衣機等。
除了這些,未來娛樂內容等方面的數據,以及車上產生的狀態軌跡數據都會逐漸向云端存儲,而5G的發展無疑加速了進程。
(二)市場趨勢
隨著5G網絡的建設,傳統的移動互聯網市場已經飽和,一部分企業開始瞄準5G帶來的汽車互聯網機遇,探索5G所驅動的汽車革命;同時,汽車企業在過去幾年時間提升了認識,逐步開始實踐數字化轉型,部分企業已經初見成效。之所以5G可以給汽車互聯網帶來發展機遇,主要原因5G支撐了云計算在汽車上的應用,這使得云語音等服務成為可能。
與其他設備的移動互聯網應用不同,汽車互聯網的應用有一定難度,主要是汽車企業主動性不強,完全外部安裝的設備不容易發揮作用,利用5G帶來的云平臺接入,給汽車企業帶來了主動數字化轉型的動力,那么汽車互聯網的發展會大大加快。
汽車聯網可以劃分4個階段:第一階段:2G/3G/4G聯網的時候,主要是解決“通”的問題,能看到汽車的狀態,比如現在租車或網約車汽車的狀態與位置,用2G/3G/4G數據傳就足夠了。
第二階段:帶寬逐漸增加之后,就可以拿到更多車上產生的數據,做大聯網的數據。但車聯網的大數據分析,能夠為保險行業或者其他金融行業提供車主駕駛行為的數據判斷。
第三階段:V2X、5G、云端互聯,帶寬已經越來越高的情況下,可以實現更多車和其他系統的對接,更多更豐富的功能。
第四階段:可以借助于云端無窮無盡的計算能力,去做一些智能化的計算和判斷,實現智能駕駛***連接系統,對接第三方系統,對接車車的互聯,車和路測終端,更緊密的互聯等更大場景下的智能化應用。
中國車聯網用戶規模不斷攀升,5G/V2X技術應用有望實現強勁增長,2022年用戶總規模將超過5100萬。短期,中國車聯網市場規模的增長主要依賴軟硬件裝載量的提升。中長期,隨著車聯網生態的豐富,廣告、CP/SP等以車聯云為核心的車內增值服務將帶來更廣闊的增長空間。
早在2017年,國家就推出了車聯網行業的新四化:“網聯化”、“智能化”、“共享化”、“電動化”。無論從國家規劃還是從科技發展趨勢來看,這四化都將成為未來汽車行業的發展方向。未來,所有汽車行業都會從傳統的汽車制造企業向出行服務方向進行轉型。隨著國內汽車保有量和人均收入的快速增長,給客戶提供更加可靠、安全、優質的出行服務,將變成車企的主要目標。針對這個目標,阿里云存儲產品需要給車企提供可信賴的數據支撐,便于車企對自身進行優化、改進。
圖源見水印,侵刪
據前瞻產業研究院發布的《車聯網行業市場前瞻與投資占率規劃分析報告》數據顯示,2020年中國汽車保有量約為2.5~3億輛,按照15%的滲透率,具備聯網能力的車輛將達到4000萬輛左右。以每輛1000元的硬件產品價格來估算,單是硬件市場就有400億元規模。而隨著產品功能的豐富,單輛車的硬件產值也會翻倍提高,加之互聯網服務,車聯網市場的空間可以在5~10年內達到千億甚至萬億規模。
二、車聯網海量監控數據怎么存?(一)車聯網系統數據存儲
汽車企業在生產系統中采用云戰略實現上云上平臺,一方面可以解決過去難以解決的各個系統互聯互通問題,另外一方面,可以通過推進產業互聯網平臺,為各地域的工廠(不一定是同一家公司)之間共享信息提供基礎條件。
上圖左右放的是智能互聯系統的云端架構圖,從左邊這個邏輯架構圖可以看到,從下面產品通過網絡接入云端,首先連接底層的是產品的數據庫,云端在資源池化之后,讓用戶以更貼近業務的方式去定義業務相關的一些應用和產品。
所以說,從第一層把數據對接上來,就要進入云端的數據庫集中的存儲,有了集中的數據存儲層之后,才需要往上去建立應用層應用平臺,或者是智能化的規則引擎,數據來驅動平臺。根據不同的業務互動場景,去建設相關的應用。
右端是數據架構圖,表示數據首先從車企端采集以后,不單純是車上的各個指標數據,還有它的位置信息以及其他更豐富的數據,比如智能后視鏡,采集的視頻數據、語音的數據和云端服務交互的數據。這些數據是多樣化的,無結構的,半結構的或者結構化的數據都會有。所以需要有一個Delegate池化的大數據云端存儲平臺,能夠支撐多模、異構的數據的存儲、查詢和解析。
這些數據不光是車產生的,還有可能第三方系統的,比如車跟支付寶平臺對接,微信對接,第三方國家銀聯的平臺,或者是內容提供商的平臺對接,服務提供商的平臺對接,這些數據源也都可以作為我們數據庫全景數據的補充。
有了全景數據,未來才能支撐更多更豐富的場景。
大致的部署結構如下所示:
首先車企端在一般情況下使用OBD、OBU把數據導出來。TBox是車集中的計算平臺,就像我們的電腦似的,它把數據從OBD、OBU平臺拿到之后上傳,通過SIM卡跟云端發生交互。云端拿到數據之后,通過數據解析,一致化之后,再融入第三方數據源,實現不同場景下數據的應用,比如,車載應用:IVI新功能規劃、新的交互模式、智能座艙體驗;TSP服務:加油充電、道路求援、交通信息、停車服務;正常導向:國家標準(國VI、EV)、第三方數據輸入、安全體現等,都可以基于云端的數據,去搭建需求應用系統。
(二)車聯網典型數據場景–新能源汽車監控
BEV新能源汽車監控場景主要是為了滿足GB/T32960國標和地標的需求,以便車廠能夠獲得平臺符合性及車輛符合性認證。整個車廠建設過程中,出于日常運營需求,往往在國標基礎上建設額外服務,例如:通知、告警、監控、追跡、調度服務、系統報表、數據轉發等功能。
主要建立能力調度服務:可選服務,可用于車輛運營。
報警信息:可選服務,可通知車主、4S店等定制化報警服務。
統計報表:可選服務,基于OEM要求進行定制。
數據存儲:實施接受(10S頻率),北京區域要求存儲1年,上海地區存儲3年。
數據查詢:各個數據(實時數據/歷史數據)的查詢顯示接口,需求提供報警新展示,單體蓄電池電壓數據展示;動力蓄電池包溫度數據展示;整車數據展示;極值數據展示。
(三)車聯網典型數據場景–Telematics
Telematics是指應用無線通信技術的車載計算機,新一代Telematics將以公有云為核心,實現車輛***控制、***讀取信息和智能賦能。目前有內置和OBD接頭兩種實現的方式,其本質都是對于汽車各系統ECU的***監控,已經實現的功能有***檢測,***控制,呼叫中心等,比較成熟的有bluelink,安吉星on-star,美國的snap-on,還有delphi出的VerizonWireless等。
(四)車聯網典型數據場景–智能后視鏡監控
為貫徹交警“便捷高效,互聯互通,共享共治”的互聯+思維理念,充分發揮智能行車記錄儀在交警執法中的積極作用,運營商積極配合深圳市交警局打造“車聯網生態系統平臺”,建立中國智能交通產業聯盟上下游企業生態圈,支持車聯網生態圈等相關企業發展,實現星級用戶車主“一人一車一設備”的愿景,為車主提供多樣化的車聯網平臺管理方案,以提高交警對車輛管理的效率。
(五)車聯網典型數據場景–車載娛樂系統
車載信息娛樂系統(IVI)是智能駕駛艙信息交互的重要載體,基于車身總線系統和互聯網服務,形成車載綜合信息處理系統,可提供導航定位、車體控制、無線通信、車內娛樂和汽車移動等多種服務內容。產業鏈中,中控廠商憑借對硬件和軟件的整合的產品優勢和技術累積,占據了座艙電子產業鏈的制高點,未來,中控系統將成為人機交互的核心驅動,具備廣闊的應用前景。目前,IVI能夠實現包括三維導航、實時路況、IPTV、輔助駕駛、故障檢測、車身控制、移動辦公、無線通訊、基于在線的娛樂功能及TSP服務等一系列應用,車輛電子化,網絡化和智能化水平強依賴云端能力。
云端和車機端的數據的交互量會大幅的提升,不光是服務能力賦能汽車,同時視頻和音頻汽車車主駕駛的時候操作的數字路徑,都需要從云端去獲取,這些數據也需要在云端去集中的存儲,就是現在的一個場景和海量數據存儲的一個現狀。
三、云原生多模數據庫Lindorm怎么解?(一)什么是云原生多模數據庫Lindorm?
云原生多模數據庫Lindorm適用于任何規模、多種規模的云原生數據庫服務,支持海量數據的低成本存儲處理和彈性按需付費,兼容HBase、Solr、SQL、OpenTSDB等多種開源標準接口,是互聯網IoT、車聯網、廣告、社交、監控、游戲、風控等場景首選數據庫。
未來,車聯網場景將會是數據量大,數據類型多。不同場景下產生的數據類型多種多樣,會有視頻、文本、代碼鏈路、用戶數字軌跡等方面的數據,以及在車機端點擊應用的操作行為。這些都會使得云端數據庫建設對應的存儲模型,以及查詢能力,因此云端多模的存儲能力是必選項。
同時,需要考慮對現有系統和第三方平臺的對接能力,多模的數據庫需要有一個***的標準和協議支持,支撐更大范圍的數據生態。
Lindorm主要有以下四個特點:
1.極致性價比
當遇到數據量激增的場景,如果沒有很好的數據壓縮存儲或者冷熱數據自動轉存的方案,數據成本也會激增。大部分的監控數據是機架式密度數據,有一些運維數據在不出故障的時候就沒有什么價值。只有出了故障,在回溯分析定位的時候,它才會發揮價值。像這種數據,如果用傳統的關系數據庫或者是自建的數據庫存儲,運維和數據授權的成本非常高昂,是不經濟的存儲方式。
因此,未來需要極致性價比的物聯網存儲,能夠提供PB級甚至EB級存儲能力的存儲平臺,才能有效支撐這種場景。
2.云原生彈性
未來,我們需要云端提供隨時進行池化資源的使用方式,沒有業務的時候可以收縮資源占用量,節約成本。業務并發量大的時候,在保證性能的前提下滿足成本控制的需求。
因此,彈性伸縮數據庫的存儲,是云原生場景下很關鍵的能力。
3.企業級穩定性
支撐如此龐大數量在線運行車輛的場景,穩定性至關重要。
例如汽車OTA場景,當發生故障或網絡中斷、數據丟失的情況,汽車升級可能發生中斷,導致了車機端的故障或是智能化控制指令丟失,執行失敗等。
4.數據生態融合
對接更廣泛的生態,無疑可以支撐我們更大場景下的這個數據應用,這個也是非常關鍵的。
目標行業:工業物聯網、車聯網、APM運維、NPM運維……
這些場景都有一個共同的特點,就是產生海量、帶持續指標的監控數據,而這些數據的價值密度非常低,它需要一種經濟且友好的數據庫進行存儲。
上方為Lindorm數據庫體系圖。
目前Lindorm的核心能力除了能夠對接廣泛的數據生態等,在數據庫內部也有多模數據轉存的通道,能夠在寬表、時序、全文檢索、文件檢索引擎之間做數據的協同。
上層除了支持SDK等接口之外,還支持其他應用比較廣泛的大數據生態接口查詢語言。
(二)Lindorm產品策略
上方為產品發展策略,未來演進方向是云原生多模超融合數據庫。
首先在金字塔底層的第一階段,要具備海量多模數據的存儲能力,把結構化、半結構化、無結構化的數據以較為經濟的方式存儲下來,對這些數據做云化的處理,稱為數據云。
在此基礎上,再建設跨數據庫引擎的橫向融合能力,如寬表、時序、圖、關系等模型數據,實現數據庫協同查詢能力。
在Lindorm數據庫內部,用戶可以通過一致的查詢語句,透明查詢多種數據庫,拿到所需要的信息。無論這個信息是從寬表、時序還是從文本檢索引擎來的,均對用戶透明化處理,從而更友好地支撐未來數據應用的開發。
再往上層的縱向融合指的除了數據庫引擎、上層數據交換、ETF流數據處理以及計算引擎,可以在上層搭建數據庫內部的運行,例如異常檢測、趨勢預測、關聯性分析、相關性分析等,縱向地將數據庫的能力進一步融合,進而達到超融合,實現統一的查詢語言、數據視圖,數據訪問。
在車聯網的一些具體場景下,比如新能源汽車當前電池包的健康狀態監控,或者是公共場景下帶業務特征的計算,都可以做成數據庫內計算的算子,或是以函數直接通過標準SQL語句去調用,最后連存到算一體化執行,最終實現頂層推理的效果。
推理的效果指的是我們只需要告訴數據庫我們的需求,則可得到相應的信息。建立統一的數據視圖之后,可以用SQL語句定義,比如導致生產次品率上升的主要原因,汽車故障發生告警的主要原因等,這些能力都是現有的數據庫和查詢所不能實現的。
如果要提供以上能力,需要一系列的數據工具,如下所示。
上圖為邏輯架構圖,圖中的最下方是能對接的第三方數據源,提供無縫的對接和支持。數據進來之后到寬表時序等文件引擎,在這里面根據業務場景不同,可以劃分不同場景進行存儲,有配套的數據轉儲和數據采集工具。
再上方就是計算引擎,還有數據檢索的引擎。如PhoenixSQL引擎,Lindorm監控服務,以及時序數據分析等服務。再上層是人機界面,為了方便基于數據庫開發數據應用,最上層是應用系統。
核心優勢賣點1)高性價比存儲
2)多模超融合檢索
創新技術能力1)時序數據壓縮
2)工業場景數據建模
3)時序統計及非確定性推理檢索
貼近客戶場景1)LindormStudioIDE、工具、SDK
2)文檔、方案、案例庫
3)***、體系化IT&OT融合服務能力
打通數據生態1)***生態:開源:CQL、PhoneixSQL、ES、MachineBeat…
2)商業:OSIsoftPI、Splunk
融合方案生態OSIsoft、Intel、工業大腦、IoT、東軟、飛象互聯…
上方為以前和當前存儲方案對比,原來的部署方案需要應用開發人員和運營人員具備較高的動手能力,后續數據量增加的話,每個系統要單獨做集群,需要耗費大量的人力和專家進行支撐。
當前的Lindorm存儲方案是一個數據庫幫助客戶解決日常問題,用一個接口查詢所有多模型的數據庫。
(三)Lindorm車聯網數據存儲解決方案
在部署形態上,未來的車聯網與物聯網是便載、地域分布廣的場景,單獨在云端搭建數據庫無法滿足性能實時性的需求,所以未來數據庫形態邏輯和物理部署可能是一對多,稱為云邊端一體化的數據庫部署方案。
邊緣端不管是車聯網路測端的設備或者車機上的TBox,都可以去嵌入輕量級持續數據采集的數據庫或者是多模數據庫。在工業場景下,已經實現了在邊緣計算節點上部署邊緣數據庫,它可以無縫對接混合云、私有云數據中心或者是公有云平臺數據庫,做實時或按策略批量的數據同步。
用戶在實際部署和使用過程中,可以把分布部署的數據庫作為邏輯一體的數據庫來管理和實現。比如邊緣端部署,它可以采集存儲一段時間周期的數據,然后支撐實時面向邊緣端所連接的設備或者車輛數據,實時查詢與監控的場景。
一旦需要全景數據或者是需要回溯分析出報表,統計數據的時候,可以借助云端強大的計算能力與存儲能力,做全量數據的回溯,做復雜計算以及根源分析,甚至機器學習場景的模型訓練,完美實現邏輯一體,實際物理分離。既能支撐實時場景,又能支撐批量分析場景的數據存儲解決方案。
物聯網行業數據主要以終端設備、傳感器實時產生的狀態數據、用戶操作數字足跡和控制執行結果數據為主;利用監控狀態數據可以及時發現設備、異常操作、潛在風險、客戶數字體驗,從而指導運營運維;物聯網實時監控數據經過實時流數據處理平臺,或時序數據庫聚合對接實時監控大屏,支持設備實時監管、風險態勢感知等應用場景;批量存儲在近場端、數據云端的全量物聯網數據可用來做故障回溯分析、主動探傷檢測、異常定位及預測等。BEV新能源汽車監控場景主要是為了滿足GB/T32960國標和地標的需求,以便車廠能夠獲得平臺符合性及車輛符合性認證。在整車廠建設過程中,出于日常運營需求,往往會在國標基礎上建設額外服務,例如:通知、告警、監控、追跡、調度服務、統計報表、數據轉發等功能。
針對這個場景,我們提供了基于阿里云Lindorm數據庫的整體解決方案。
首先,這個方案里除了Lindorm,還用到了其他阿里云數據庫產品,比如多維數據分析數據庫ADB,第三方開源的Sparkstreaming,還有IoT網關MQTT等。
這個流程從車機端對接云端一般有兩套方案,一套方案是車廠對接車聯網的服務提供商,他們有自己私有云平臺來對接車機端的提供,然后再由他們的平臺來對接到阿里云的Lindorm數據庫。
另外也可以直接按標準協議去對接車機端現有的TBox,直接用REST接口來同步數據,或者MQTT協議直接發送到IoTGateway。這些數據到了云端之后,它可以分成兩個流,一個實時寫入Lindorm,快速上報國家平臺,周期10秒,在周期內完成上報國家平臺以及存入數據庫這些動作。
另外一個為了實現實時報警與數據分析,數據流也同步推送一份到Sparkstreaming,由它做實時流數據分析生成事件,然后再存入Lindorm數據庫。
如果有第三方數據的對接,比如車廠以及其他第三方系統做數據的歸集備份,或者是第三方的平臺的應用也需要這塊數據,就需要推到Kafka里邊,然后再由Kafka消息隊列發到車場的數據中心。
車場數據中心也可以部署一套Lindorm數據庫和云端做實時數據同步,當出現網絡鏈路不穩定,或者車廠做數據分析的時候,在車場本地的數據中心也可以完成數據分析的工作。
國家數據平臺最主要是北理工的平臺,有標準的接口協議直接在云端開發相應的數據推送服務節點對接國家平臺,地方平臺有地方標準和相應接口,可以云端直接轉發。
這里用到的數據庫主要有,Lindorm數據庫做全量數據的存儲,Lindorm數據庫中需要結合其他數據,比如說CRM的數據,車輛信息數據,基于密碼查詢相關的信息等復雜高維的數據查詢,可以同步到ADB,再用ADB同步到數據分析平臺QuickBI,來做數據的統計和可視化。
另外一個就是開源的Grafana,如果是需要監控全景或針對特定車輛的信息,可以通過Grafana來實時查看最近時間窗口的狀態。
IoTGateway主要負責和車機端對接,或者和車聯網的專有云平臺對接。
(四)車聯網場景下Lindorm商業價值在哪?
快:1)高通量車聯網數據并發寫入快
2)時序數據聚合、劃窗、統計計算快
3)海量監控數據檢索查詢快
4)數據全生命周期管理流程搭建快
省:1)海量車聯網數據存儲成本省
2)占用計算、存儲資源省
3)數據庫搭建、應用對接開發工作量省
4)數據全生命周期運維管理成本省
在車聯網場景下Lindorm商業價值可以總結為兩點,一個是快,另外一個就是省。
快就是,說在高通量的車聯網數據并發寫入的場景下,可以在云端進行云原生的模式,隨機汲取的模式,去實現車企端、在線車輛產生的實時海量高通量的數據,可以快速地在云端數據庫寫入以及數據快速向第三方平臺轉發。
時序數據聚合、劃窗、統計時,在有原生的自研時序數據庫情況下,很快地在數據庫內做大量數據的聚合、劃窗、統計分析。海量監控數據檢索查詢快,因為它是時序數據庫引擎來處理的,可以支持海量多維度數據的聚合查詢的計算檢索。
數據全生命周期的管理流程搭建很快,因為很多能力都是數據庫內提供的,就不需要再去人工搭建,或者是維護自建的開源數據庫來定制開發能力,或者數據對接的接口,所以說搭建過程也很快。阿里云之上開通Lindorm數據庫,幾分鐘時間就可以完成。
省就是,對海量數據存儲成本會有大幅的下降,除了自研的冷數據、熱數據備份的策略,在存儲層也做了自己的優化。在時序數據庫數據壓縮方面,在現有的壓縮算法上做了一些改進,達到了10倍數據壓縮效果。
占用計算存儲資源通過云原生的方式,隨機汲取,在沒有太多的在線車輛的情況下,收縮它的計算能力,按實際的數據的訪問使用量來收費,這樣就節約很多數據超配的成本。
數據庫搭建應用對接開發工作量也會省下很多的人工的成本,一方面是數據庫本身支持很多的第三方大數據生態接口的對接,另外云端搭建就不需要關心數據庫安裝和備份策略等配置的問題。
數據庫全生命周期運維管理的成本,也會節省很多,災備集群的方案,數據庫的整個轉儲等這些都是數據庫內自動解決的。
(五)Lindorm關鍵技術優勢
1.實時無損,高壓縮比存儲>10:1
10:1的深度優化,基于ZSTD算法的壓縮,可以把原始的采集的時序數據,比如10GB數據存入到數據庫內去做無損的壓縮,做到10GB數據存到數據庫內,1GB數據的存儲容量就足夠了,壓縮效率相比現在業績通用的SNAPPY壓縮提升50%以上的壓縮效率。
2.面向低價值密度監控數據的冷熱分離低成本存儲
冷熱分離的低成本的存儲方案,我們是在Lindorm數據庫內做的一體化整個分離,數據也是自動做分層,冷熱的分離,就不需要人工介入。冷數據存儲成本一般比現在的熱數據要降低80%以上,熱數據為了滿足性能的要求,一般用SD等高端的存儲來存冷數據,性價比較高的存儲來存這些歷史數據。這樣的話既兼顧了查詢的性能,同時又節約了成本。
3.云邊端融合存儲,數據自動實時、批量同步
特點:1)邊緣版輕量級快速集成部署
2)2HA高可用架構
3)具備與云端版本一樣的功能
4)數據自動同步至阿里云TSDB實例集群
云邊端一體化的存儲的方案,邊緣端的數據庫、嵌入的數據庫,根據策略去做實時的云端數據同步以及批量的數據的導入與導出。
4.多引擎超融合數據快速遷移同步
在數據庫內部是集成了一個ETL工具,做多模數據之間的數據導入導出,甚至對接第三方的HBase或者Cassandra、OpenTSDB等數據的遷移,可以把第三方的數據源數據通過LTS直接遷移到Lindorm數據庫,就不用再依賴于第三方工具實現。
5.多模數據融合檢索打通IT&OT數據交互
多模數據融合檢索打通IT&OT數據交互,實現跨多引擎引擎查詢,提供全維檢索能力。
統一API,簡單易用1)系統自動維護索引,應用開發不感知索引表
2)索引支持非冗余、冗余部分列、全冗余
3)查詢時基于編譯優化(RBO)全自動路由到搜索引擎,并智能判斷是否需要回查寬表/時序引擎
數據自動同步到搜索引擎1)異步增量索引,基于LTS提供可擴展的同步通道,數據同步可視化
2)實時同步索引,引擎間數據強一致
針對IT數據和OT數據的交互融合,這一點可以實現一致的跨引擎查詢,全文全維度的數據檢索能力,通過上層一致數據,試圖來幫助評比下層的數據存儲、數據引擎的異構性,進一步簡化使用成本和維護成本。
#阿里云##數據庫#