2. 工業(yè)數(shù)據(jù)上云面臨的挑戰(zhàn)

對(duì)于工業(yè)數(shù)據(jù)，可從OT域和IT域兩個(gè)角度入手：

① OT域——工業(yè)設(shè)備時(shí)序數(shù)據(jù)實(shí)時(shí)上云的挑戰(zhàn)

相比于智能家居等消費(fèi)型智能設(shè)備，制造業(yè)產(chǎn)業(yè)普遍自動(dòng)化程度較高，然而設(shè)備更加專業(yè)化和封閉化：適配協(xié)議多，采集頻率高，數(shù)據(jù)量大，非標(biāo)設(shè)備多；因此需要搭建統(tǒng)一的、具有兼容性的數(shù)據(jù)匯集網(wǎng)關(guān)，做好底層建設(shè)，制定針對(duì)性的云邊一體化方案。

工業(yè)產(chǎn)線設(shè)備和消費(fèi)級(jí)智能設(shè)備的對(duì)比如左圖所示。

② IT域——工業(yè)離線數(shù)據(jù)集成挑戰(zhàn)

除了上述的OT域所面臨的挑戰(zhàn)外，在IT域同樣面臨不小的挑戰(zhàn)。

右圖是一個(gè)典型的工廠信息化進(jìn)程。從圖中可以看出，工業(yè)企業(yè)采購(gòu)的IT系統(tǒng)之間通常是不能數(shù)據(jù)互通的，因此工業(yè)IT存多源異構(gòu)系統(tǒng)特別多、數(shù)據(jù)格式不統(tǒng)一、碎片化嚴(yán)重。基于這樣的情況，將各類數(shù)據(jù)匯聚起來(lái)做商業(yè)分析、經(jīng)營(yíng)報(bào)表等是非常困難的；因此需要配套離線的數(shù)據(jù)集成方案，去解決上述諸多IT域存在的問(wèn)題。

3. 工業(yè)數(shù)據(jù)上云整體架構(gòu)

如前文所述，工業(yè)數(shù)據(jù)上云的價(jià)值在于：幫助制造企業(yè)實(shí)現(xiàn)企業(yè)內(nèi)部從設(shè)備、控制系統(tǒng)及信息系統(tǒng)的互聯(lián)和數(shù)據(jù)融合，最終實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)與運(yùn)營(yíng)優(yōu)化；然而其存在諸多的技術(shù)挑戰(zhàn)，主要在于：工業(yè)邊緣采集+建模、海量數(shù)據(jù)上云、異構(gòu)數(shù)據(jù)集成、數(shù)據(jù)融合分析等。

基于上述種種現(xiàn)狀，阿里云IoT事業(yè)部工業(yè)互聯(lián)網(wǎng)團(tuán)隊(duì)聯(lián)合阿里云物聯(lián)網(wǎng)平臺(tái)以及邊緣計(jì)算團(tuán)隊(duì)、容器服務(wù)團(tuán)隊(duì)，共同研發(fā)了一套工業(yè)數(shù)據(jù)組合應(yīng)用平臺(tái)，專用于解決工業(yè)企業(yè)大規(guī)模點(diǎn)位設(shè)備數(shù)據(jù)快速上云這類問(wèn)題，并結(jié)合工業(yè)典型場(chǎng)景提供諸如數(shù)據(jù)資產(chǎn)服務(wù)、業(yè)務(wù)應(yīng)用服務(wù)、數(shù)據(jù)融合服務(wù)等。整體架構(gòu)如下：

基于阿里云物聯(lián)網(wǎng)、云技術(shù)和工業(yè)大數(shù)據(jù)技術(shù)等，阿里云數(shù)字工廠構(gòu)建了一套相關(guān)的解決方案：利用數(shù)字化控制管理資源，收集分析歷史數(shù)據(jù)，并基于分析結(jié)果進(jìn)行業(yè)務(wù)決策和優(yōu)化技術(shù)。（可在阿里云主頁(yè)搜索“數(shù)字工廠”查看詳情）

4. 工業(yè)數(shù)據(jù)上云核心鏈路

工業(yè)數(shù)據(jù)通過(guò)采集器采集數(shù)據(jù)，獲取設(shè)備的運(yùn)行狀態(tài)。工業(yè)產(chǎn)線大多是通過(guò)PLC或DSC實(shí)現(xiàn)自動(dòng)化控制，因此工業(yè)邊緣網(wǎng)關(guān)的主要目標(biāo)是讀取數(shù)據(jù)并進(jìn)行模型化處理、格式化組織并上云。

這一部分的關(guān)鍵點(diǎn)在于，根據(jù)數(shù)據(jù)的實(shí)時(shí)性以及數(shù)據(jù)類型，進(jìn)行分層處理，實(shí)現(xiàn)設(shè)備實(shí)時(shí)消息采集上云+云邊離線數(shù)據(jù)集成：

02核心技術(shù)環(huán)節(jié)和優(yōu)化心得

1. 工業(yè)多協(xié)議兼容的邊緣計(jì)算一體機(jī)

① 在工業(yè)生產(chǎn)現(xiàn)場(chǎng)，通過(guò)部署阿里云邊緣計(jì)算一體機(jī)，實(shí)現(xiàn)高實(shí)時(shí)高流量高可靠的數(shù)據(jù)接入、就近計(jì)算、算法推理

使用阿里云邊緣一體機(jī)，為客戶提供邊緣計(jì)算基礎(chǔ)設(shè)施，具體包括以下特性：

② 在工業(yè)數(shù)據(jù)上云場(chǎng)景的邊緣計(jì)算應(yīng)用架構(gòu)

2. 工業(yè)設(shè)備實(shí)時(shí)數(shù)據(jù)的模型化處理

① 阿里云物模型介紹

阿里云物聯(lián)網(wǎng)平臺(tái)物模型,在智能消費(fèi)類設(shè)備領(lǐng)域大規(guī)模推廣,沉淀了屬性、事件、服務(wù)標(biāo)準(zhǔn)定義;又在園區(qū)、城市、工業(yè)等場(chǎng)景中不斷增強(qiáng),演化出組合、引用、規(guī)則等復(fù)雜模型特性,最終具備數(shù)字孿生體的建模、協(xié)同、共智核心特征。

阿里云物聯(lián)網(wǎng)平臺(tái)物模型2.0增加了物模型規(guī)則，可計(jì)算包括物模型自身功能定義之間的運(yùn)算和跨物模型功能定義之間的計(jì)算。

下圖的左圖就是一個(gè)最簡(jiǎn)單的物模型轉(zhuǎn)換規(guī)則：將攝氏度轉(zhuǎn)換為華氏度。

傳統(tǒng)的工控自動(dòng)化背后，是很多小規(guī)模、封閉、獨(dú)立的自控系統(tǒng)，在工業(yè)實(shí)施的過(guò)程中，需要專有的系統(tǒng)或協(xié)議層的訪問(wèn)，而且難以復(fù)用。基于阿里云工業(yè)協(xié)議網(wǎng)關(guān)配合物聯(lián)網(wǎng)平臺(tái)物模型規(guī)范，可以實(shí)現(xiàn)現(xiàn)實(shí)通信協(xié)議和設(shè)備模型之間的解耦。通過(guò)物模型，站在整個(gè)企業(yè)視角對(duì)工業(yè)設(shè)備進(jìn)行統(tǒng)一的自上而下下建模，從實(shí)踐中看到有如下收益：

上圖為工業(yè)設(shè)備數(shù)據(jù)在數(shù)據(jù)采集上云過(guò)程中的不同處理階段

② 物模型應(yīng)用案例

物聯(lián)網(wǎng)應(yīng)用開(kāi)發(fā)，是阿里云針對(duì)物聯(lián)網(wǎng)場(chǎng)景提供的生產(chǎn)力工具，是阿里云物聯(lián)網(wǎng)平臺(tái)的一部分，可覆蓋各個(gè)物聯(lián)網(wǎng)行業(yè)核心應(yīng)用場(chǎng)景。

對(duì)于工業(yè)場(chǎng)景，在接入物模型設(shè)備后，開(kāi)發(fā)者可以借助IoT Studio快速搭建工業(yè)云組態(tài)視圖。

③ 工業(yè)數(shù)據(jù)模型化帶來(lái)的技術(shù)挑戰(zhàn)

傳統(tǒng)的數(shù)采方案主要包括采集、存儲(chǔ)、就近計(jì)算、流轉(zhuǎn)上云這4個(gè)主要的步驟。如上所說(shuō)，我們?cè)诔Ｒ?guī)的消息處理的過(guò)程中增加了一個(gè)模型化的步驟，在具備了物模型能力的同時(shí)，也帶來(lái)了如下的技術(shù)挑戰(zhàn)：

上圖中左側(cè)部分是原始時(shí)序數(shù)據(jù)點(diǎn)位，右側(cè)部分是模型化后的JSON的表達(dá)方式。為解決模型化后的傳輸、處理問(wèn)題，降低上云成本，需要利用邊緣側(cè)算力，就近完成模型預(yù)處理工作。

與此同時(shí)，針對(duì)模型化數(shù)據(jù)的邊緣數(shù)據(jù)上云通道的傳輸協(xié)議、編碼方案，也需要做一系列的針對(duì)性優(yōu)化。

3. 邊緣數(shù)據(jù)上云通道設(shè)計(jì)

① 在邊緣側(cè)對(duì)設(shè)備的模型化消息進(jìn)行數(shù)據(jù)預(yù)處理，提升上云效率。

現(xiàn)實(shí)中單個(gè)工廠邊緣上報(bào)的數(shù)據(jù)峰值經(jīng)常達(dá)到10W點(diǎn)/秒以上，對(duì)上云吞吐量要求高，如果用原始設(shè)備JSON模型消息傳輸，會(huì)占用很大的上行帶寬(>200Mbps)；

而通過(guò)在邊緣側(cè)做前置預(yù)處理、云邊協(xié)同編解碼等優(yōu)化手段，實(shí)測(cè)上云帶寬和云上處理QPS降低80%，為客戶節(jié)約了大量的上云資源費(fèi)用。具體包括以下優(yōu)化點(diǎn)：

② 設(shè)備實(shí)時(shí)數(shù)據(jù)消息聚合重排方案介紹

所謂消息聚合重排，是指邊緣側(cè)接收底層上送的離散設(shè)備消息，按指定的間隔窗口聚合為同一設(shè)備同一屬性的一段時(shí)序數(shù)據(jù)，提升單條消息的數(shù)據(jù)排列效率，也有利于云端對(duì)設(shè)備消息進(jìn)行批處理。

③ 數(shù)字序列化和壓縮方案介紹

當(dāng)前的工業(yè)數(shù)據(jù)上云鏈路，是基于阿里云企業(yè)級(jí)物聯(lián)網(wǎng)平臺(tái)提供的mqtt協(xié)議通道。如果基于普通的明文JSON格式直接序列化傳輸,字節(jié)效率偏低；因此需要針對(duì)工業(yè)場(chǎng)景，選擇合適的序列化/壓縮方案。

首先考慮的，是采用一種緊湊的序列化編碼方案替換JON格式，例如 protobuf/tlv，但這類序列化方案存在各自的問(wèn)題：

另一種思路，是在云邊MQTT協(xié)議通道的 client-server間協(xié)商支持一種通用的zip/unzip壓縮算法，可考慮的壓縮策略有：

選擇序列化/壓縮方案主要考慮資源消耗、壓縮率和云邊兩端的實(shí)現(xiàn)復(fù)雜度；通過(guò)多方權(quán)衡，目前采用阿里云物聯(lián)網(wǎng)平臺(tái)支持MQTT通道提供的Zib壓縮方案。

Zlib：對(duì) DEFLATE算法的一種封裝,先用LZ77算法預(yù)處理，然后用霍夫曼編碼對(duì)壓縮后的 literal、length、distance編碼優(yōu)化如今最流行的通用壓縮算法之一。

④ 斷網(wǎng)/斷點(diǎn)續(xù)傳方案介紹

解決數(shù)據(jù)上云時(shí)遇到網(wǎng)絡(luò)中斷或者網(wǎng)絡(luò)抖動(dòng)等情況，在對(duì)沒(méi)有上送云端的數(shù)據(jù)進(jìn)行本地存儲(chǔ)，在探測(cè)到網(wǎng)絡(luò)恢復(fù)后進(jìn)行數(shù)據(jù)的上云恢復(fù)。利用斷網(wǎng)續(xù)傳相關(guān)的SDK能力，適配各種斷網(wǎng)場(chǎng)景下的可靠性保障。

4. 工業(yè)設(shè)備實(shí)時(shí)數(shù)據(jù)云上流轉(zhuǎn)

工業(yè)設(shè)備實(shí)時(shí)數(shù)據(jù)上云，基于的是阿里云企業(yè)級(jí)物聯(lián)網(wǎng)平臺(tái)提供的MQTT協(xié)議通道，可支撐海量設(shè)備連接和海量物聯(lián)消息上云，同時(shí)支持實(shí)時(shí)規(guī)則處理與消息多路流轉(zhuǎn)。

對(duì)于工業(yè)場(chǎng)景，推薦使用物聯(lián)網(wǎng)平臺(tái)連接型實(shí)例，可獨(dú)享設(shè)備接入層的網(wǎng)絡(luò)和計(jì)算資源，適合大點(diǎn)位數(shù)據(jù)(高帶寬、高QPS)上云。

5. 工業(yè)離線數(shù)據(jù)集成方案

前文講述了工業(yè)設(shè)備OT域的數(shù)據(jù)實(shí)時(shí)上云方案；接下來(lái)講述IT域的數(shù)據(jù)上云方案。前文說(shuō)到，設(shè)備IT域的數(shù)據(jù)，主要是存量化本地的IT系統(tǒng)。因此，IT域的數(shù)據(jù)上云，主要包括以下步驟：

6. 本地多源異構(gòu)數(shù)據(jù)集成工具設(shè)計(jì)

在工業(yè)場(chǎng)景復(fù)雜的異構(gòu)系統(tǒng)環(huán)境下，傳統(tǒng)ETL工具或者數(shù)據(jù)集成平臺(tái)，很難直接做為快速打通企業(yè)存量系統(tǒng)和云上系統(tǒng)的數(shù)據(jù)通道。因此，我們做了一個(gè)更貼合工業(yè)場(chǎng)景的邊緣數(shù)據(jù)集成平臺(tái)-工業(yè)八爪魚。

為達(dá)到工業(yè)場(chǎng)景低成本快速數(shù)據(jù)上云的要求，工業(yè)八爪魚有強(qiáng)大的邊緣ETL能力，也就是多種數(shù)據(jù)源采集、靈活的數(shù)據(jù)轉(zhuǎn)換方法、安全高速的數(shù)據(jù)傳輸通道，同時(shí)，我們希望能夠最大限度的減少項(xiàng)目實(shí)施的重復(fù)開(kāi)發(fā)過(guò)程，這就要求這個(gè)平臺(tái)還有沉淀模板化的能力。

工業(yè)八爪魚的核心模塊，主要是本地?cái)?shù)據(jù)的增量同步，以及同步過(guò)程中的腳本化轉(zhuǎn)換規(guī)則

為什么選擇在邊緣端運(yùn)行腳本？這里主要考慮到三個(gè)問(wèn)題：

03工業(yè)數(shù)據(jù)應(yīng)用案例介紹

1. 工業(yè)代表落地案例——某流程型制造大型企業(yè)數(shù)字化轉(zhuǎn)型

2. 工業(yè)數(shù)據(jù)應(yīng)用案例——生產(chǎn)過(guò)程追溯

質(zhì)量是制造業(yè)的生命線，"人"、"機(jī)"、"料"、"法"、"環(huán)" 是成產(chǎn)過(guò)程影響產(chǎn)品質(zhì)量的關(guān)鍵因素，采用IoT信息化方式自動(dòng)采集這些因素?cái)?shù)據(jù)，把IOT物聯(lián)網(wǎng)采集的設(shè)備數(shù)據(jù)與工廠業(yè)務(wù)數(shù)據(jù)進(jìn)行關(guān)聯(lián)，能夠正向追溯成品使用了哪些半成品和原料的批次或者單體，也能反向追溯原材料到半成品和成品的批次或者單體。能夠在追溯過(guò)程中重新生產(chǎn)過(guò)程中的“人、機(jī)、料、法、環(huán)”等多種因素的原始數(shù)據(jù)

人：這個(gè)工序中每個(gè)步驟是誰(shuí)操作的

機(jī)：唯一標(biāo)識(shí)的物料在每個(gè)步驟是哪臺(tái)設(shè)備生產(chǎn)

料：原料、輔料、半成品在設(shè)備或步驟中的投料時(shí)間和數(shù)量

法：關(guān)聯(lián)到設(shè)備采集的工藝過(guò)程參數(shù)，以及質(zhì)量判斷結(jié)果

環(huán)：按照工廠模型綁定的環(huán)境過(guò)程信息

把生產(chǎn)過(guò)程數(shù)據(jù)形成一套關(guān)聯(lián)模型，我們可以基于這套數(shù)據(jù)做數(shù)據(jù)分析，比如正向追溯、反向追溯、質(zhì)量結(jié)果分析等。例如當(dāng)產(chǎn)品出現(xiàn)質(zhì)量問(wèn)題，能夠清楚的知道產(chǎn)品的生產(chǎn)時(shí)間、工藝步驟參數(shù)、對(duì)應(yīng)的物聯(lián)網(wǎng)設(shè)備參數(shù)信息、消耗的物料情況、產(chǎn)品對(duì)應(yīng)的環(huán)境數(shù)據(jù)等，能防止缺陷擴(kuò)散和準(zhǔn)確定位問(wèn)題，提高產(chǎn)品質(zhì)量，維護(hù)品牌形象。

當(dāng)然，有時(shí)候我們也并不特別清楚這樣一套數(shù)據(jù)模型應(yīng)用場(chǎng)景，可以通過(guò)開(kāi)放數(shù)據(jù)讓客戶找到具體應(yīng)用場(chǎng)景，盡量挖掘數(shù)據(jù)價(jià)值。比如產(chǎn)品不合格時(shí)，是否由于設(shè)備參數(shù)異常導(dǎo)致、是否由于環(huán)境數(shù)據(jù)異常導(dǎo)致。

3. 工業(yè)數(shù)據(jù)應(yīng)用案例——基于振動(dòng)分析的設(shè)備異常檢測(cè)

工業(yè)設(shè)備中存在大量旋轉(zhuǎn)和往復(fù)運(yùn)動(dòng)部件，設(shè)備運(yùn)行過(guò)程中會(huì)持續(xù)產(chǎn)生振動(dòng)信號(hào)，這些振動(dòng)信號(hào)往往蘊(yùn)含著豐富的信息，可以反映關(guān)鍵部件甚至設(shè)備整體的運(yùn)行狀態(tài)或健康狀態(tài)

選擇軸承一段時(shí)期內(nèi)的振動(dòng)數(shù)據(jù)，共計(jì)N段采樣信號(hào)，這里面主要用到了無(wú)監(jiān)督學(xué)習(xí)，信號(hào)無(wú)任何標(biāo)注，可獲得若干異常段信號(hào)特征點(diǎn)，最終是要識(shí)別信號(hào)中是否出現(xiàn)軸承受沖擊帶來(lái)的振幅突變，以及是否由于磨損帶來(lái)的中心頻率偏移。此類設(shè)備異常檢測(cè)算法可為工業(yè)生產(chǎn)帶來(lái)實(shí)際價(jià)值：

今天的分享就到這里，謝謝大家。

分享嘉賓：

分享嘉賓：張起彤 阿里云 物聯(lián)網(wǎng)架構(gòu)師

編輯整理：王吉東 昆侖數(shù)據(jù)

出品平臺(tái)：DataFunTalk