国产精品看高国产精品不卡-国产精品看片-国产精品蝌蚪-国产精品狼人久久久久影院草久久一区二区三区午夜亚洲福-国产精品老熟女视频一区二区-国产精品理论片

從智能單品到全屋智能，隨著消費者對生活品質追求的提升，智能化產品逐漸走入大眾家庭，從而推動智能家居市場蓬勃發展。從 2017 年開始，智能家居設備已經應用于日常生活各項任務。2017 年其市場規模約為 4.3 億美元。據 IDC 預測，智能家居市場年復合增長率為 18.5%，2022 年智能家居設備銷售額將達到 9.4 億美元。面對潛力無限的智能家居市場，各企業紛紛發力，然而由于智能家居產品多涉及音視頻技術，自行開發往往門檻過高。如何輕松構建具有實時計算機視覺功能的應用程序?亞馬遜云科技 Tech Talk 特別邀請解決方案架構師李寅祥帶來分享《基于 Amazon KVS 打造智能視覺產品》。

智能家居應用場景與挑戰早在 2015 年左右，智能家居設備就已經出現。2017 年，智能家居開始應用于生活的各個場景。早期的智能家居產品還是手動控制，如通過開關去控制酒店窗簾。近兩年，智能家居產品已轉變為遠程遙控的形式，如可遠程控制通電和斷電的智能插座，手機可操控的智能掃地機器人等。目前，智能家居的應用場景主要可分為三個部分。

第一類，家庭智能自動化。常見的智能控制類產品有智能照明系統，可以手機遠程控制燈的開關與燈光模式，此外，掃地機器人、智能家庭助手等產品也屬于此類。

第二類，家居網絡的連接。這類比較普通和普遍，應用最廣泛的就是無線路由器類設備。

第三類，家居安全。不管在國內還是海外，家居安全類智能產品都是近年比較熱門的品類，如安防攝像頭、可視門鈴等。

 

 

在智能家居的三大應用場景中，智能視覺類產品占有相當大的比重，但這類產品的開發卻存在一定的復雜性。原因主要在于兩個方面：

第一，打造和管理 IoT 應用的復雜性。智能視覺類的物聯網設備大多需要進行數據交互。首先，需要保證設備連接及所產生數據的安全性;其次，設備的數量極有可能到達百萬級，如何以可擴展、低成本的方式來管理成千上萬的設備也是一大難題;此外，保證多種供應商設備及語音助手的互操作性也比較復雜。

第二，復雜的媒體服務設計和實現。智能視覺產品因為涉及音視頻流的傳輸、處理，也存在一定的技術復雜性。其一，編碼對技術有一定門檻，需支持多種媒體流技術、協議、編碼以及開發環境;其二，需要創建及管理基礎設施以實現安全、快速及可靠的流媒體傳輸;其三，擴展性需求高，要能夠支持百萬級設備，視頻流對于帶寬的要求是文本消息流的多倍，設備數量達到百萬級時，如何保證后端服務器的可靠性和穩定性是非常棘手的問題;其四，音視頻涉及非常專業的技術，如視頻的編解碼、壓縮、傳輸等，存在技術壁壘，需要擁有音視頻專業知識的工程師團隊。

為視覺設備附加人工智能能力亞馬遜云科技在智能視覺和可視化類智能家居產品進行了深入地探索與創新實踐。家居安防監控類的產品有安防攝像頭、可視化門鈴，集成攝像頭電器有寵物喂食器，還有健身器材、健身設備等品類相關的智能產品等等。亞馬遜云科技是如何解決視覺類智能家居產品存在的問題呢?主要是依托于 Amazon IoT+KVS 的解決方案。

 

 

如圖所示，從左到右分別是設備端、云平臺端、消費端。設備端通常是帶有攝像頭的設備或 IoT 設備，如安防攝像頭、無線路由器、語音助手等。云平臺端主要提供 IoT 相關的能力以及管理設備連接。Amazon KVS 主要用來進行視頻接收存儲和處理，此外，亞馬遜云科技還提供機器學習、數據庫等產品，幫助開發者完成業務目標。Amazon IoT+ Amazon KVS 一站式解決方案具體是如何工作的呢?

Amazon KVS(Amazon Kinesis Video Streams)，其名字直接翻譯的意思是實時的動態流的視頻流。具體來說，它是一個完全托管的媒體流服務，能夠從百萬設備中安全的接收視頻流數據，并按照時間進行存儲。當用戶想要回看某個特定時段的視頻，可按照時間進行檢索，快速方便地獲取原始視頻。

Amazon KVS 將視頻存儲起來后，最重要的是將視頻給到消費端去消費。在消費方面，Amazon KVS 提供實時與按需回放、實時與批處理兩種方式。實時查看用于查看攝像頭現在所處的實時環境、狀態;按需回放就是定位到一個特定的時間段進行查看。那么，基于 Amazon KVS 是如何打造智能視覺產品的呢?

首先，是媒體攝取。Amazon KVS 的媒體攝取主要有兩種方式，第一，它可以直接從攝像機中獲取視頻流。第二，它可以使用與同一網絡上的設備連接的代理 / 網關。兩種方式都可以使用?Kinesis Video Streams producer SDKs。

其次，是 Producer SDK。Producer SDK 其實就是通過 SDK 將視頻流的信號打到 Amazon 打到 Amazon KVS 上。它提供的 SDK 多種多樣，比如，最底層的 C SDK 層，適用于期望固件級集成的硬件設備制造商。上層的 Docker 鏡像層則適用于針對特定操作系統的應用開發者。

第三，是儲存和檢索媒體。媒體流進入 Amazon KVS 之后可以時間為索引進行存儲，最長可以存儲十年，并且支持按小時或者按天檢索。不僅如此，開發者還可以通過簡單的 API 實現存儲策略的修改、檢索實時與歷史媒體，并能夠輕松監控和審計使用情況。另外，比較重要的一點是 Amazon KVS 在開始傳輸或者接收視頻流和存儲視頻流的時候都是可以加密的。

第四，實時 / 歷史視頻回放。Amazon KVS 的回放支持 HTTP Live Streaming (HLS) 、Dynamic Adaptive Streaming over HTTP (DASH) 兩種協議。HLS 相對來說比較標準，Web 瀏覽器可直接播放。DASH 是有對應的播放器來提供播放。在音視頻編碼方面，Amazon KVS 支持多種音頻和視頻編碼格式。

通過 Amazon KVS 視頻流完成接收后，如何通過機器學習的方式來進行內容感知?大致有以下幾種方式。

第一，采用 Amazon KVS 與 Amazon Rekogniton Video 整合參考架構。Amazon Rekogniton 是一個 API 服務，可直接用來進行圖片或者視頻的分析，也就是說，視頻流可以在 Rekogniton 里面進行常見的人臉識別或者物品檢測。

第二，當 Amazon Rekogniton 中常用的圖片或者視頻識別能力，無法滿足用戶的場景需求的時候，就需要進行更加個性化地識別場景定制。這種情況就需要借助 Amazon SageMaker 去訓練模型，模型訓練完成后再進行推理。Amazon SageMaker 是一個托管式機器學習平臺，代碼可直接放在 Amazon SageMaker 上進行訓練，當訓練完成后，可以很方便的把模型部署到 EC2 上并進行后續的推理。

 

 

上圖是 Amazon KVS 和 Amazon Rekognition Video 整合的參考架構。由采集端、存儲端、處理 / 分析端三部分組成。該實例在 Raspberry Pi 環境中運行，用 RTSP 攝像頭去拉流，拉流完成之后，通過 C++ 的 Producer SDK 打到 KVS 上，后面用 Rekognition Video Processor 處理實時的視頻流，處理完成后，會把結果放到 Kinesis Date Streams 消息管道中，消息管道將數據給到 Kinesis Data Firehose，對消息管道的數據稍作轉換加工，然后投遞到 Amazon S3，由 Amazon S3 將結果存儲起來。另外一條線路，可以觸發 Amazon Lambda，Amazon Lambda 將調用 IoT Core 對設備下發控制指令。

在實際應用過程中，首先，需要創建一個 Rekognition Video stream Processor 來處理視頻流;然后指定一個 Kinesis Date Streams 的位置;第三，也是比較重要的一點是指定搜索目標，比如在人臉識別場景中就是進行人臉的 ID。用戶可按需調整閾值，來控制檢測的相似度，檢測完成后可對應定義名稱及備注。

WebRTC 實現雙向實時通訊實時雙向通訊在安防攝像頭或可視門鈴場景下是比較常見的需求。Kinesis Video Streams WebRTC 的定位就是滿足此需求。它具有超低延遲的流媒體直播，支持數百萬相機設備的雙向交互，其特點有：

低延遲的實時媒體流：點對點音視頻直播，1 秒以下的播放延時;

實時，雙向通訊：嵌入式設備、移動設備與 Web 應用程序實現雙向通訊;

兼容標準：與 Web 和移動平臺兼容，輕松實現無插件播放;

全托管：完全托管的 WebRTC 信令, TURN, STUN 服務 。易于使用的 SDK。

WebRTC 不僅僅是一個媒體流協議。它是一個開放的標準實時通信與技術規范。它的技術組成中有四點比較關鍵。

第一，信令。信令用于交換連接元數據，也就是雙方支持哪些協議，支持哪些編碼等。第二，聯通。聯通即建立點對點的連接。很多設備都是在防火墻后面，點對點的連接也叫打洞，如果點對點連接失敗，還要通過中繼服務器來進行轉發，通過中繼服務器建立連接。第三，媒體交換。它能夠低延遲交換媒體和任意數據。第四，加密。這一點所有服務都類似，端到端的加密對于保障安全性非常重要。

分享中，李寅祥以可視門鈴的案例介紹了實時通訊大概的流程，如下圖。

 

 

左邊是一個可視門鈴，右邊是手機 APP。假如有人按門鈴。可視門鈴會向服務器發出請求，請求再轉到手機端，手機端接受請求后將嘗試互相交換信息，交換的信息主要是協議編碼等。交換完成后，會嘗試通過 STUN 打洞，如果打洞不成功，那么就會通過 TURN 服務進行中繼轉發。通常來說，兩個設備處于同樣的網絡的情況下比較容易打通。

在 Kinesis Video Streams WebRTC 中有幾個比較重要的概念。

首先是信令頻道。信令頻道允許應用程序通過交換信令消息來發現、設置、控制和終止點對點連接的資源。其次是 Peer。Peer 通常指移動客戶端、Web 應用程序、Camera 等。第三是 Master。Master 用于連接到 Channel，與任意的 Viewer 實現點對點通信，一個 Channel 只有一個 Master。第四是 Viewer。Viewer 用于連接到 Channel，只能與 Master 實現點對點通信，一個 Channel 最多可以有十個 Viewer。

此外，還有服務組件和 SDK。SDK 主要支持協議嵌入式 SDK 和客戶端 SDK。嵌入式 SDK 支持的視頻編碼協議有 H264 和 VP8，以及支持的音頻編碼協議有 Opus 和 G711。客戶端的 SDK 是與 WebRTC 兼容的瀏覽器和移動平臺無縫協作的開源客戶端 SDK。

Kinesis Video Streams WebRTC 還可以與 Alexa 語言助手進行協作。假設有人在按智能可視門鈴，但是用戶剛好在廚房做飯，不方便去直接查看，可以語言控制 Alexa。Alexa 會與 WebRTC 交換數據，交換完數據后可建立雙向語言通訊，可視門鈴的視頻信號將直接顯示到 Echo Show 上，就可以直接看到門口是誰。

視覺安防相關的產品，安全是企業和用戶關注的重點。亞馬遜云科技針對智能產品的安全性也有相應的解決方案。攝像頭在向 Amazon KVS 做推流的過程中，是需要進行驗證的，只有驗證通過后，經過授權才能獲取資源的訪問權限。攝像頭利用 IoT 設備的證書來訪問資源，流程如下：

 

 

首先，認證的 IoT 設備發起一個 Credentials provider 的認證請求，IoT 的認證請求會去檢測證書是否合法、有效。如果合法，就會生成一個臨時憑證，設備端拿到臨時憑證后就可以基于這個臨時憑證去調動亞馬遜云科技的其他服務，如 Amazon KVS。臨時憑證是有有效期的，當有效期過期后，將無法再進行訪問。由此借助 Amazon IoT，就可以以一種安全的方式訪問 KVS 資源。

打造智能視覺產品的參考架構

針對如何用 Amazon KVS 打造智能視覺產品，亞馬遜云科技提供了一些比較推薦的方案。

基于 Amazon KVS 實現 IPC 云存亞馬遜云科技提倡無服務器架構。設備端按需推送視頻流及其元數據至亞馬遜云，視頻數據保存至 Amazon KVS，視頻原信息保存至 DynamoDB。手機端按需基于視頻元數據獲取回放 URL，通過播放器觀看。

 

基于 Amazon KVS 為 IPC 附加人工智能相對來說，基于 Amazon KVS 為 IPC 附加人工智能 / 機器學習能力屬于更高階的功能，如檢測門口是否有寵物或者包裹，甚至一些更加個性化的定制場景。它的實現分為三個步驟。首先，設備端推送視頻流至 KVS;第二步，根據需要從視頻提取圖片保存至 S3;第三步，AI 處理模塊可組合使用自建模型、Rekognition API 對圖片、視頻實現同步、異步推理，結果異常時通知手機客戶端。

Amazon KVS 整合 Alexa主要依賴 WebRTC 集成。左邊是硬件設備，如安防攝像頭、可視門鈴等，里面會包含各種 SDK，中間是 Amazon KVS，右邊是消費端。通過 WebRTC 連接到 Alexa 云，實現雙向實時通訊。

 

基于 Amazon KVS 打造智能視覺產品目前已有豐富的實踐案例。

科技公司 Wyze Labs (Wyze) 將 Amazon Kinesis Video Streams 與 WebRTC 結合使用，以提高實時視頻流的質量和在其相機產品和智能助手 (如 Alexa) 之間實現更好地連接。憑借此功能，Wyze 能夠將 Wyze 新功能的上市時 間縮短 50%。Wyze 的高級首席架構師 Keith Ho 解釋說:“在亞馬遜云科技 上， 我們能夠將時間線縮短 6 個月，并將工程成本減少兩倍，因為基礎設施、可擴展性、性能和系統已經存在。”

九安智能 2021 年起，正式和亞馬遜云科技進入深度合作階段，利用亞馬遜云科技提供的全球廣泛而深入的云服務，構建九安智能最新一代的音視頻監控云平臺。利用 Amazon KVS 構建九安智能的新一代音視頻監控云平臺，主要為用戶提供遠程實時的視頻預覽和錄像查看、存儲、云端的 AI 識別服務、智能音箱鏈接和推送報警信息。

分享的最后，李寅祥總結了 Amazon KVS 的幾大優勢，并提供了相關的參考資料供大家了解。

智能視覺市場技術復雜 Amazon IoT 使得您可以簡便的構建可擴展的 IoT 應用管理物聯網設備，而不需要維護任何基礎設施。KVS 提供可擴展的方案用于接收、存儲、分析及回放攝像頭傳輸的媒體流。

安全保障 使用亞馬遜云科技提供的內置設備認證機制初始化設備，根據需要授權資源訪問、加密數據，并主動檢測威脅來確保設備、數據的安全。

擴展性及互操作性 利用亞馬遜云科技的基礎設施便捷的批量注冊百萬級設備。使用 Amazon IoT 及 KVS 實現與 Alexa、Google Home 之類的語音助手集成。

易于實現且實用的功能 通過 WebRTC 實現實時、雙向音視頻通信。無需額外軟件，靈活存儲不同的文件格式(mp4/mkv)。通過簡單的 API 使用 HLS/MPEG-DASH 協議回看與其他亞馬遜云科技服務集成進行分析從視頻獲取信息。

專注于更快地打造解決方案 通過托管服務釋放精力用于產品創新、研發。