AWS Certified Developer Associate 的學習筆記 – 這篇筆記簡介下 AWS 的 Kinesis 的 Producers 和 Consumers。
課程相關資訊
[連結]:https://www.udemy.com/course/aws-certified-developer-associate-dva-c01/learn/lecture/26101784
本篇範圍:Chapter 20
請注意:本系列文章為個人對應課程的消化吸收後,所整理出來的內容。換言之,並不一定會包含全部的課程內容,也有可能會添加其他資源來說明。
內容
Producers
1. Kinesis Producers 用來產生資料並將資料推到 Data Stream 內
2. 寫入速率每秒 1MB 或是 每個 shard 1000 筆記錄
3. 可以利用 batch PUT API 來減少成本
4. 寫入時要有 exponential backoff、增加 partition key 的量來避免資料傳輸過量
Consumers
1. Kinesis Consumers 從 Data Stream 內取得資料並執行操作
2. Shared (Classic) Consumers => 每秒 2MB / 每個 shard。換言之,若 app 都由同一個 shard 來取資料,那麼速度就註定下降,但便宜
3. Enhanced Consumers => 使用 subsucribeToshard(),每個 app 都有自己的 2Mb/s 速度。價格較為昂貴