給自己 2022 年的新目標 – AWS Certified Developer Associate 的學習筆記。這篇筆記簡介下 AWS 的 Kinesis。
課程相關資訊
[連結]:https://www.udemy.com/course/aws-certified-developer-associate-dva-c01/learn/lecture/26101780
本篇範圍:Chapter 20
請注意:本系列文章為個人對應課程的消化吸收後,所整理出來的內容。換言之,並不一定會包含全部的課程內容,也有可能會添加其他資源來說明。
內容
1. Kinesis 是用來收集 real-time 即時的串流數據服務,可以細分為 Data Streams – 捕獲、處理和儲存資料;Data Firehose – 將 data 轉放到 AWS 的 DataStore;Data Analytics – 用 SQL 或是 Apache Flink 來處理資料;Video Streams
2. Data Streams 會將資料分成不同的 Shard (區塊),來源需要給予主鍵和 Blob 資料(最大 1MB)
3. 資料可保留 1 ~ 365 天
4. 資料的保存模式有 Provisioned Mode – 指定固定的數據量、每小時付費、儲存時每秒 1MB、輸出時每秒 2MB
5. On-Demand Mode:根據你過往的 30 天用量來自動調整容量大小,不過仍有一個預設值 ( 每秒 4MB or 4000 筆記錄 )。你的付費會包含 stream 的每小時用量和 data 每 GB 的輸入輸出量
6. 可以透過 HTTPS / KMS 來管控資料權限和加密