#417 · bluetape4k-aws · 1.0.0

AWS Streams shard consumer 실험실

같은 shard lifecycle을 Kinesis와 DynamoDB Streams에서 재생해 discovery, 순서, 제한된 동시성, checkpoint, 실패 경계를 비교합니다.

실행 시나리오

단계0 / 8

Amazon Kinesis Data Streams

Semaphore(maxShardConcurrency) · shard 내부에서 순차 polling

대기
  1. 0준비
  2. 1shard 발견
  3. 2shard graph 구성
  4. 3순서 gate 적용
  5. 4shard 시작
  6. 5record polling
  7. 6downstream 전달
  8. 7checkpoint 저장
  9. 8shard 종료
현재 동작

보장되는 계약

다음 전이

durable KinesisCheckpoint.ShardEnd

Amazon DynamoDB Streams

flatMapMerge(maxShardConcurrency) · root tree 안에서 parent 다음 child를 순차 처리

대기
  1. 0준비
  2. 1shard 발견
  3. 2shard graph 구성
  4. 3순서 gate 적용
  5. 4shard 시작
  6. 5record polling
  7. 6downstream 전달
  8. 7checkpoint 저장
  9. 8shard 종료
현재 동작

보장되는 계약

다음 전이

iterator 완료 뒤 child traversal 시작

Adapter 책임

제한된 pagination과 동시성 · shard 내부 순서 · cancellation 전파 · emit 이후 checkpoint · at-least-once 재개

│ at-least-once │
Caller 책임

durable store · idempotency와 중복 제거 · retry와 retention 정책 · reshard 운영 · client lifecycle