Удаление / усечение таблицы DynamoDB с помощью конвейера данных AWS
Я настроил конвейер данных, который импортирует файлы из корзины S3 в таблицу DynamoDB на основе предопределенного примера. Я хочу обрезать таблицу (или удалить и создать новую) каждый раз при запуске задания импорта. Конечно, это возможно с AWS SDK, но я хотел бы сделать это только с помощью конвейера данных.
Возможно ли это сделать?
Спасибо за любую помощь
1 ответ
Я не уверен, что вам все еще нужно выполнять эту операцию, так как вы спросили об этом много месяцев назад, но из-за нехватки информации в Интернете по этому вопросу, я решил создать учебник и опубликовать его здесь, чтобы помочь другим людям, которые сталкивается с той же ситуацией.
Это то, что сработало для меня.
В основном вам понадобится следующее:
- S3 bucket (куда вы загрузите сценарий оболочки для выполнения)
- AMI EC2 (который выполнит этот скрипт выше)
- Конвейер (который уже импортирует данные DynamoDB в корзину S3)
Если вы уже получили их все, тогда мы готовы!
Следуй этим шагам:
- Добавьте действие и назовите его "CleanTableJob"
- На CleanTableJob установите параметры в соответствии с этим: (На Runs on -> Выбрать новый ресурс и назовите его как CleanDynamodbTableResource)
- На CleanDynamodbTableResource установите настройки в соответствии с этим:
В вашей корзине S3 вы можете предоставить все, что обрабатывает удаление данных в DynamoDB, например:
java -jar /home/ec2-user/downloads/dynamodb_truncate_table-1.0-SNAPSHOT.jar
Это оно:
Надеюсь, это поможет вам, ребята