AWS FSx для блеска с S3 и EMR (с EMRFS) для искровых работ
В настоящее время мы используем EMR для упрощения отправки наших искровых работ. Недавно я наткнулся на решение "FSx lustre + S3", которое рекламируется как идеальное для высокопроизводительных вычислений. EMRFS, однако, также считается оптимизированным для этого конкретного сценария, что делает S3 похожим на локальную файловую систему hadoop.
Поэтому мне интересно, почему кто-то выбрал один из этих двух с точки зрения стоимости и производительности?
Этот вопрос может быть дополнением к расходам на AWS S3, когда AWS EMR использует его, но, к сожалению, у меня нет репутации, чтобы размещать там комментарий.
Заранее спасибо за помощь.
1 ответ
КАК Вы используете EMR для своих вычислительных операций и S3 для хранения..
FSX при интеграции с s3 обеспечит высокую пропускную способность для ваших заданий из-за его высоких IOPS... Это действительно было бы полезно для ваших сроков выполнения... Но опять же, это потребовало бы более высоких затрат.
https://www.youtube.com/watch?v=ZADHiZa3Hjo&list=WL&index=21&t=2752s
Выше упомянута одна из лучших ссылок Reinvent