Точечный экземпляр ec2 для ежедневной задачи обработки
У меня нет большого опыта работы сисадмином или с amazon aws, поэтому я надеюсь, что кто-то может объяснить в простых терминах или направить меня к хорошему руководству о том, как добиться ниже.
У меня есть система, работающая на ec2, и amazon rds получает данные и сохраняет их в БД.
Мне нужно запускать скрипт раз в день (в конце дня), чтобы обработать все эти данные и подготовить ежедневный отчет. Этот процесс займет около часа. Он должен работать на экземпляре с высокой памятью..
Из того, что я прочитал до сих пор, я думаю, что лучший способ сделать это - запускать экземпляр высокой области памяти каждый день, настраивать его на выполнение скрипта при запуске и выключать по завершении.
Это правильный способ сделать это? Если да, то как это сделать? как сказать спотовый экземпляр запускать каждый день? через cron на другом сервере или есть лучший способ? Как настроить его для запуска скрипта при запуске? через cloudinit?
Любая помощь будет оценена.
И последнее: работа не очень чувствительна ко времени, если она выполняется каждый день.
Спасибо
2 ответа
Точечные экземпляры могут быть не лучшим механизмом для использования в вашем случае. Вы требуете, чтобы процесс выполнялся каждый день, и, скорее всего, завершит выполнение после его запуска.
Точечные экземпляры могут не работать, когда вы этого хотите. Если ваша ставка слишком низка или нет места, вы не получите свой экземпляр. Кроме того, как только ваш экземпляр запустится, если цена предложения превысит вашу максимальную цену, экземпляр будет прерван до того, как успеет завершиться.
Вы можете использовать высокую максимальную цену, чтобы избежать некоторых из этих проблем, но нет никаких гарантий.
В зависимости от затрат, вы можете взглянуть на зарезервированные экземпляры (в вашем случае достаточно зарезервированного экземпляра) или просто экземпляр по требованию, который вы запускаете только в конце дня.
У Amazon нет расписания запуска / остановки экземпляров, поэтому вам нужно использовать что-то вроде cron или других инструментов автоматического планирования.
У Amazon теперь есть запланированные зарезервированные инстансы, которые могут быть полезны в отношении стоимости, но не будут выполнять фактический запуск для вас.
Автоматическое масштабирование с расписанием может использоваться для планирования ежедневной задачи обработки. Руководство доступно здесь. Запуск экземпляров EC2 по расписанию с автоматическим масштабированием.