Решения для монетизации лишних циклов процессора
У моей компании есть большая (относительно) компьютерная ферма, скажем, 100 физических серверов (двухъядерные процессоры Hexacore E5 XEON с 160 ГБ ОЗУ), которые арендуются у некоторых поставщиков оборудования (скажем, Leaseweb или OVM) на ежемесячной основе, то есть 1 января я плачу за все 100 серверов, которые будут использоваться в период с 1 по 29 февраля.
Серверы обслуживают партнеров X,Y,Z. Партнеры платят нашей компании за использование серверов на основе использования: если они перестают использовать серверы, они не платят моей компании.
Предположим, партнер X полностью останавливается 2 января, используя наши серверы, и теперь, скажем, 30% моих серверов возвращают нулевой доход: я теряю 30% вложенных денег.
Учитывая этот сценарий:
- Существуют ли какие-либо инструменты для управления кластером или инструменты подготовки, которые позволили бы мне быстро настроить эти системы как ресурсы HPC или облачных вычислений?
- Какие существуют инструменты планирования и управления ресурсами, которые можно использовать, чтобы позволить клиентам отправлять вычислительные рабочие нагрузки в вышеупомянутый кластер?
- Быстро ли интегрируются какие-либо из ранее упомянутых менеджеров ресурсов с решениями для биллинга или управления учетными записями клиентов?
1 ответ
Подобные вещи возможны, но с логистической точки зрения это, вероятно, будет связано с несколькими гораздо более конкретными вопросами о настройке инфраструктуры, которая будет зависеть от конкретного экземпляра.
Подобные вещи были опробованы в сообществе высокопроизводительных вычислений (HPC) несколько раз, в основном безуспешно. Вот некоторые овации, которые могут помочь вам добиться успеха
- Упомянутые вами системы ниже требований к вычислительным ресурсам для многих учреждений, которые имеют достаточную вычислительную нагрузку, чтобы нуждаться в ресурсах по требованию помимо своих выделенных систем.
- Без высокоскоростного межсоединения (под которым я имею в виду Infiniband) между всеми узлами кластера из 100 узлов с описанными вами системами нет практического использования высокопроизводительных вычислений для этой системы, 100 Raspberry Pi, вероятно, будут столь же эффективными для интенсивной связи реальные рабочие нагрузки, на которые вы, вероятно, нацеливаетесь
- Практически все рабочие нагрузки для высокопроизводительных вычислений, облачных вычислений и высокопроизводительных вычислений (такого типа, который может использовать кластеры такого типа) требуют больших объемов данных, поэтому вам, вероятно, потребуются ресурсы для создания хотя бы одного дополнительного кластера хранения, а также инфраструктура резервного копирования, политики для размещение данных других людей, и какое-то существенное интернет-соединение для клиентов, чтобы загружать и загружать данные через
- Если вы хотите достичь этой цели с определенной рабочей нагрузкой, на которой хорошо работает ваше оборудование, найдите потенциальных клиентов, которые выполняют этот тип рабочей нагрузки, и посмотрите, хотели бы они использовать кластер вашего старого / недостаточно используемого оборудования. Если вы решите выполнить настройку кластера заранее с помощью инструментов и приложений, которые клиент, скорее всего, будет использовать; убедитесь, что во всех продуктах установлены самые последние исправления и функции безопасности, а также устаревшие версии программного обеспечения. Тщательно тестируйте диспетчер ресурсов и службы планирования и документируйте, как их использовать, в идеале с помощью тестов или тестов, аналогичных реальным рабочим нагрузкам. Сделайте эту документацию и некоторые примеры рабочих нагрузок доступными для клиента в нескольких форматах. Также будьте готовы к тому, что кто-то по вызову решит проблемы клиента в соответствии с вашим SLA.
- HPC непросто, будьте готовы нанять хотя бы одного мастера для настройки и обслуживания кластера, ожидайте, что потребуется много времени, чтобы найти человека, который займет эту должность, и будьте готовы сделать все, что скажет этот человек