Доморощенный доступ к большому кластеру данных для 2 пользовательских уровней?

Название, вероятно, не имеет большого смысла, так что вот пример.

У меня есть файловый хостинг, который обслуживает большое количество файлов с полуслучайным доступом.

Установка выглядит следующим образом:

  • Высокопроизводительный сервер переднего плана + БД, который также выполняет кодирование для файлов, которые необходимо кодировать
  • Свежий файловый сервер, на котором хранится только что загруженный контент, который, вероятно (и обычно), быстро доступен, имеет 500 ГБ рейдового SSD-хранилища, которое может передавать более 3 ГБ трафика.
  • 3 дешевых сервера узлов, содержащих 2 x 750 ГБ SATA-диска в raid1, где архивируются файлы старше 2 недель, с сервера SSD (упомянутого выше).

Доступ к файлам на каждом сервере осуществляется через субдомены (через modsec) прямым способом (server1.domain.com, server2.domain.com и т. Д.)

Где у меня проблема в этом. Я ввел услугу "премиум", где люди платят небольшую плату каждый месяц и получают быстрый доступ к материалам на сайте без рекламы. После входа в систему они получают доступ к одним и тем же файлам через premium.server1.domain.com с помощью другого скрипта modsec с другой парольной фразой. Это все работает хорошо и прекрасно… за исключением того, что дешевые серверы узлов все связаны с вводом-выводом, поэтому доступ к файлам на них через другую ненасыщенную сеть не имеет значения, поскольку он не может считывать данные с диска достаточно быстро.

Что может быть хорошим способом сделать файлы на сайте доступными через 2 разных сетевых маршрута, 1 из которых будет насыщенным ("свободная сеть"), в то время как все остальные файлы находятся в ненасыщенной "премиальной" сети?

1 ответ

Решение

Подожди, твой вопрос относится к тому, на что ты уже ответил в середине своего объяснения. Как вы сказали, ваша проблема не в насыщении сетевых адаптеров, вы ограничены IO на дисках SATA. Или я неправильно читаю?

Предполагая, что это правильно, вы можете внести некоторые улучшения в зависимости от шаблонов доступа к вашим старым файлам. Если вы склонны получать "прогоны" сразу для одного файла (т. Е. Ссылка на файл публикуется в блоге, то внезапно вы получаете 500 уникальных IP-адресов, запрашивающих один и тот же файл), тогда вам следует переместить этот файл либо в кэш-память или файл подкачки, или подготовьте его к серверу SSD, прежде чем раздайте его.

Подобный вопрос был задан недавно, и я исследовал другие возможные решения: Windows Server 2003 - обработка сотен одновременных загрузок

Другие вопросы по тегам