Описание тега large-data
2
ответа
Tomcat Отказ в обслуживании из-за больших пакетов
Я задал этот вопрос о его безопасности, но мне показалось, что этот вопрос лучше разместить здесь. Недавно я обнаружил, что отправка больших (>5 МБ) запросов на сервер Tomcat приводит к 100% загрузке ЦП на сервере. Самое простое решение, которое при…
02 авг '12 в 17:00
2
ответа
Диск HGST SATA 4 ТБ показывает только 1,62 ТБ в Windows Server 2012
Я использую материнскую плату Supermicro X9SRE-3F с самой последней версией BIOS и 2 накопителями по 4 ТБ, подключенными к встроенному контроллеру SATA. Если я установлю BIOS на RAID и создаю массив RAID 1, этот массив отображается в BIOS как 3,6 ТБ…
16 сен '12 в 14:44
2
ответа
Перемещение очень большого размера (~100 Гб) с одного сервера на другой
Мы перемещаем серверы, и мне нужно перенести все данные с сервера A на сервер B. У меня есть tar.gz около 100 ГБ, который содержит все файлы сервера А. Я действительно хотел бы избежать загрузки файла локально на моем компьютере и загрузки его на се…
01 июл '15 в 02:35
3
ответа
В Bash гарантированы ли расширения подстановочного знака в порядке?
Гарантируется ли расширение подстановочного знака в Bash в алфавитном порядке? Я вынужден разбить большой файл на 10 Мбайт, чтобы они могли быть приняты моим репозиторием Mercurial. Поэтому я подумал, что мог бы использовать: split -b 10485760 Big.f…
15 мар '10 в 19:47
2
ответа
Импортируйте CSV-файл объемом 260 ГБ в MySQL
У меня действительно большой CSV ~260 ГБ, и я хочу импортировать его в MySQL. Я использую следующий скрипт MySQL в MacOS DROP TABLE ЕСЛИ СУЩЕСТВУЕТ tmp_catpath_5; создать таблицу tmp_catpath_5( a1 BIGINT(20),a2 BIGINT(20),a3 BIGINT(20),a4 BIGINT(20)…
13 дек '10 в 22:37
6
ответов
Таблицы SQL Server 2000
В настоящее время у нас есть база данных SQL Server 2000 с одной таблицей, содержащей данные для нескольких пользователей. Данные вводятся с помощью memberid, который является целочисленным полем. Таблица имеет кластеризованный индекс для memberid. …
28 апр '10 в 17:38
8
ответов
Конфигурация RAID 6 на 24 ТБ
Я отвечаю за новый веб-сайт в нишевой отрасли, в котором хранится много данных (10+ ТБ на клиента, скоро он увеличится до 2 или 3 клиентов). Мы рассматриваем возможность заказа дисков объемом 3 ТБ стоимостью около 5000 долларов (10 в конфигурации RA…
06 июн '11 в 16:59
2
ответа
Увеличение доступного размера или изменение местоположения /tmp
В настоящее время я отвечаю за сервер под управлением Red Hat и веб-приложение для биоинформатики, которое работает с огромными файлами, некоторые из которых имеют более 100 ГБ в несжатом виде. Распаковка этих файлов выполняется несколькими различны…
13 мар '12 в 21:52
1
ответ
Автономные решения для резервного копирования 40 ТБ данных /35 миллионов файлов на одном диске
У меня есть сервер с 40 ТБ данных и 35 миллионами файлов. В то время как сам сервер имеет рейд и все такое прочее, я обеспокоен тем, что произойдет, если что-то физически уничтожит сервер (пожар, молния и т. Д.). Система предназначена для запуска вс…
27 сен '12 в 15:47
2
ответа
Лучше ли использовать rsync поверх SSHFS или CIFS в качестве удаленного репозитория, не имея опций для rsyncd?
У меня есть NAS, который поддерживает только CIFS, AFS, SSH (без возможностей rsyncd, без NFS). Я должен сделать резервную копию очень больших файлов (образы VM), и я обычно устанавливаю сервер rsync на устройстве резервного копирования, затем я дел…
14 апр '15 в 09:38
1
ответ
Чтение 65к строк зависает PHP/MySQL
Я разрабатываю приложение PHP, которое обрабатывает IP-адреса. Я работаю с таблицами mysql, содержащими до 4 миллиардов строк. У меня есть сценарий, который в настоящее время должен получить 65536 адресов из этой таблицы, и интерфейс mysql<->php не …
25 июн '15 в 07:45
3
ответа
Как крупные компании делают резервные копии своих данных?
Как компании, которые обрабатывают большие объемы данных, например, Google или Facebook, выполняют резервное копирование всего? Согласно этой статье о платформе Google в Википедии, у Google около 450 000+ серверов, каждый с жестким диском объемом 80…
18 ноя '10 в 00:34
3
ответа
Могу ли я проверить большой файл загрузки по HTTP
Я загружаю большой файл поверх http с помощью wget1,2 ТБ. Загрузка занимает около недели и теперь содержит ошибки дважды (не пройдена проверка md5, для запуска которой требуются дни). Есть ли хороший способ проверить файл по частям через http с помо…
24 окт '17 в 19:19
12
ответов
Передача 10 ТБ файлов из США в датацентр Великобритании
Я перевожу свой сервер из США в Великобританию из одного центра обработки данных в другой. Мой хозяин сказал, что я должен достичь 11 мегабайт в секунду. Операционная система Windows Server 2008 на обоих концах. Мой средний размер файла составляет о…
03 окт '11 в 20:03
2
ответа
Является ли rsync хорошим кандидатом для реализации отработки отказа (очень большой набор данных)?
У меня есть большой набор данных (+100 ГБ), которые можно хранить в файлах. Большинство файлов будет в диапазоне от 5 до 50 тыс. (80%), затем от 50 до 500 тыс. (15%) и>500 тыс. (5%). Максимальный ожидаемый размер файла составляет 50 МБ. При необходи…
25 апр '11 в 18:29
3
ответа
Синхронизировать большие общие файлы
Каков наилучший способ синхронизации больших наборов файлов между географически разделенными местоположениями, чтобы оба местоположения имели один и тот же файл? У нас есть постоянно меняющийся общий ресурс в 500 гигабайт в Location1 со средней скор…
22 июн '10 в 18:10
1
ответ
mysqld: множественный tmpdir и балансировка
Наш 1 Тб tempdir иногда может полностью использоваться mysqld, что приводит к переполнению диска и ошибкам запроса. Это может быть связано с большим количеством запросов среднего размера или парой очень больших запросов. У нас есть рейд-диск 5 Тб, к…
16 окт '14 в 13:04
0
ответов
Советы по копированию 3 файлов базы данных около 250 ГБ?
Мы выполняем обновление с SQL Workgroup 2005 до SQL Standard 2012. У нас есть множество баз данных меньшего размера, которые копируются с прямым копированием файлов Windows в разумные сроки. У нас есть одна база данных в 3 файлах, 53 ГБ, 93 ГБ и 100…
15 июн '13 в 11:58
1
ответ
GCSFuse v0.33.2 - Ошибка загрузки больших объектов (11 ГБ) в GCSBucket
Получение следующих ошибок при попытке загрузить файл размером 11 ГБ в корзину; Кроме того, файловая система переходит в состояние "??????????" поскольку мы не можем перечислить объекты, доступные в ведре. Это требуетumountиmountснова вернуться, что…
23 мар '21 в 18:41
2
ответа
Как перезаписать очень большой жесткий диск (18 ТБ) случайными данными с помощью команд оболочки в Linux
Я хотел бы перезаписать очень большой жесткий диск (18 ТБ) случайными байтами, чтобы затем проверить интеллектуальные данные на наличие перераспределенных секторов или других ошибок. Поскольку badblocks имеет некоторые ограничения на количество блок…
22 янв '22 в 11:48