Описание тега s3cmd

Вопросы с тегом
s3cmd - это простой интерфейс командной строки для хранения и извлечения данных в / из службы облачного хранилища Amazon S3.
1 ответ

Установка кеша для уже загруженных файлов amazon s3

В amazon s3 для нашего сайта с помощью инструмента s3cmd мы загрузили в корзину около 60 ГБ файлов, включая mp3, jpg. Но теперь, когда мы проверили, что файлы медлительности сайта не кэшируются, а при дальнейшей проверке мы узнали, что можем установ…
18 дек '14 в 13:22
0 ответов

Решение для резервного копирования, управления версиями и репликации файловых данных

У нас есть растущий набор файлов данных (WAV-файлы, файлы изображений и т. Д.), Которые являются данными, т.е. не являются частью кода приложения - загружаются и изменяются пользователями. Количество файлов указывается в тысячах, а общий размер дост…
24 фев '15 в 10:26
0 ответов

Исключая каталог '#recycle' из загрузки s3cmd

Я использую s3cmd на NAS-устройстве Synology. Я создал файл исключения, в том числе #recycle/* и --exclude-from=/path/to/exc/file вариант, но он не работает. Я уже попробовал это: "#recycle/*" "*/#recycle/*" "/volume1/JOB/#recycle/*" "*/JOB/#recycle…
22 апр '19 в 17:01
1 ответ

Сохранение файлов журнала httpd на S3 при завершении работы с помощью s3cmd

У меня есть группа автоматического масштабирования в Amazon Web Services (AWS). Я хочу сохранить файлы журналов в экземпляре (Amazon Linux AMI), когда группа сокращается. Моя текущая идея - использовать инструмент s3cmd в скрипте, который запускаетс…
05 фев '14 в 23:59
1 ответ

Как скопировать более 300 ГБ файлов с одного сервера AWS EC2 на другой EC2

Мне нужно скопировать более 300 ГБ файлов (большинство из которых являются изображениями) из одного экземпляра EC2 в другой экземпляр EC2, что будет лучшим способом для этого? EBS Snapshot не будет работать в моей ситуации, потому что мне потребуетс…
15 фев '18 в 15:17
1 ответ

Ошибка Python при выполнении s3cmd в скрипте bash

Я создаю bash-скрипт, который будет работать на cron, его целью является резервное копирование каталога в Amazon S3 с помощью s3cmd команда. Я получаю следующую ошибку при запуске скрипта: /usr/bin/env: python: Not a directory Когда я закомментирую …
29 апр '14 в 18:34
1 ответ

Почта: не удается разобрать адрес

Это команда, которую я использую для архивирования моих файлов резервных копий, записи в stdout и последующей загрузки всего в Amazon S3 с уведомлением по электронной почте. tar -czvf - --exclude-caches /var/www | s3cmd --reduced-redundancy --multip…
31 авг '14 в 13:18
1 ответ

Предупреждение о перенаправлении при запуске синхронизации s3cmd

При запуске s3cmd я получаю предупреждение о перенаправлении следующим образом: WARNING: Redirected to: xyz.s3-eu-west-1.amazonaws.com Сценарий, который выдает предупреждение: s3cmd sync /var/backups/db/ s3://xyz/database/ Я использовал этот скрипт …
20 дек '14 в 19:37
1 ответ

Как скопировать все корзины s3 в другую учетную запись AWS?

Я копирую все экземпляры EC2 в другую учетную запись AWS (создаю AMI, делюсь ими с этой учетной записью и запускаю там экземпляры из AMI). Мне также нужно переместить свои корзины S3, поскольку приложения в экземплярах EC2 используют эти корзины для…
03 окт '13 в 17:40
0 ответов

Восстановление S3 с использованием get-объекта s3api не работает в регионе aws china

Я установил сценарий ежедневного резервного копирования в своем экземпляре aws china, который загружает мои необходимые файлы для резервного копирования в корзину s3. У меня есть скрипт восстановления, который использует s3api для восстановления объ…
05 май '16 в 06:59
1 ответ

Amazon S3 - приватный файл по-прежнему доступен для скачивания всем желающим?

У меня есть секретные файлы, которые я хочу запретить анонимному пользователю просматривать / скачивать. Я попытался сделать это частным, запустив что-то вроде: s3cmd setacl --acl-private s3://bucket/some/path/*.ext Затем я захожу в S3 Management Co…
20 мар '14 в 16:23
1 ответ

Синхронизация файлов из локальной файловой системы с S3 - в одну сторону

У меня есть процесс, который генерирует файлы журнала для локальной файловой системы, и файлы, которые старше 2 недель, автоматически удаляются. Я хочу использовать инструменты командной строки aws для синхронизации моей папки с S3 со следующим пове…
22 янв '15 в 20:25
2 ответа

Скрипт Logrotate не загружается на s3

Я пытаюсь использовать logrotate для загрузки файлов журнала из моих команд rails и nginx один раз в день. Когда я запускаю команду logrotate вручную, файлы успешно загружаются, но это никогда не происходит самостоятельно. Я пытался использовать las…
04 авг '15 в 07:07
3 ответа

Резервное копирование данных (включая mysqldumps) на S3

У нас есть веб-приложение на нескольких серверах, и мы хотим добавить дополнительный уровень избыточности путем резервного копирования ключевых данных на S3. Ключевыми данными являются база данных MySQL и папка, содержащая динамически созданные ресу…
19 июл '12 в 09:44
5 ответов

Как передать дамп mysql в s3cmd

Я хочу перенести дамп mysql, сжатый, на s3. Я старался: mysqldump -u root -ppassword -all-databases | gzip -9 | s3cmd put s3://bucket/sql/databases.sql.gz но тогда я получаю: ERROR: Not enough paramters for command 'put' Как я могу это сделать (в од…
17 июн '14 в 15:56
1 ответ

Как я могу контролировать постепенную загрузку файлов с помощью cron или подобного?

У меня есть несколько терабайт данных для резервного копирования на S3/Glacier по медленной ссылке. Я хочу загрузить, скажем, с 9 вечера до 9 утра и продолжить с того места, где он остановился. Есть ли бесплатное программное обеспечение, которое сде…
12 ноя '13 в 20:38
2 ответа

Как лучше всего rsync из aws s3 в gcloud?

Я должен выполнить rsync (не только копировать или переместить) из всех моих корзин из s3 в облако Google. Мне нужно создать ту же инфраструктуру s3 для Google. У меня как 2Tera в s3, и все дни я получаю новые файлы.. Мое решение сегодня gsutil rsyn…
19 июн '15 в 18:16
1 ответ

Как сделать резервное копирование файлов с помощью logrotate и Amazon S3?

Я хотел бы создать новый стандарт двух вещей: как долго будут генерироваться и вращаться журналы, сгенерированные моими приложениями? Как перенести логи в Amazon S3, в качестве резервного сервера? Я думал использовать logrotate, чтобы вращать и сжим…
24 апр '13 в 14:03
1 ответ

Получение ошибки: ошибка неверного URL в ec2

Я получаю сообщение об ошибке "Неправильный URL" ec2-describe-instances instance_id xxx Malformed URL: 'ec2.ap-southeast-1.amazonaws.com' Тем не менее, я могу получить доступ к корзине через командную строку: s3cmd ls s3://edgeproductionlb-logs DIR …
06 авг '15 в 09:25
3 ответа

Как перенести данные между корзинами s3 другой учетной записи aws с помощью командной строки

Как перенести данные между сегментами s3 разных аккаунтов aws с помощью s3cmd? command will be like this: s3cmd rsync s3://acc1_bucket/folder/ s3://acc2_bucket/folder --recursive Но тогда как он будет идентифицировать второе ведро среды? Как правиль…
20 авг '15 в 14:21