Как я не позволяю MySQL постоянно увеличивать использование дискового пространства при использовании с puppet-dashboard?

Я нашел эту статью, которая, кажется, решает проблему довольно хорошо

http://ximunix.blogspot.co.uk/2014/01/howto-cleanup-puppet-reports-and-db.html

опубликовал Химена Кардинали

Короткая история - начать удалять отчеты небольшими партиями, а затем освободить место из MySQL

HOWTO Cleanup Puppet Reports и DB

Если база данных для Puppet Dashboard использует несколько ГБ и с каждым днем ​​становится все больше, это способ вернуть часть пространства.

Есть две грабли, которые вы должны выполнять каждый день как часть ежедневного обслуживания Puppet Dashboard.

cd /usr/share/puppet-dashboard
env RAILS_ENV=production rake reports:prune upto=5 unit=day
env RAILS_ENV=production rake reports:prune:orphaned

Вы можете изменить RAILS_ENV и количество дней (дней), недель (недель), месяцев (месяцев) и т. Д. В соответствии с вашей системой и ее потребностями.

1. Остановить входящие отчеты:

   cd / path / to / puppet-dashboard

   env RAILS_ENV = производственный скрипт /delayed_job -p панель мониторинга -m stop

2. Начните удалять отчеты небольшими партиями

Продолжайте работать в направлении того времени, за которое вы хотите хранить отчеты. Причиной этого является низкая производительность таблиц Innodb при удалении более 10 тыс. Строк одновременно. Если вы попытаетесь удалить несколько сотен тысяч строк, произойдет тайм-аут, и вам все равно придется разбить его на более мелкие удаления. Также процесс Ruby rake будет использовать, вероятно, всю вашу оперативную память и, вероятно, будет убит ядром до его завершения. Нечто подобное этому прогрессированию должно работать для большинства людей, но если у вас есть данные за много месяцев, вы можете начать с месяца или двух своих самых ранних записей. В нашем случае мы храним отчеты за 2 недели (14 дней).

env RAILS_ENV=production rake reports:prune upto=6 unit=mon
env RAILS_ENV=production rake reports:prune upto=4 unit=mon
env RAILS_ENV=production rake reports:prune upto=2 unit=mon
env RAILS_ENV=production rake reports:prune upto=3 unit=wk
env RAILS_ENV=production rake reports:prune upto=1 unit=wk
env RAILS_ENV=production rake reports:prune upto=5 unit=day

3. Определить лучший способ вернуть пространство из MySQL

Есть два способа освободить пространство в зависимости от того, как был настроен MySQL. Запустите эту команду, чтобы определить, включена ли innodb_file_per_table. Должно быть установлено значение "ON", если оно есть. ПРИМЕЧАНИЕ: я рекомендую использовать innodb на вашем MySQL для подобных случаев.

mysqladmin variables -u root -p | grep innodb_file_per_table

Вы также можете сделать список базы данных, чтобы увидеть, есть ли файлы данных большего размера. Таблица, скорее всего, будет большой, это resource_statuses.ibd.

ls -lah /var/lib/mysql/dashboard_production
...
-rw-rw---- 1 mysql mysql      8.9K Jan 08 12:50 resource_statuses.frm
-rw-rw---- 1 mysql mysql       15G Jan 08 12:50 resource_statuses.ibd
...

4. Осваивать пространство простым способом

Если MySQL был сконфигурирован с innodb_file_per_table и ваша база данных Dashoard показывает, что ваши данные находятся в больших табличных файлах, сделайте следующее:

mysql -u root -p
use puppet_dashboard;
OPTIMIZE TABLE resource_statuses;

Это создаст новую таблицу на основе текущих данных и скопирует ее на место. Если вы делаете листинг, пока он находится в процессе, вы должны увидеть что-то вроде этого:

-rw-rw---- 1 mysql mysql       8.9K Jan  08 12:50 resource_statuses.frm
-rw-rw---- 1 mysql mysql        15G Jan  08 12:50 resource_statuses.ibd
-rw-rw---- 1 mysql mysql       8.9K Jan  08 12:50 #sql-379_415.frm
-rw-rw---- 1 mysql mysql       238M Jan  08 12:51 #sql-379_415.ibd

И когда он закончится, он скопирует файл tmp на место. В этом случае мы перешли с 15 ГБ до 708 МБ.

-rw-rw---- 1 mysql mysql 8.9K Jan 08 13:01 resource_statuses.frm
-rw-rw---- 1 mysql mysql 708M Jan 08 13:03 resource_statuses.ibd

5. Осваивать космос трудным путем

Если ваша система не была настроена с параметром innodb_file_per_table или все текущие данные находятся в большом файле ibdata, единственный способ освободить место - стереть всю установку и заново импортировать все данные. Общий метод должен быть примерно таким: сначала настройте innodb_file_per_table, дампируйте все базы данных, затем остановите Mysql, удалите /var/lib/mysql, запустите mysql_install_db, чтобы снова создать /var/lib/mysql, запустите MySQL и, наконец, снова импортируйте данные. Там не будет необходимости оптимизировать шаги из-за импорта данных.

6. Наконец, перезапустите delayed_job:

   cd / path / to / puppet-dashboard

   env RAILS_ENV = производственный скрипт /delayed_job -p панель мониторинга -n 2 -m start

7. Очистка ежедневных отчетов и обслуживание БД:

Для ежедневной очистки отчетов вы можете создать простой BASH-скрипт, который будет искать отчеты в /var/lib/puppet/reports по времени (в нашем случае mtime +14), удалять их, а затем очищать базу данных с помощью (upto=2 unit=wk) и установите его в свой crontab. Примером скрипта может быть:

#!/bin/bash
REPORTS=`find /var/lib/puppet/reports -type f -mtime +14`
for i in $REPORTS; do rm -f $i; done

cd /usr/share/puppet-dashboardenv RAILS_ENV=production rake reports:prune upto=2 unit=wk