MySQL использует всю системную память на INSERT ... SELECT

Демон mysql убивается, потому что Linux исчерпывает память:

Oct 24 07:41:23 <hostname> kernel: [82297.673701] Out of memory: kill process 13816 (mysqld) score 1839626 or a child

Существует ссылка с некоторым обходным путем по этому вопросу.

Это происходит только при выполнении запроса INSERT ... SELECT с очень большим результатом.

Скрипт MySQLTuner показывает, что максимальный теоретический объем памяти составляет менее 8 ГБ, но top и munim показывают, что он перебирает всю оперативную память и доступный подкачку:

[--] Total buffers: 560.0M global + 72.2M per thread (100 max threads)
[OK] Maximum possible memory usage: 7.6G (43% of installed RAM)

Я пытался настроить некоторые параметры без результатов, есть соответствующие:

skip-locking
max_connections         = 100
key_buffer_size         = 512M
max_allowed_packet      = 32M
table_open_cache        = 2000
open_files_limit        = 3000
sort_buffer_size        = 16M
read_buffer_size        = 16M
read_rnd_buffer_size    = 8M
myisam_sort_buffer_size = 64M
thread_cache_size       = 4
query_cache_size        = 16M
query_cache_limit       = 2M
thread_concurrency      = 4
join_buffer_size        = 32M
tmp_table_size          = 32M
max_heap_table_size     = 32M
query_cache_limit       = 8M
bulk_insert_buffer_size = 64M
myisam_max_sort_file_size = 50GB
myisam_mmap_size        = 10GB

И есть системное резюме:

  • ОС: Linux Debian "Squeeze" 6.0.8 (обновлен вчера)
  • RAM: 18 ГБ
  • Обмен: 18 ГБ
  • MySQL: 5.1.72-2 (официальный выпуск Debain)

В данный момент обновить или изменить версию ОС или MySQL невозможно, есть какая-то опция, которая может помочь и я пропустил?

Извините за мой английский, и заранее спасибо!

Редактировать: я использую только таблицы MyISAM и не могу перейти на InnoDB.

Источник

2 ответа

Решение

Наконец, я понял, что проблема заключалась в соединении с федеративной таблицей (извините, это действительно сложный запрос, и я обнаружил это при анализе SQL).

Объединенная таблица имеет только около 7000 строк, но выполняет тот же запрос с собственной таблицей MyISAM с теми же данными, работает намного быстрее и потребляет обычный объем оперативной памяти. Кажется, что MySQL выполняет SELECT * на удаленном сервере для каждой присоединенной строки локальной таблицы, и память, используемая для кэширования, не освобождается до завершения.

По крайней мере, я узнал, что объединенные таблицы следует использовать осторожно и избегать их использования в сложных запросах или больших наборах результатов.

Спасибо всем, кто откликнулся, я надеюсь, что это может быть полезно для всех, кто сталкивался с такой же проблемой!

Источник

Если обновление недоступно, добавьте больше свопа:)

Источник
Другие вопросы по тегам