Linux OOM-убить почему?
, Приветствую, товарищи админы. Я пишу в надежде пролить свет на убийства ООМ, которые преследуют одну из машин моей компании. Я не могу решить, являются ли они законными ООМ или нет.
Это Centos 6.x с ядром 2.6.32-279.1.1.el6.x86_64.
Ram 8 ГБ, процессор Athlon2-X4.
Крупными процессами являются mysql и vmw are player 4, где постоянно выделяется максимум 2 и 4 ГБ оперативной памяти плюс некоторые накладные расходы. (Vmw are - тот, который убит из-за его большего размера.)
Там работают демоны, отличные от этих 2, но они очень маленькие и очень слабо загружены, поэтому я не понимаю, куда исчезнет оставшийся 1 / 1,5 гигабайт оперативной памяти, не считая огромного обмена...
Кроме того, убийства происходят только тогда, когда он запускает резервные cronjobs ночью. (Это простые сценарии оболочки со стандартными инструментами, которые сбрасывают некоторые базы данных и архивируют некоторые веб-каталоги и каталоги почтовых ящиков.)
Вот, например, он делал mysqldump - и это впервые происходит с этой конкретной задачей. Это происходило почти каждый раз, также в сочетании с "ошибкой выделения страницы", когда я запускал rsyncs или zip s большого дерева каталогов (~1 миллион маленьких файлов). НО я перенес все это на другую машину с zfs: после этой операции убийца ненадолго оставил меня в покое...
Я ненавижу, что после нескольких месяцев манипулирования проблемой, чтения и перечитывания каждой темы в Интернете я все еще не могу связать информацию с моим делом. Есть своп, почему он не поменяется вместо убийства? И кто все равно принимает все барана? (В начале было несколько законных индикаторов памяти, и я получил их.) Также не может быть фрагментации, поскольку неудавшиеся запросы имеют нулевой порядок.
Я вставляю некоторые данные до фактического уничтожения журналов:
vm.sw appiness = 100 vm.vfs_cache_pressure = 5000 vm.min_free_kbytes = 262144
(я добавил это, чтобы попытаться исправить это, они, вероятно, немного экстремальны, но в любом случае они работают плавно)
Я тщетно экспериментировал с overcommit_memory=2 тоже. Разве это не должно отключить убийцу?
Это нормальное состояние памяти системы. Обратите внимание, что оперативная память vmw are считается кешем из-за mmap-ed vmem. И, между прочим, vmware настроен на восстановление / замену памяти vm. И он этого не делает, никогда.
общее количество использованных свободных общих буферов в кеше Mem: 7800792 7400032 400760 0 61100 4449196 -/+ буферы / кэш: 2889736 4911056 Своп: 8388600 761588 7627012 SwapCached: 286648 кБ PageTables: 40200 кБ CommitLimit: 15409312 кБ Committed_AS: 8099460 КБ AnonHugePages: 192512 кБ Узел 0, зона DMA 4 1 1 3 1 1 0 0 1 1 3 Узел 0, зона DMA32 378 1476 2541 1491 328 240 74 28 8 0 0 Узел 0, зона Нормальная 1555 124 956 1825 659 175 54 31 15 0 0
Наконец, ООМ:
2 января 21:37:38: vmware-vmx вызвал oom-killer: gfp_mask=0xd0, order=0, oom_adj=0, oom_score_adj=0 2 января 21:37:38: vmware-vmx cpuset=/ mems_allowed=0 2 января 21:37:38: Pid: 19635, comm: vmware-vmx Не испорчен 2.6.32-279.1.1.el6.x86_64 #1 Jan 2 21:37:38: Отслеживание вызовов: 2 января 21:37:38: []? cpuset_print_task_mems_allowed+0x91/0xb0 2 января 21:37:38: []? dump_header+0x90/0x1b0 2 января 21:37:38: []? __delayacct_freepages_end+0x2e/0x30 2 января 21:37:38: []? security_real_capable_noaudit+0x3c/0x70 2 января 21:37:38: []? oom_kill_process+0x82/0x2a0 2 января 21:37:38: []? select_bad_process+0xe1/0x120 2 января 21:37:38: []? out_of_memory+0x220/0x3c0 2 января 21:37:38: []? __alloc_pages_nodemask+0x89e/0x940 2 января 21:37:38: []? alloc_pages_current+0xaa/0x110 2 января 21:37:38: []? __get_free_pages+0xe/0x50 2 января 21:37:38: []? __pollwait+0xb4/0xf0 2 января 21:37:38: []? eventfd_poll+0x7d/0x80 2 января 21:37:38: []? do_sys_poll+0x29b/0x520 2 января 21:37:38: []? __pollwait+0x0/0xf0 2 января 21:37:38: []? pollwake+0x0/0x60 2 января 21:37:38: []? pollwake+0x0/0x60 2 января 21:37:38: []? pollwake+0x0/0x60 2 января 21:37:38: []? pollwake+0x0/0x60 2 января 21:37:38: []? pollwake+0x0/0x60 2 января 21:37:38: []? pollwake+0x0/0x60 2 января 21:37:38: []? pollwake+0x0/0x60 2 января 21:37:38: []? pollwake+0x0/0x60 2 января 21:37:38: []? pollwake+0x0/0x60 2 января 21:37:38: []? read_tsc+0x9/0x20 2 января 21:37:38: []? ktime_get_ts+0xa9/0xe0 2 января 21:37:38: []? poll_select_set_timeout+0x8d/0xa0 2 января 21:37:38: []? sys_ppoll+0x4c/0x180 2 января 21:37:38: []? system_call_fastpath+0x16/0x1b 2 января 21:37:38: Mem-Info: 2 января 21:37:38: узел 0 прямого доступа к памяти на процессор: 2 января 21:37:38: процессор 0: привет: 0, btch: 1 usd: 0 Jan 2 21:37:38: CPU 1: hi: 0, btch: 1 usd: 0 Jan 2 21:37:38: CPU 2: hi: 0, btch: 1 usd: 0 Jan 2 21:37: 38: CPU 3: hi: 0, btch: 1 usd: 0 Jan 2 21:37:38: узел 0 DMA32 на процессор: Jan 2 21:37:38: CPU 0: hi: 186, btch: 31 usd: 175 Jan 2 21:37:38: CPU 1: hi: 186, btch: 31 usd: 40 Jan 2 21:37:38: CPU 2: hi: 186, btch: 31 usd: 180 Jan 2 21:37:38: CPU 3: hi: 186, btch: 31 usd: 152 Jan 2 21:37:38: Node 0 Normal per-cpu: Jan 2 21:37:38: CPU 0: hi: 186, btch: 31 usd: 170 Янв 2 21:37:38: ЦП 1: привет: 186, btch: 31 usd: 67 Янв 2 21:37:38: ЦП 2: привет: 186, btch: 31 usd: 108 2 января 21:37:38: CPU 3: hi: 186, btch: 31 usd: 63 2 января 21:37:38: активный_анон:1467089 inactive_anon:263165 изолированный_анон: 64 2 января 21:37:38: активный_файл: 12404 неактивный_файл: 65792 изолированный_файл: 96 2 января 21:37:38: univictable:2 dirty:66080 обратная запись:1 unstable:0 Jan 2 21:37:38: free:73888 slab_reclaimable:8971 slab_unreclaimable:10661 Jan 2 21:37:38: сопоставлено: 780904 shmem: 1035969 страниц: 10566 отскок: 0 Jan 2 21:37:38: узел 0 DMA свободен:15688kB мин.:500kB низко:624kB высоко:748kB active_anon:0kB inactive_anon:0kB active_file:0kB неактивный_файл: 0kB невидимый: 0kB изолированный (anon):0kB изолированный (файл):0kB присутствует: 15284kB заблокирован: 0kB грязный: 0kB обратная запись: 0kB сопоставлен: 0kB slablebrec: 0 0kB kernel_stack: 0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? да 2 января 21:37:38: lowmem_reserve[]: 0 3254 7799 7799 2 января 21:37:38: Узел 0 DMA32 свободен: 127608 КБ, мин: 109180 КБ, низкий: 136472 КБ, высокий: 163768 КБ active_anon:2209600 КБ, inactive_anon:441980 КБ: 207948 КБ, невидимый: 8 КБ изолирован (без подключения):0 КБ изолирован (файл):256 КБ присутствует: 3333024 КБ заблокирован: 8 КБ грязный: 211888 КБ обратная запись: 0 КБ сопоставлен: 955900 КБ shmem: 1376604 КБ slab_reclaimable:20276 КБ: недоброкачественная папка на двоих: папка 85: 60:BBB5BBRK: восстанавливать bounce:0kB writeback_tmp:0kB pages_scanned:580800 all_unreclaimable? нет 2 января 21:37:38: lowmem_reserve[]: 0 0 4545 4545 2 января 21:37:38: Узел 0 Нормальный уровень: 152256 КБ, мин: 152456 КБ, низкий: 190568 КБ, высокий: 228684 КБ: 55220 КБ, необратимый: 0 КБ изолирован (анон):256 КБ изолирован (файл):128 КБ присутствует: 4654080 КБ заблокирован: 0 КБ грязный: 52432 КБ запись: 4 КБ сопоставлен: 2167716 КБ shmem: 2767272 КБ bounce: 0kB writeback_tmp: 0kB pages_scanned: 410848 all_unreclaimable? нет янв 2 21:37:38: lowmem_reserve[]: 0 0 0 0 янв 2 21:37:38: узел 0 DMA: 4*4 кБ 1*8 кБ 1*16 кБ 3*32 кБ 1*64 кБ 1*128 кБ 0*256 кБ 0*512 КБ 1*1024 КБ 1*2048 КБ 3*4096 КБ = 15688 КБ 2 января 21:37:38: Узел 0 DMA32: 240*4 КБ 925*8 КБ 1553*16 КБ 748*32 КБ 253*64 КБ 152*128 КБ 56*256 КБ 28*512 КБ 6*1024 КБ 0 * 2048 КБ 0 * 4096 КБ = 127608 КБ 2 января 21:37:38: Узел 0 Нормальный: 1155 * 4 КБ 1362 * 8 КБ 2962 * 16 КБ 860 * 32 КБ 330 * 64 КБ 113 * 128 КБ 23 * 256 КБ 18 * 512 КБ 9 * 1024 КБ 1*2048kB 0*4096kB = 152380kB 2 января 21:37:38: 1162322 всего страниц кэша страниц 2 января 21:37:38: 48040 страниц в кэш-памяти подкачки 2 января 21:37:38: статистика кэш-памяти подкачки: добавьте 3148787, удалите 3100747, найти 1726176/2015458 2 января 21:37:38: свободный обмен = 7750696kB 2 января: 21:37:38: общий обмен = 8388600kB 2 января 21:37:38: 2031600 страниц RAM 2 января 21:37:38: 81402 страницы зарезервировано 2 января 21:37:38: 1987047 страниц поделено 2 января 21:37:38: 707527 страниц не передано 2 января 21:37:38: [ pid ] uid tgid total_vm rss процессор oom_adj oom_score_adj name 2 января 21:37:38: [ 457] 0 457 2673 90 1 -17 -1000 удевд 2 января 21:37:38: [ 1261] 0 1261 62271 293 0 0 0 rsyslogd 2 января 21:37:38: [1275] 0 1275 1171 91 0 0 0 mdadm 2 января 21:37:38: [ 1284] 81 1284 5382 159 1 0 0 dbus-daemon 2 января 21:37:38: [ 1295] 70 1295 6946 160 2 0 0 avahi-daemon 2 января 21:37:38: [ 1296] 70 1296 6914 27 1 0 0 avahi-демон Jan 2 21:37:38: [ 1344] 68 1344 6292 346 0 0 0 hald Jan 2 21:37:38: [ 1345] 0 1345 4524 152 0 0 0 hald-runner 2 января 21:37:38: [ 1391] 0 1391 5053 87 2 0 0 hald-addon-inpu 2 января 21:37:38: [ 1406] 0 1406 6014 103 2 0 0 vmware-usbarbit 2 января 21:37:38: [ 1420] 0 1420 16028 119 1 -17 -1000 sshd 2 января 21:37:38: [1439] 38 1439 7539 146 0 0 0 ntpd 2 января 21:37:38: [1483] 0 1483 29309 135 2 0 0 crond 2 января 21:37:38: [1494] 0 1494 5362 47 2 0 0 atd 2 января 21:37:38: [ 1511] 501 1511 25371 5751 1 0 0 Xvnc 2 января 21:37:38: [1521] 501 1521 26513 66 0 0 0 ш Ян 2 21:37:38: [ 1532] 512 1532 21634 461 0 0 0 Xvnc 2 января 21:37:38: [1541] 501 1541 5006 82 10 0 0 dbus-launch 2 января 21:37:38: [ 1542] 501 1542 5382 141 2 0 0 dbus-daemon 2 января 21:37:38: [ 1546] 501 1546 5629 283 0 0 0 xfconfd 2 января 21:37:38: [ 1551] 501 1551 28034 71 3 0 0 gpg-agent 2 января 21:37:38: [ 1561] 501 1561 57668 351 1 0 0 xfce4-сессия 2 января 21:37:38: [ 1565] 501 1565 49604 290 2 0 0 xfsettingsd 2 января 21:37:38: [ 1567] 501 1567 55385 549 1 0 0 xfwm4 2 января 21:37:38: [ 1569] 501 1569 59719 1148 2 0 0 xfce4-panel 2 января 21:37:38: [1571] 501 1571 56642 311 1 0 0 Тунар 2 января 21:37:38: [ 1573] 501 1573 81823 695 3 0 0 xfdesktop Jan 2 21:37:38: [ 1582] 501 1582 56799 339 1 0 0 xfce4-settings- Jan 2 21:37:38: [ 1584] 0 1584 520550 188 1 0 0 console-kit-dae Jan 2 21:37:38: [ 1650] 501 1650 55456 487 3 0 0 panel-6-systray Jan 2 21:37:38: [ 1654] 512 1654 26513 65 0 0 0 sh Jan 2 21:37:38: [ 1669] 512 1669 5006 68 2 0 0 dbus-launch Jan 2 21:37:38: [ 1670] 512 1670 5383 135 0 0 0 dbus-daemon Jan 2 21:37:38: [ 1674] 512 1674 5629 264 3 0 0 xfconfd Jan 2 21:37:38: [ 1680] 512 1680 28034 70 3 0 0 gpg-agent Jan 2 21:37:38: [ 1683] 500 1683 27549 6909 2 0 0 Xvnc Jan 2 21:37:38: [ 1694] 512 1694 57667 346 2 0 0 xfce4-session Jan 2 21:37:38: [ 1699] 512 1699 55386 461 1 0 0 xfwm4 Jan 2 21:37:38: [ 1701] 512 1701 66152 1404 2 0 0 xfce4-panel Jan 2 21:37:38: [ 1703] 512 1703 56617 235 0 0 0 Thunar Jan 2 21:37:38: [ 1705] 512 1705 85537 529 1 0 0 xfdesktop Jan 2 21:37:38: [ 1707] 512 1707 49604 285 1 0 0 xfsettingsd Jan 2 21:37:38: [ 1715] 512 1715 56799 312 0 0 0 xfce4-settings- Jan 2 21:37:38: [ 1717] 512 1717 55456 438 3 0 0 panel-4-systray Jan 2 21:37:38: [ 1721] 500 1721 26513 66 0 0 0 sh Jan 2 21:37:38: [ 1740] 500 1740 5006 68 1 0 0 dbus-launch Jan 2 21:37:38: [ 1741] 500 1741 5383 167 2 0 0 dbus-daemon Jan 2 21:37:38: [ 1745] 500 1745 5629 275 1 0 0 xfconfd Jan 2 21:37:38: [ 1757] 500 1757 28070 139 3 0 0 gpg-agent Jan 2 21:37:38: [ 1758] 0 1758 1542 83 3 0 0 pptpd Jan 2 21:37:38: [ 1774] 500 1774 57667 356 0 0 0 xfce4-session Jan 2 21:37:38: [ 1779] 500 1779 55674 785 2 0 0 xfwm4 Jan 2 21:37:38: [ 1781] 500 1781 65790 1363 1 0 0 xfce4-panel Jan 2 21:37:38: [ 1783] 500 1783 82194 451 0 0 0 Thunar Jan 2 21:37:38: [ 1785] 500 1785 85642 813 2 0 0 xfdesktop Jan 2 21:37:38: [ 1790] 500 1790 49604 283 2 0 0 xfsettingsd Jan 2 21:37:38: [ 1800] 500 1800 38863 313 3 0 0 xterm Jan 2 21:37:38: [ 1807] 500 1807 56798 353 3 0 0 xfce4-settings- Jan 2 21:37:38: [ 1808] 500 1808 55456 470 1 0 0 panel-6-systray Jan 2 21:37:38: [ 1811] 500 1811 27074 69 2 0 0 bash Jan 2 21:37:38: [ 1823] 0 1823 4704 145 0 0 0 smartd Jan 2 21:37:38: [ 1831] 0 1831 1014 48 2 0 0 mingetty Jan 2 21:37:38: [ 1833] 0 1833 1014 48 0 0 0 mingetty Jan 2 21:37:38: [ 1835] 0 1835 1014 48 1 0 0 mingetty Jan 2 21:37:38: [ 1837] 0 1837 1014 48 2 0 0 mingetty Jan 2 21:37:38: [ 1839] 0 1839 1014 49 3 0 0 mingetty Jan 2 21:37:38: [ 1843] 0 1843 1014 48 0 0 0 mingetty Jan 2 21:37:38: [ 2025] 0 2025 25340 59 2 0 0 vmnet-bridge Jan 2 21:37:38: [ 2033] 0 2033 25333 15 1 0 0 vmnet-netifup Jan 2 21:37:38: [ 2058] 0 2058 27069 101 0 0 0 vmnet-natd Jan 2 21:37:38: [ 2060] 0 2060 25333 15 1 0 0 vmnet-netifup Jan 2 21:37:38: [ 2097] 0 2097 30105 82 2 0 0 vmware-authdlau Jan 2 21:37:38: [ 2981] 500 2981 36335 76 0 0 0 su Jan 2 21:37:38: [ 2984] 0 2984 27074 233 1 0 0 bash Jan 2 21:37:38: [ 6347] 500 6347 39207 406 2 0 0 xterm Jan 2 21:37:38: [ 6349] 500 6349 27074 70 0 0 0 bash Jan 2 21:37:38: [ 6407] 500 6407 36335 77 0 0 0 su Jan 2 21:37:38: [ 6410] 0 6410 27074 251 0 0 0 bash Jan 2 21:37:38: [ 6481] 0 6481 57857 154 0 0 0 mysql Jan 2 21:37:38: [ 6911] 0 6911 19820 120 1 0 0 master Jan 2 21:37:38: [ 6914] 89 6914 19889 122 0 0 0 qmgr Jan 2 21:37:38: [ 6918] 89 6918 19839 141 0 0 0 tlsmgr Jan 2 21:37:38: [17572] 0 17572 103460 2142 3 0 0 Thunar Jan 2 21:37:38: [21227] 500 21227 38801 594 0 0 0 xterm Jan 2 21:37:38: [21229] 500 21229 27074 73 0 0 0 bash Jan 2 21:37:38: [29713] 500 29713 36870 214 3 0 0 lftp Jan 2 21:37:38: [32170] 500 32170 38815 184 0 0 0 xterm Jan 2 21:37:38: [32172] 500 32172 27074 77 1 0 0 bash Jan 2 21:37:38: [32189] 500 32189 36335 86 1 0 0 su Jan 2 21:37:38: [32197] 0 32197 27074 93 1 0 0 bash Jan 2 21:37:38: [16025] 0 16025 2070 89 3 0 0 pptpctrl Jan 2 21:37:38: [16026] 0 16026 5544 108 1 0 0 pppd Jan 2 21:37:38: [31174] 0 31174 27073 175 1 0 0 mysqld_safe Jan 2 21:37:38: [31909] 27 31909 1143356 587238 1 0 0 mysqld Jan 2 21:37:38: [32037] 0 32037 26546 169 0 0 0 mysqld_safe Jan 2 21:37:38: [32437] 495 32437 136524 7673 1 0 0 mysqld Jan 2 21:37:38: [32449] 0 32449 26546 169 2 0 0 mysqld_safe Jan 2 21:37:38: [ 368] 493 368 211813 3831 0 0 0 mysqld Jan 2 21:37:38: [ 884] 500 884 27074 310 1 0 0 bash Jan 2 21:37:38: [ 1065] 501 1065 122130 2881 3 0 0 vmplayer Jan 2 21:37:38: [ 2031] 500 2031 38570 281 0 0 0 xterm Jan 2 21:37:38: [ 2034] 500 2034 27074 180 0 0 0 bash Jan 2 21:37:38: [ 2051] 500 2051 36335 140 0 0 0 su Jan 2 21:37:38: [ 2055] 0 2055 27074 181 2 0 0 bash Jan 2 21:37:38: [16591] 501 16591 77851 712 3 0 0 vmware-unity-he Jan 2 21:37:38: [16803] 0 16803 26883 237 1 0 0 watch Jan 2 21:37:38: [19635] 501 19635 1693624 793343 1 0 0 vmware-vmx Jan 2 21:37:38: [ 2186] 0 2186 38139 158 0 0 0 proftpd Jan 2 21:37:38: [ 5289] 500 5289 38992 979 3 0 0 xterm Jan 2 21:37:38: [ 5291] 500 5291 27074 188 2 0 0 bash Jan 2 21:37:38: [ 5344] 500 5344 36335 148 1 0 0 su Jan 2 21:37:38: [ 5361] 0 5361 27074 350 0 0 0 bash Jan 2 21:37:38: [18529] 500 18529 26514 227 0 0 0 mysql-workbench Jan 2 21:37:38: [18534] 500 18534 26514 226 1 0 0 catchsegv Jan 2 21:37:38: [18536] 500 18536 26514 77 2 0 0 catchsegv Jan 2 21:37:38: [18537] 500 18537 227088 7571 2 0 0 mysql-workbench Jan 2 21:37:38: [ 409] 0 409 131527 1556 1 0 0 geany Jan 2 21:37:38: [ 410] 0 410 2054 92 2 0 0 gnome-pty-helpe Jan 2 21:37:38: [ 411] 0 411 27074 238 1 0 0 bash Jan 2 21:37:38: [ 5750] 0 5750 2672 92 0 -17 -1000 udevd Jan 2 21:37:38: [ 5753] 0 5753 2672 87 0 -17 -1000 udevd Jan 2 21:37:38: [ 5788] 0 5788 10640 594 3 0 0 openvpn Jan 2 21:37:38: [ 5792] 0 5792 10640 598 3 0 0 openvpn Jan 2 21:37:38: [ 5800] 99 5800 11135 587 3 0 0 openvpn Jan 2 21:37:38: [21552] 0 21552 110137 2111 1 0 0 httpd Jan 2 21:37:38: [21555] 48 21555 139593 7684 3 0 0 httpd Jan 2 21:37:38: [21558] 48 21558 140002 8513 3 0 0 httpd Jan 2 21:37:38: [23283] 497 23283 9846 193 1 0 0 dkim-filter Jan 2 21:37:38: [23284] 497 23284 33979 524 1 0 0 dkim-filter Jan 2 21:37:38: [ 6819] 0 6819 2070 152 3 0 0 pptpctrl Jan 2 21:37:38: [ 6820] 0 6820 5544 237 1 0 0 pppd Jan 2 21:37:39: [17208] 48 17208 112903 4566 0 0 0 httpd Jan 2 21:37:39: [17209] 48 17209 138359 5895 0 0 0 httpd Jan 2 21:37:39: [17210] 48 17210 138693 7341 3 0 0 httpd Jan 2 21:37:39: [ 1255] 0 1255 24571 713 0 0 0 sshd Jan 2 21:37:39: [ 1278] 0 1278 13874 396 1 0 0 sftp-server Jan 2 21:37:39: [14064] 48 14064 138202 6622 3 0 0 httpd Jan 2 21:37:39: [14065] 48 14065 139625 7776 1 0 0 httpd Jan 2 21:37:39: [16899] 48 16899 138543 7523 3 0 0 httpd Jan 2 21:37:39: [32639] 89 32639 19924 722 0 0 0 pickup Jan 2 21:37:39: [ 4973] 48 4973 136179 4973 3 0 0 httpd Jan 2 21:37:39: [ 4976] 48 4976 138478 7371 0 0 0 httpd Jan 2 21:37:39: [ 4977] 48 4977 136173 4777 3 0 0 httpd Jan 2 21:37:39: [ 5662] 0 5662 35030 336 0 0 0 crond Jan 2 21:37:39: [ 5663] 0 5663 2297 282 2 0 0 sh Jan 2 21:37:39: [ 5664] 0 5664 2298 302 0 0 0 bash Jan 2 21:37:39: [ 5665] 0 5665 15910 437 0 0 0 mutt Jan 2 21:37:39: [ 5947] 0 5947 2298 337 1 0 0 bash Jan 2 21:37:39: [ 6416] 48 6416 110170 2070 3 0 0 httpd Jan 2 21:37:39: [ 6625] 48 6625 110170 1895 0 0 0 httpd Jan 2 21:37:39: [ 6642] 0 6642 32679 1632 2 0 0 mysqldump Jan 2 21:37:39: Out of memory: Kill process 19635 (vmware-vmx) score 199 or sacrifice child Jan 2 21:37:39: Killed process 19635, UID 501, (vmware-vmx) total-vm:6774496kB, anon-rss:74020kB, file-rss:3099352kB
1 ответ
Ну, я думаю, что ваши min_free_kbytes действительно высоки. У меня есть машина на 16 ГБ, и мой минимум 67584 КБ.
Обратите внимание, что RAM-память vmware считается кешем из-за mmap-ed vmem
Это не всегда правда. Только если файл mmapped() открыт в MAP_SHARED, это правда. Остальные грязные страницы подкачаны. Кажется, что это для вас. Если вы сложите отчет об использовании этого процесса в нижней части вашего вывода и преобразуете его в страницы (4k). Он равен RSS, указанному в дампе задачи для этого процесса.
rss:74020kB, file-rss:3099352kB
74020 + 3099352 = 3173372
3173372 / 4 = 793343
равно..
[19635] 501 19635 1693624 793343 1 0 0 vmware-vmx
Что касается того, почему вы убиваете. Ну, это немного сложнее.
Когда вы достигнете min ядро хочет восстановить память до high байты водяного знака. Таким образом, ядро имеет проверку; если объем памяти, доступный для восстановления из файлового кэша, будет недостаточным, чтобы вернуть вас в high Водяной знак этой зоны, он не потрудится освободить файловый кеш и сразу перейти к восстановлению из анонимной памяти.
Мы никогда не возвращаемся из active, Так -
if (file_inactive > zone_high - free_mem) then
reclaim (zone_high - free_mem) file inactive pages
else
reclaim from anonymous pool
В вашем случае это 55220 is not greater than 228684-152456 (76428),
Причина в том, что это OOM-Kill, а не обмен, потому что когда вы нарушаете min водяной знак ядро переходит в direct_reclaim Режим. В этом режиме выполнение ввода-вывода для освобождения памяти невозможно, поскольку это может привести к тупику.
Ваш хост в тот момент менялся, но ваш хост распределялся быстрее, чем он мог поменяться.
Лучший способ исправить это - уменьшить min Водяной знак на что-то ниже - или лучше все же получить больше памяти и / или уменьшить количество вещей, которые вы запускаете на машине.