Сбой экземпляра Amazon Micro - помогите понять, почему?
Я использую Amazon AWS Micro Linux Instance, и он несколько дней назад завис при "легком" использовании. Я запускаю приложение, которое загружает фотографии на сервер. У нас было, возможно, 10 пользователей, загружающих несколько фотографий в течение 1 часа.
В какой-то момент сервер перестал отвечать. Я вошел в консоль AWS и обнаружил, что "проверка доступности Intstance" не удалась. Я перезагрузил сервер, перезапустил PHP и MySQL, а затем мне пришлось восстанавливать несколько таблиц MySQL, которые были повреждены.
У меня были включены инструменты мониторинга, и загрузка ЦП показывает, что мы достигли максимума в 28% загрузки ЦП. После прочтения дополнительной документации по микроэкземплярам, я не думаю, что мы максимально использовали ЦП, но я могу ошибаться.
Я не знаю достаточно, чтобы понять, что означают журналы. Я нашел то, что я считаю журналами с сервера с момента возникновения проблемы, я надеюсь, что кто-то может помочь мне расшифровать то, что произошло:
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157082] httpd вызвал oom-killer: gfp_mask=0x201da, order=0, oom_adj=0
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157100] httpd cpuset=/ mems_allowed=0
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157108] Пид: 1824, комм.: httpd не испорчено 2.6.35.14-97.44.amzn1.x86_64 #1
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157117] Трассировка вызова:
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157131] []? cpuset_print_task_mems_allowed+0x98/0xa0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157143] [] dump_header.clone.1+0x77/0x1a0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157153] []? _raw_spin_unlock_irqrestore+0x19/0x20
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157164] []? ___ + 0x9F ограничения частоты /0x120
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157172] [] oom_kill_process.clone.0+0x76/0x140
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157185] [] __out_of_memory+0x118/0x190
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157196] [] out_of_memory+0x82/0x1c0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157204] [] __alloc_pages_nodemask+0x689/0x6a0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157215] [] alloc_pages_current+0x94/0xf0
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157223] [] __page_cache_alloc+0x7f/0x90
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157232] [] __do_page_cache_readahead+0xc0/0x200
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157240] [] ra_submit+0x1c/0x20
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157248] [] filemap_fault+0x3e3/0x430
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157257] [] __do_fault+0x4f/0x4b0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157265] [] handle_mm_fault+0x1b4/0xb40
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157275] []? xen_clocksource_read+0x21/0x30
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157283] []? xen_clocksource_get_cycles+0x9/0x10
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157293] []? ktime_get_ts+0xa3/0xd0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157302] [] do_page_fault+0x112/0x310
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157310] [] page_fault+0x25/0x30
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157316] Mem-Info:
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157320] Узел 0 DMA на процессор:
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157327] CPU 0: hi: 0, btch: 1 usd: 0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157332] Узел 0 DMA32 на процессор:
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157339] CPU 0: hi: 186, btch: 31 usd: 30июля 23 00:19:07 ядро ip-10-117-66-219: [19699669.157347] active_anon:70901 inactive_anon:71000 изолированный_anon: 0 23 июля 00:19:07 ip-10-117-66-219 kernel: [19699669.157348] active_file:13 неактивный_файл:28 изолированный_файл: 0 июл 23 00:19:07 ip- 10-117-66-219, ядро: [19699669.157349], невидимое: 0, грязное: 4, обратная запись: 0, нестабильное: 0 23 июля, 00:19:07 ip-10-117-66-219, ядро: [19699669.157350], свободно: 1374 slab_reclaimable: 613 slab_unreclaimable:1843
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157351] сопоставлено: 25 шмем: 34 таблиц:4842 отказов: 0
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157430] Узел 0 Свободно DMA: 2436 КБ, мин: 76 КБ, низ: 92 КБ, высоко: 112 КБ, активный_анон: 6104 КБ, неактивный_анон: 6272 КБ, активный_файл: 0 КБ, неактивный_файл: 0 КБ unev 0 КБ изолирован (анон):0 КБ изолирован (файл):0 КБ присутствует: 15772 КБ заблокирован: 0 КБ грязный: 0 КБ запись: 0 КБ сопоставлен: 0 КБ SHMEM: 0 КБ:0kB pages_scanned: 0 all_unreclaimable? да
23 июля, 00:19:07 ip-10-117-66-219, ядро: [19699669.157459] lowmem_reserve[]: 0 590 590 590
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157475] Узел 0 Свободный DMA32: 3060 КБ, мин:3068 КБ, низкий:3832 КБ, высокий: 4600 КБ active_anon:277500 КБ, inactive_anon:277728 КБ active_file:52 КБ, неактивный файл: 112: неактивный файл: 112: 0 КБ изолирован (анон):0 КБ изолирован (файл):0 КБ присутствует:604988 КБ заблокирован: 0 КБ грязный: 16 КБ запись: 0 КБ сопоставлен: 100 КБ SHMEM: 136 КБ writeback_tmp: 0 КБ в год ges_scanned: 256 all_unreclaimable? да
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157503] lowmem_reserve[]: 0 0 0 0
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157518] Узел 0 DMA: 1*4 кБ 0*8 кБ 0*16 кБ 0*32 кБ 0*64 кБ 1*128 кБ 1*256 кБ 0*512 кБ 0*1024 КБ 1*2048 КБ 0*4096 КБ = 2436 КБ
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157553] Узел 0 DMA32: 729*4 КБ 4*8 КБ 5*16 КБ 1*32 КБ 0*64 КБ 0*128 КБ 0*256 КБ 0*512 КБ 0*1024 КБ 0*2048 КБ 0*4096 КБ = 3060 КБ
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157587] всего 80 страниц кэша страниц
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.157592] 0 страниц в кэш-памяти подкачки
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157597] Статистика кэша подкачки: добавьте 0, удалите 0, найдите 0/0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157602] Free swap = 0kB
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.157607] Общий обмен = 0 КБ
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.158050] 157439 страниц ОЗУ
23 июля, 00:19:07 ip-10-117-66-219, ядро: [19699669.158050] Зарезервировано 4626 страниц
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.158050] 38855 страниц
23 июля, 00:19:07 ip-10-117-66-219: ядро: [19699669.158050] 149663 страниц не предоставлены
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.158050] Недостаточно памяти: процесс уничтожения 2135 (httpd), оценка 87500 или ребенок
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.158050] Убитый процесс 2135 (httpd) vsz:350000 КБ, anon-rss:49376 КБ, файл-rss: 0 КБ
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.164960] httpd вызвал oom-killer: gfp_mask=0x201da, order=0, oom_adj=0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.164990] httpd cpuset=/ mems_allowed=0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.164998] Пид: 1824, комм.: httpd не испорчено 2.6.35.14-97.44.amzn1.x86_64 #1
23 июля, 00:19:07 ip-10-117-66-219, ядро: [19699669.165006] Трассировка вызовов:
23 июля, 00:19:07 ip-10-117-66-219, ядро: [19699669.165020] []? cpuset_print_task_mems_allowed+0x98/0xa0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165032] [] dump_header.clone.1+0x77/0x1a0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165042] []? _raw_spin_unlock_irqrestore+0x19/0x20
23 июля, 00:19:07 ip-10-117-66-219, ядро: [19699669.165053] []? ___ + 0x9F ограничения частоты /0x120
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165061] [] oom_kill_process.clone.0+0x76/0x140
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165069] [] __out_of_memory+0x118/0x190
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165077] [] out_of_memory+0x82/0x1c0
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165086] [] __alloc_pages_nodemask+0x689/0x6a0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165096] [] alloc_pages_current+0x94/0xf0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165105] [] __page_cache_alloc+0x7f/0x90
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165114] [] __do_page_cache_readahead+0xc0/0x200
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165122] [] ra_submit+0x1c/0x20
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165129] [] filemap_fault+0x3e3/0x430
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165139] [] __do_fault+0x4f/0x4b0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165147] [] handle_mm_fault+0x1b4/0xb40
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165156] []? xen_clocksource_read+0x21/0x30
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165164] []? xen_clocksource_get_cycles+0x9/0x10
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165178] []? ktime_get_ts+0xa3/0xd0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165187] [] do_page_fault+0x112/0x310
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165195] [] page_fault+0x25/0x30
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165201] Mem-Info:
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165205] Узел 0 DMA на процессор:
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165212] CPU 0: hi: 0, btch: 1 usd: 0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165217] Узел 0 DMA32 на процессор:
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165224] CPU 0: hi: 186, btch: 31 usd: 130
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165232] активный_анон:70836 неактивный_анон: 71000 изолированный_анон: 0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165233] активный_файл: 13 неактивный_файл:28 изолированный_файл: 0
23 июля, 00:19:07 ip-10-117-66-219: ядро: [19699669.165234], невидимое: 0: грязное: 4, обратная запись: 0, нестабильное: 0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165235] бесплатно: 1343 slab_reclaimable: 613 slab_unreclaimable:1843
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165236] сопоставлено: 25 шмем: 34 таблиц:4842 отказов: 0
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165262] Узел 0 Свободно DMA: 2436 КБ, мин: 76 КБ, низ: 92 КБ, высоко: 112 КБ, активный_анон: 6104 КБ, неактивный_анон: 6272 КБ, активный_файл: 0 КБ, неактивный_файл: 0 КБ unev 0 КБ изолирован (анон):0 КБ изолирован (файл):0 КБ присутствует: 15772 КБ заблокирован: 0 КБ грязный: 0 КБ запись: 0 КБ сопоставлен: 0 КБ SHMEM: 0 КБ:0kB pages_scanned: 0 all_unreclaimable? да
23 июля, 00:19:07 ip-10-117-66-219, ядро: [19699669.165290] lowmem_reserve[]: 0 590 590 590
23 июля 00:19:07 ip-10-117-66-219 ядро: [19699669.165305] Узел 0 Свободный DMA32: 2936 КБ, мин:3068 КБ, низкий:3832 КБ, высокий: 4600 КБ, активный: 277240 КБ, неактивный_анон: 277728 КБ, активный_файл: 52 КБ, неактивный файл: 112: неактивный файл: 112: 0 КБ изолирован (анон):0 КБ изолирован (файл):0 КБ присутствует:604988 КБ заблокирован: 0 КБ грязный: 16 КБ запись: 0 КБ сопоставлен: 100 КБ SHMEM: 136 КБ: 0kB в год: 256 all_unreclaimable? да
23 июля 00:19:07 ядро ip-10-117-66-219: [19699669.165334] lowmem_reserve[]: 0 0 0 0 июл 23 00:19:07 ядро ip-10-117-66-219: [19699669.165348] Узел 0 DMA: 1*4 КБ 0*8 КБ 0*16 КБ 0*32 КБ 0*64 КБ 1*128 КБ 1 * 25 6 КБ 0*512 КБ 0*1024 КБ 1*2048 КБ 0*4096 КБ = 2436 КБЖюль 23 00:19:07 ip-10-117 -66-219 ядро: [19699669.165420] Узел 0 DMA32: 710*4 КБ 4*8 КБ 4*16 КБ 0*32 КБ 0*64 КБ 0*128 КБ 0*256 КБ 0*512 КБ 0*1024 КБ 0*2048 КБ 0*4096 КБ = 2936 КБ = 2936 КБ
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165648] всего 80 страниц кэша страниц
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165648] 0 страниц в кэш-памяти подкачки
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165648] Статистика кэша подкачки: добавьте 0, удалите 0, найдите 0/0
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165648] Free swap = 0kB
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165648] Общий обмен = 0 КБ
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165648] 157439 страниц ОЗУ
23 июля, 00:19:07 ip-10-117-66-219 ядро: [19699669.165648] 4626 страниц зарезервировано
23 июля, 00:19:07 ip-10-117-66-219 kernel: [19699669.165648] 37922 страниц
23 июля, 00:19:07, ядро ip-10-117-66-219: [19699669.165648] 149594 страниц без общего доступа. Июль, 23 00:19:07 ядро ip-10-117-66-219: [19699669.165648] Недостаточно памяти: процесс kill 1859 (httpd) счет 87366 или childJul 23 00:19:07 ip-10-117-66-219 ядро: [19699669.165648] процесс Kiled 1859 (httpd) vsz:349464kB, anon-rss:49312k B, file- Новости: 0Kb
Пожалуйста, дайте мне знать, если есть что-то дополнительное, что я могу предоставить.
2 ответа
Убийца нехватки памяти в Linux чувствовал себя обязанным освободить немного оперативной памяти. Что он затем попытался сделать (httpd - это зарегистрированная цель). Тем не менее, похоже, что он не был достаточно успешным и в итоге сильно заблокировался, что не было бы зарегистрировано, так как серверу не хватило оперативной памяти и, следовательно, не было памяти для буферов журнала.
У тебя не хватает памяти. Это небольшой экземпляр, которому не хватает оперативной памяти для поддержки вашего приложения. Ты жертва убийцы ООМ.