Проблемы с памятью в приложении Spark на AWS EMR
Я уже некоторое время пытаюсь разобраться с проблемами с памятью, и я просто не могу понять, в чем проблема. Любая помощь очень ценится.
Ошибка:
[![OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000005662c0000, 10632822784, 0) failed; error='Cannot allocate memory' (errno=12)
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (malloc) failed to allocate 10632822784 bytes for committing reserved memory.]
У меня очень маленькая искровая работа, которую я выполняю на кластере. Из различных перестановок, которые я запустил, это мои выводы: (новые кластеры в каждом случае все идентичны по конфигурации)
ТОЛЬКО для CLI - Один кластер я запускаю и выполняю все шаги через cli, каждый шаг приводит к небольшому увеличению памяти, которое сохраняется, Ganglia показывает, что кэш-память кластера увеличивается с каждым шагом, он снова падает после завершения, но не до базы уровень. В конечном итоге в результате не хватает памяти для новой JVM для выполнения каких-либо дополнительных шагов. использование htop в этом кластере показывает, что серверы истории искр являются основным процессом, интенсивно использующим память. Может ли сервер истории хранить слишком много информации?
ТОЛЬКО ДЛЯ КОНСОЛИ. Этот кластер был создан почти так же, как и другие, с той разницей, что я добавляю шаги через консоль. (Я пришел, чтобы попробовать это, поскольку у меня просто не было идей) Этот кластер до сих пор выполнял только один шаг, пока не показал oozie как процесс с самым высоким потреблением памяти.
Другие - все другие кластеры работали и выходили из строя таким же образом, интересный случай, когда новый кластер запускался, выполнялся один шаг, он завершался, но постепенно занимал память до точки, где исключение повторялось снова. Для всех этих других кластеров hasoop всегда был задачей наверху дерева процессов для потребления памяти.
Любая помощь или предложения относительно того, как решить, будет фантастической, заранее благодарю.
Я приложил несколько изображений, которые могут помочь объяснить выше.