Пример вывода Rumen или Ввод в Gridmix
Я хочу видеть журналы JobHistory, которые можно подавать в качестве входных данных в рубец. В частности, мне интересно знать формат ввода для Gridmix.
Я попробовал следующие две вещи для этого:
1) Я нашел эти файлы: Что это за файл? Это выходной формат Rumen? Достаточно ли похожего на этот файл ввода для Gridmix?
2) Еще одна вещь, которую я пытался увидеть в журналах JobHistory, - это настроить hadoop, выполнить и посмотреть некоторые журналы. Тем не менее, я впервые настроил hadoop(Yarn and Map Reduce). Так что я ничего не знаю о его настройке. Я использую версию 3.0.0 Hadoop Yarn.
Я делаю свое выполнение в Pseudo-Distributed_Operation (генерируются ли журналы JobHistory в Pseudo-Distributed_Operation?).
Я включил агрегацию журналов пряжи, как предложено здесь.
В этой статье рассказывается о том, где можно найти журналы. Это говорит о том, что он находится в следующем каталоге в hdfs.
/user/uname/.staging/job_id/
Однако я не могу найти этот каталог. Ниже приводится то, что я получаю как сообщение об ошибке.
bin/hdfs dfs -ls /user/uname/.staging
ls: `/user/uname/.staging': No such file or directory
Я также попытался найти /user/uname/.staging в локальной файловой системе. Тем не менее, я получил ту же директорию, что не существует ошибки. (Это было очевидно, поскольку я не создавал ее.) Тем не менее, я создал / user / uname в системе HDFS (при выполнении настройки и / user / uname / существует, но подкаталог.staging в нем не найден).
В этом ответе stackoverflow действительно говорится о подобной проблеме, но не очень ясно, как я могу адаптировать ее к моей проблеме, а также для более старой версии Hadoop, и кажется, что она не будет работать для Hadoop-3.0.0
Было бы замечательно, если бы кто-то мог указать мне какой-нибудь пример Gridmix Input или Rumen(Input или Output) или помочь мне выяснить, куда идут файлы журнала, сгенерированные моими казнями.