Невозможно установить соединение с Amazon EC2 и запустить pig

Question

Невозможно установить соединение с Amazon EC2 и запустить pig

Я создал пару ключей EC2 и сохранил ее в моем домашнем каталоге на Mac. Также я изменил права доступа с помощью 'chmod 600 /path/to/saved/keypair/file.pem'. Теперь я выполнил следующие инструкции для запуска pig на EC2:

Чтобы настроить и подключиться к кластеру PIG, выполните следующие действия:

Перейдите по http://console.aws.amazon.com/elasticmapreduce/home для входа в систему, если это необходимо.
Нажмите "Создать кластер".
Введите "Data Science Assignment Cluster" или все, что вы хотите в качестве имени кластера.
Снимите флажок Logging, чтобы он был отключен.
Прокрутите вниз до Конфигурация программного обеспечения и выберите AMI версии 2.4.2 (мы будем использовать Hadoop 1.x для совместимости с версией Pig)
Прокрутите вниз до "Безопасность и доступ" и выберите пару ключей, которую вы создали выше.
Прокрутите вниз и выберите "Создать кластер"
На следующей странице отобразится информация о вашем кластере. Он начнется в состоянии "Запуск" и может занять несколько минут до полного запуска.
После запуска кластера вы увидите имя "Master Public DNS" в форме ec2-XX-XXX-X-XXX.compute-1.amazonaws.com. Запишите это; мы будем называть его master.public-dns-name.amazonaws.com.
Теперь вы готовы подключиться к вашему кластеру и запускать задания Pig. Из терминала используйте следующую команду: $ ssh -o "ServerAliveInterval 10" -i /path/to/saved/keypair/file.pem hadoop@master.public-dns-name.amazonaws.com

После этого я получаю приглашение ">" только после нажатия Enter. Кроме того, если я пишу pig в приглашении ">", то я получаю снова приглашение ">" в следующей строке, то есть подсказки "grunt" нет. Я проверил, что ssh установлен на моем Mac и удаленный вход в систему включен для всех пользователей. В чем здесь проблема?

0

hadoop

Источник

PronojitS 03 авг '14 в 08:42

2 ответа

Другие вопросы по тегам hadoop

SNeumann 03 авг '14 в 15:30 2014-08-03 15:30 · Answer 1 · 2014-08-03 15:30

Если вам удалось подключиться к главному экземпляру кластера по ssh, то в ответ на приглашение "pig" должно появиться что-то (либо сообщение grunt, либо какое-то сообщение об ошибке). Вы удостоверились, что pig установлен на кластере EMR? (Я не вижу в твоих направлениях)

PronojitS 05 авг '14 в 16:38 2014-08-05 16:38 · Answer 2 · 2014-08-05 16:38

Похоже, проблема возникла из имени пути пары ключей EC2 в команде ssh. Моя пара ключей была на рабочем столе. Итак, ранее я попытался выполнить команду ssh из приглашения HOME$ и упомянул путь к файлу пары ключей в команде ssh из последнего шага инструкций как '/desktop/key-pair-filename.pem', и это Работа.

Но затем в окне терминала я перешел в каталог рабочего стола. После этого я выполнил команду ssh, просто поставив "key-pair-filename.pem" вместо "/desktop/key-pair-filename.pem", и это сработало.