Описание тега amazon-emr

1 ответ

AWS S3 стоит, когда AWS EMR использует его

Когда я запускаю кластер AWS EMR, и он читает и записывает данные в корзину AWS S3 (или несколько корзин), каковы затраты на эту передачу данных? Это передача данных? Бесплатно, потому что это внутри, в облаке AWS? Обычный S3 стоит, относительно кол…
24 янв '19 в 10:27
1 ответ

psql установка на linux требует systemd

Я устанавливаю psql на свой AWS EMR (экземпляр EC2), который является Amazon Linux (не Amazon Linux 2). Я получаю сообщение об ошибке после запуска команды sudo yum install -y postgresql10 Error: Package: postgresql10-10.7-2PGDG.rhel7.x86_64 (pgdg10…
0 ответов

AWS EC2 с EMR и без него и Spark не будет подключаться по SSH к порту 22.

Я на MacBookPro. Я попытался запустить экземпляр EC2 с помощью EMR, Rstudio и Spark. У меня тайм-аут порта 22. Я обратился за помощью к AWS, отключил брандмауэр и перезапустил модем. Тем не менее, ничего, кроме тайм-аута порта 22. AWS удалось запуст…
0 ответов

мой кластер emr завершается с ошибкой после того, как статус устанавливается на запуск

Привет, когда я создаю кластер EMR. В статусе написано, что он создается, но через 58 минут выдает ошибку:. Сообщение об ошибке (скриншот ошибки прилагается) Я пробовал несколько раз, но все попытки не увенчались успехом. Я следил за документацией A…
15 янв '22 в 04:20
0 ответов

установка пакетов в AWS EMR

Я пытаюсь установить Google Tink в AWS EMR 5.28.0, но безуспешно. Похоже, образ AWS EMR довольно странный по своей природе. Есть идеи? sc.install_pypi_package("tink") ошибка: не удалось найти исполняемый файл bazel. Пожалуйста, установите bazel для …
13 авг '21 в 16:59
0 ответов

Самый быстрый способ импортировать файлы в Spark?

Я экспериментирую с Spark 3.0.1 и очень впечатлен производительностью Spark SQL при обработке ГБ данных. Я пытаюсь понять, как лучше всего импортировать несколько файлов JSON в фрейм данных Spark перед выполнением аналитических запросов. Прямо сейча…