Описание тега amazon-emr
1
ответ
AWS S3 стоит, когда AWS EMR использует его
Когда я запускаю кластер AWS EMR, и он читает и записывает данные в корзину AWS S3 (или несколько корзин), каковы затраты на эту передачу данных? Это передача данных? Бесплатно, потому что это внутри, в облаке AWS? Обычный S3 стоит, относительно кол…
24 янв '19 в 10:27
1
ответ
psql установка на linux требует systemd
Я устанавливаю psql на свой AWS EMR (экземпляр EC2), который является Amazon Linux (не Amazon Linux 2). Я получаю сообщение об ошибке после запуска команды sudo yum install -y postgresql10 Error: Package: postgresql10-10.7-2PGDG.rhel7.x86_64 (pgdg10…
15 мар '19 в 13:14
0
ответов
AWS EC2 с EMR и без него и Spark не будет подключаться по SSH к порту 22.
Я на MacBookPro. Я попытался запустить экземпляр EC2 с помощью EMR, Rstudio и Spark. У меня тайм-аут порта 22. Я обратился за помощью к AWS, отключил брандмауэр и перезапустил модем. Тем не менее, ничего, кроме тайм-аута порта 22. AWS удалось запуст…
22 окт '21 в 18:51
0
ответов
мой кластер emr завершается с ошибкой после того, как статус устанавливается на запуск
Привет, когда я создаю кластер EMR. В статусе написано, что он создается, но через 58 минут выдает ошибку:. Сообщение об ошибке (скриншот ошибки прилагается) Я пробовал несколько раз, но все попытки не увенчались успехом. Я следил за документацией A…
15 янв '22 в 04:20
0
ответов
установка пакетов в AWS EMR
Я пытаюсь установить Google Tink в AWS EMR 5.28.0, но безуспешно. Похоже, образ AWS EMR довольно странный по своей природе. Есть идеи? sc.install_pypi_package("tink") ошибка: не удалось найти исполняемый файл bazel. Пожалуйста, установите bazel для …
13 авг '21 в 16:59
0
ответов
Самый быстрый способ импортировать файлы в Spark?
Я экспериментирую с Spark 3.0.1 и очень впечатлен производительностью Spark SQL при обработке ГБ данных. Я пытаюсь понять, как лучше всего импортировать несколько файлов JSON в фрейм данных Spark перед выполнением аналитических запросов. Прямо сейча…
31 дек '20 в 15:29