Cuando envías un trabajo con el comando gcloud dataproc jobs submit, el resultado del controlador del trabajo se muestra en la consola.
When you submit a job with the gcloud dataproc jobs submit command, the job's driver output is displayed on the console.
Aquí hay un comando gcloud dataproc clusters create de ejemplo, que configura las propiedades del clúster con la marca - properties spark:spark.executor.memory=10g.
Here is a sample gcloud dataproc clusters create command, which sets cluster properties with the - properties spark:spark.executor.memory=10g flag.
Ejecuta los siguientes comandos para obtener el nombre del depósito en tu proyecto que se usó para almacenar los archivos de datos temporarios (este depósito comienza con los caracteres "dataproc-").
Run the following commands to obtain the name of the bucket in your project that was used to store the temporary data files (this bucket starts with the characters "dataproc-").
Puedes "reunificar" el resultado del controlador más adelante, en una computadora diferente o en una nueva ventana si pasas el ID de tu trabajo al comando gcloud dataproc jobs wait.
You can "rejoin" driver output at a later time, on a different computer, or in a new window by passing your job's ID to the gcloud dataproc jobs wait command.
Puedes usar la marca - properties del comando de creación de clústeres de gcloud dataproc en el SDK de Cloud para modificar varios archivos de configuración comunes cuando creas un clúster.
You can use the - properties flag of the gcloud dataproc clusters create command in the Cloud SDK to modify many common configuration files when creating a cluster. How the properties flag works
Brinda acceso de solo lectura a los recursos de Dataproc.
Cloud Dataproc se crea en segundos.
Cloud Dataproc is built by the second.
Cloud Dataproc no puede garantizar asistencia para problemas que surgen con clústeres creados con imágenes personalizadas vencidas.
Cloud Dataproc cannot guarantee support of issues that arise with clusters created with expired custom images.
No tendrás que preocuparte de que los flujos de procesamiento superen la capacidad de los clústeres, ya que Dataproc permite crear y redimensionar clústeres de manera rápida y en cualquier momento.
Never worry about your data pipelines outgrowing clusters as Dataproc lets you create and resize clusters quickly at any time.
Los clústeres de Cloud Dataproc también pueden utilizar, entre otros, los siguientes recursos (cada uno de los cuales cuenta con sus propios precios)
Cloud Dataproc clusters can optionally utilize the following resources, each billed at its own pricing, including but not limited to
Los clústeres de Cloud Dataproc se pueden aprovisionar con una imagen personalizada que incluya paquetes ya instalados de un usuario.
Cloud Dataproc clusters can be provisioned with a custom image that includes a user's pre-installed packages.
Los clústeres de Cloud Dataproc consumen los siguientes recursos (cada uno de los cuales cuenta con sus propios precios)
Cloud Dataproc clusters consume the following resources, each billed at its own pricing
La prueba de humo crea un clúster de prueba de Cloud Dataproc con la imagen recién creada, ejecuta un trabajo pequeño y, luego, borra el clúster al final de la prueba.
The smoke test creates a Cloud Dataproc test cluster with the newly built image, runs a small job, and then deletes the cluster at the end of the test.
