En esta p�gina, se enumeran los l�mites de cuota de la API de Dataproc que se aplican a nivel de proyecto y regi�n. Las cuotas se restablecen cada sesenta segundos (un minuto).
En la siguiente tabla, se muestran los tipos de cuotas específicos y predeterminados por proyecto para las API de Dataproc, los límites de cuotas y los métodos a los que se aplican.
Tipo de cuota | Límite | Métodos de la API a los que se aplica |
---|---|---|
AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy y DeleteAutoscalingPolicy |
ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster y RepairCluster |
NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
GetJobRequestsPerMinutePerProjectPerRegion | 7,500 | GetJob |
JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob y DeleteJob |
WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate y DeleteWorkflowTemplate |
DefaultRequestsPerMinutePerProjectPerRegion | 7,500 | Todas las demás operaciones (principalmente operaciones Get) |
En la siguiente tabla, se enumeran los límites adicionales para el total de operaciones y trabajos activos a nivel del proyecto y de la región.
Tipo de cuota | Límite | Descripción |
---|---|---|
ActiveOperationsPerProjectPerRegion | 5000 | Límite en la cantidad total de operaciones activas simultáneas de todos los tipos en un único proyecto en una única base de datos regional |
ActiveJobsPerProjectPerRegion | 5000 | Limitar la cantidad total de trabajos activos en el estado NON_TERMINAL para un solo proyecto en una base de datos regional �nica |
Otras cuotas de Google�Cloud
Los cl�steres de Dataproc usan otros productos de Google�Cloud. Estos productos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Dataproc. Algunos servicios son obligatorios para usar Dataproc, como Compute�Engine y Cloud�Storage. Otros servicios, como BigQuery y Bigtable, se pueden usar de forma opcional con Dataproc.
Servicios obligatorios
Los siguientes servicios, que tienen l�mites de cuota, se usan autom�ticamente y son necesarios para crear los cl�steres de Dataproc.
Compute�Engine
Los cl�steres de Dataproc usan m�quinas virtuales de Compute�Engine.
Las cuotas de Compute�Engine est�n divididas en l�mites regionales y globales. Estos l�mites se aplican a los cl�steres que creas. Por ejemplo, para crear un cl�ster con un nodo principal n1-standard-4
y dos nodos trabajadores n1-standard-4
, usar�s 12�CPU virtuales (4 * 3
). El uso de este cl�ster se descuenta del l�mite de cuota regional de 24�CPU virtuales.
Cl�steres predeterminados
Cuando creas un cl�ster de Dataproc con la configuraci�n predeterminada, se usan los siguientes recursos de Compute�Engine.
Elemento | Recursos utilizados |
---|---|
CPU�virtuales | 12 |
Instancias de m�quinas virtuales�(VM) | 3 |
Disco persistente | 1,500�GB |
Cloud�Logging
Dataproc guarda el resultado del controlador y los registros del cl�ster en Cloud�Logging. La cuota de Cloud�Logging se aplica a tus cl�steres de Dataproc.
Servicios opcionales
Los siguientes servicios, que tienen l�mites de cuota, se pueden usar de forma opcional con los cl�steres de Dataproc.
BigQuery
Cuando se realizan operaciones de lectura o escritura de datos en BigQuery, se aplica la cuota de BigQuery.
Bigtable
Cuando se realizan operaciones de lectura o escritura de datos en Bigtable, se aplica la cuota de Bigtable.