Dataproc 配额

此页面列出了 Dataproc API 配额限制, 这些规则在项目和区域级别强制执行配额每重置一次 60 秒(1 分钟)。

下表列出了每个项目具体的默认 Dataproc API 配额类型、配额限制,以及限制所适用的方法。

配额类型 限制 适用的 API 方法
AutoscalingOperationRequestsPerMinutePerProjectPerRegion 400 CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CreateCluster、DeleteCluster、UpdateCluster、StopCluster、StartCluster、DiagnoseCluster、RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion 600 CreateNodeGroup、DeleteNodeGroup、ResizeNodeGroup、RepairNodeGroup、UpdateLabelsNodeGroup、StartNodeGroup、StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion 7500 GetJob
JobOperationRequestsPerMinutePerProjectPerRegion 400 SubmitJob、UpdateJob、CancelJob、DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion 400 CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion 7500 所有其他操作(主要是 Get 操作)

下表列出了项目和区域级别对活跃操作总数和作业总数的额外限制。

配额类型 限制 说明
ActiveOperationsPerProjectPerRegion 5000 单个区域数据库中单个项目中所有类型的并发活跃操作总数限制
ActiveJobsPerProjectPerRegion 5000 单个区域级数据库中单个项目中处于 NON_TERMINAL 状态的活跃作业总数限制

其他 Google Cloud 配额

Dataproc 集群会用到其他 Google Cloud 产品。这些产品具有项目级层配额,其中包括适用于 Dataproc 用量的配额。使用 Dataproc 时必需用到一些服务,例如 Compute EngineCloud Storage。此外,可以选择将其他服务(例如 BigQueryBigtable)与 Dataproc 结合使用。

必需服务

以下服务实施配额限制,当您创建 Dataproc 集群时,系统将自动使用这些服务(强制要求)。

Compute Engine

Dataproc 集群会用到 Compute Engine 虚拟机。 Compute Engine 配额分为地区限制和全局限制。这些限制适用于您创建的集群。例如,若要创建具有一个 n1-standard-4 主节点和两个 n1-standard-4 工作器节点的集群,您要使用12 个虚拟 CPU (4 * 3)。此集群的用量将计入地区配额限制(24 个虚拟 CPU)。

默认集群

使用默认设置创建 Dataproc 集群时,需使用以下 Compute Engine 资源。

资源项 使用的资源数量
虚拟 CPU 12
虚拟机实例 3
Persistent Disk 1500 GB

Cloud Logging

Dataproc 会将驱动程序输出和集群日志保存在 Cloud Logging 中。Cloud Logging 配额适用于您的 Dataproc 集群。

可选服务

以下服务具有配额限制,您可以选择将这些服务与 Dataproc 集群结合使用。

BigQuery

对 BigQuery 执行数据读写操作时,适用 BigQuery 配额

Bigtable

对 Bigtable 执行数据读写操作时,适用 Bigtable 配额