From e0146bfda3602f3c495a396775add2b26a19656c Mon Sep 17 00:00:00 2001 From: wizardforcel <562826179@qq.com> Date: Sat, 23 Mar 2019 20:40:55 +0800 Subject: [PATCH] 2019-03-23 20:40:55 --- zh/28.md | 1116 +++++++++++++++++++++++++++--------------------------- 1 file changed, 558 insertions(+), 558 deletions(-) diff --git a/zh/28.md b/zh/28.md index d8a3a7e..78f4781 100644 --- a/zh/28.md +++ b/zh/28.md @@ -97,10 +97,10 @@ class airflow.contrib.sensors.wasb_sensor.WasbBlobSensor(container_name, blob_na 参数: -* **container_name** ( str ) - 容器的名称。 -* **blob_name** ( str ) - blob的名称。 -* **wasb_conn_id** ( str ) - 对wasb连接的引用。 -* **check_options** ( dict ) - `WasbHook.check_for_blob()`采用的可选关键字参数。 +* `container_name( str )` - 容器的名称。 +* `blob_name( str )` - blob的名称。 +* `wasb_conn_id( str )` - 对wasb连接的引用。 +* `check_options( dict )` - `WasbHook.check_for_blob()`采用的可选关键字参数。 ```py @@ -121,10 +121,10 @@ class airflow.contrib.sensors.wasb_sensor.WasbPrefixSensor(container_name, prefi 参数: -* **container_name** ( str ) - 容器的名称。 -* **prefix** ( str ) - blob的前缀。 -* **wasb_conn_id** ( str ) - 对wasb连接的引用。 -* **check_options** ( dict ) - `WasbHook.check_for_prefix()`采用的可选关键字参数。 +* `container_name( str )` - 容器的名称。 +* `prefix( str )` - blob的前缀。 +* `wasb_conn_id( str )` - 对wasb连接的引用。 +* `check_options( dict )` - `WasbHook.check_for_prefix()`采用的可选关键字参数。 ```py @@ -145,11 +145,11 @@ class airflow.contrib.operators.file_to_wasb.FileToWasbOperator(file_path, conta 参数: -* **file_path** ( str ) - 要加载的文件的路径。 (模板) -* **container_name** ( str ) - 容器的名称。 (模板) -* **blob_name** ( str ) - blob的名称。 (模板) -* **wasb_conn_id** ( str ) - 对wasb连接的引用。 -* **load_options** ( dict ) - `WasbHook.load_file()`采用的可选关键字参数。 +* `file_path( str )` - 要加载的文件的路径。 (模板) +* `container_name( str )` - 容器的名称。 (模板) +* `blob_name( str )` - blob的名称。 (模板) +* `wasb_conn_id( str )` - 对wasb连接的引用。 +* `load_options( dict )` - `WasbHook.load_file()`采用的可选关键字参数。 ```py @@ -170,7 +170,7 @@ class airflow.contrib.hooks.wasb_hook.WasbHook(wasb_conn_id='wasb_default') 在连接的“额外”字段中传递的其他选项将传递给`BlockBlockService()`构造函数。 例如,通过添加{“sas_token”:“YOUR_TOKEN”}使用SAS令牌进行身份验证。 -参数:**wasb_conn_id** ( str ) - 对wasb连接的引用。 +参数:`wasb_conn_id( str )` - 对wasb连接的引用。 ```py @@ -181,9 +181,9 @@ check_for_blob(container_name, blob_name, **kwargs) 参数: -* **container_name** ( str ) - 容器的名称。 -* **blob_name** ( str ) - blob的名称。 -* **kwargs** ( object ) - `BlockBlobService.exists()`采用的可选关键字参数。 +* `container_name( str )` - 容器的名称。 +* `blob_name( str )` - blob的名称。 +* `kwargs( object )` - `BlockBlobService.exists()`采用的可选关键字参数。 返回:如果blob存在则为True,否则为False。 @@ -197,9 +197,9 @@ check_for_prefix(container_name, prefix, **kwargs) 参数: -* **container_name** ( str ) - 容器的名称。 -* **prefix** ( str ) - blob的前缀。 -* **kwargs** ( object ) - `BlockBlobService.list_blobs()`采用的可选关键字参数。 +* `container_name( str )` - 容器的名称。 +* `prefix( str )` - blob的前缀。 +* `kwargs( object )` - `BlockBlobService.list_blobs()`采用的可选关键字参数。 返回:如果存在与前缀匹配的blob,则为True,否则为False。 @@ -219,10 +219,10 @@ get_file(file_path, container_name, blob_name, **kwargs) 参数: -* **file_path** ( str ) - 要下载的文件的路径。 -* **container_name** ( str ) - 容器的名称。 -* **blob_name** ( str ) - blob的名称。 -* **kwargs** ( object ) - `BlockBlobService.create_blob_from_path()`采用的可选关键字参数。 +* `file_path( str )` - 要下载的文件的路径。 +* `container_name( str )` - 容器的名称。 +* `blob_name( str )` - blob的名称。 +* `kwargs( object )` - `BlockBlobService.create_blob_from_path()`采用的可选关键字参数。 ```py @@ -233,10 +233,10 @@ load_file(file_path, container_name, blob_name, **kwargs) 参数: -* **file_path** ( str ) - 要加载的文件的路径。 -* **container_name** ( str ) - 容器的名称。 -* **blob_name** ( str ) - blob的名称。 -* **kwargs** ( object ) - `BlockBlobService.create_blob_from_path()`采用的可选关键字参数。 +* `file_path( str )` - 要加载的文件的路径。 +* `container_name( str )` - 容器的名称。 +* `blob_name( str )` - blob的名称。 +* `kwargs( object )` - `BlockBlobService.create_blob_from_path()`采用的可选关键字参数。 ```py @@ -247,10 +247,10 @@ load_string(string_data, container_name, blob_name, **kwargs) 参数: -* **string_data** ( str ) - 要加载的字符串。 -* **container_name** ( str ) - 容器的名称。 -* **blob_name** ( str ) - blob的名称。 -* **kwargs** ( object ) - `BlockBlobService.create_blob_from_text()`采用的可选关键字参数。 +* `string_data( str )` - 要加载的字符串。 +* `container_name( str )` - 容器的名称。 +* `blob_name( str )` - blob的名称。 +* `kwargs( object )` - `BlockBlobService.create_blob_from_text()`采用的可选关键字参数。 ```py @@ -261,9 +261,9 @@ read_file(container_name, blob_name, **kwargs) 参数: -* **container_name** ( str ) - 容器的名称。 -* **blob_name** ( str ) - blob的名称。 -* **kwargs** ( object ) - `BlockBlobService.create_blob_from_path()`采用的可选关键字参数。 +* `container_name( str )` - 容器的名称。 +* `blob_name( str )` - blob的名称。 +* `kwargs( object )` - `BlockBlobService.create_blob_from_path()`采用的可选关键字参数。 ### Azure文件共享 @@ -282,7 +282,7 @@ class airflow.contrib.hooks.azure_fileshare_hook.AzureFileShareHook(wasb_conn_id 在连接的“额外”字段中传递的其他选项将传递给`FileService()`构造函数。 -参数:**wasb_conn_id** ( str ) - 对wasb连接的引用。 +参数:`wasb_conn_id( str )` - 对wasb连接的引用。 ```py @@ -293,9 +293,9 @@ check_for_directory(share_name, directory_name, **kwargs) 参数: -* **share_name** ( str ) - 共享的名称。 -* **directory_name** ( str ) - 目录的名称。 -* **kwargs** ( object ) - `FileService.exists()`采用的可选关键字参数。 +* `share_name( str )` - 共享的名称。 +* `directory_name( str )` - 目录的名称。 +* `kwargs( object )` - `FileService.exists()`采用的可选关键字参数。 返回:如果文件存在则为True,否则为False。 @@ -309,10 +309,10 @@ check_for_file(share_name, directory_name, file_name, **kwargs) 参数: -* **share_name** ( str ) - 共享的名称。 -* **directory_name** ( str ) - 目录的名称。 -* **file_name** ( str ) - 文件名。 -* **kwargs** ( object ) - `FileService.exists()`采用的可选关键字参数。 +* `share_name( str )` - 共享的名称。 +* `directory_name( str )` - 目录的名称。 +* `file_name( str )` - 文件名。 +* `kwargs( object )` - `FileService.exists()`采用的可选关键字参数。 返回:如果文件存在则为True,否则为False。 @@ -326,9 +326,9 @@ create_directory(share_name, directory_name, **kwargs) 参数: -* **share_name** ( str ) - 共享的名称。 -* **directory_name** ( str ) - 目录的名称。 -* **kwargs** ( object ) - `FileService.create_directory()`采用的可选关键字参数。 +* `share_name( str )` - 共享的名称。 +* `directory_name( str )` - 目录的名称。 +* `kwargs( object )` - `FileService.create_directory()`采用的可选关键字参数。 返回:文件和目录列表 @@ -348,11 +348,11 @@ get_file(file_path, share_name, directory_name, file_name, **kwargs) 参数: -* **file_path** ( str ) - 存储文件的位置。 -* **share_name** ( str ) - 共享的名称。 -* **directory_name** ( str ) - 目录的名称。 -* **file_name** ( str ) - 文件名。 -* **kwargs** ( object ) - `FileService.get_file_to_path()`采用的可选关键字参数。 +* `file_path( str )` - 存储文件的位置。 +* `share_name( str )` - 共享的名称。 +* `directory_name( str )` - 目录的名称。 +* `file_name( str )` - 文件名。 +* `kwargs( object )` - `FileService.get_file_to_path()`采用的可选关键字参数。 ```py @@ -363,11 +363,11 @@ get_file_to_stream(stream, share_name, directory_name, file_name, **kwargs) 参数: -* **stream** (类文件对象 ) - 用于存储文件的文件句柄。 -* **share_name** ( str ) - 共享的名称。 -* **directory_name** ( str ) - 目录的名称。 -* **file_name** ( str ) - 文件名。 -* **kwargs** ( object ) - `FileService.get_file_to_stream()`采用的可选关键字参数。 +* `stream(类文件对象 )` - 用于存储文件的文件句柄。 +* `share_name( str )` - 共享的名称。 +* `directory_name( str )` - 目录的名称。 +* `file_name( str )` - 文件名。 +* `kwargs( object )` - `FileService.get_file_to_stream()`采用的可选关键字参数。 ```py @@ -378,9 +378,9 @@ list_directories_and_files(share_name, directory_name=None, **kwargs) 参数: -* **share_name** ( str ) - 共享的名称。 -* **directory_name** ( str ) - 目录的名称。 -* **kwargs** ( object ) - `FileService.list_directories_and_files()`采用的可选关键字参数。 +* `share_name( str )` - 共享的名称。 +* `directory_name( str )` - 目录的名称。 +* `kwargs( object )` - `FileService.list_directories_and_files()`采用的可选关键字参数。 返回:文件和目录列表 @@ -394,11 +394,11 @@ load_file(file_path, share_name, directory_name, file_name, **kwargs) 参数: -* **file_path** ( str ) - 要加载的文件的路径。 -* **share_name** ( str ) - 共享的名称。 -* **directory_name** ( str ) - 目录的名称。 -* **file_name** ( str ) - 文件名。 -* **kwargs** ( object ) - `FileService.create_file_from_path()`采用的可选关键字参数。 +* `file_path( str )` - 要加载的文件的路径。 +* `share_name( str )` - 共享的名称。 +* `directory_name( str )` - 目录的名称。 +* `file_name( str )` - 文件名。 +* `kwargs( object )` - `FileService.create_file_from_path()`采用的可选关键字参数。 ```py @@ -409,12 +409,12 @@ load_stream(stream, share_name, directory_name, file_name, count, **kwargs) 参数: -* **stream** (类文件 ) - 打开的文件/流作为文件内容上传。 -* **share_name** ( str ) - 共享的名称。 -* **directory_name** ( str ) - 目录的名称。 -* **file_name** ( str ) - 文件名。 -* **count** ( int ) - 流的大小(以字节为单位) -* **kwargs** ( object ) - `FileService.create_file_from_stream()`采用的可选关键字参数。 +* `stream(类文件 )` - 打开的文件/流作为文件内容上传。 +* `share_name( str )` - 共享的名称。 +* `directory_name( str )` - 目录的名称。 +* `file_name( str )` - 文件名。 +* `count( int )` - 流的大小(以字节为单位) +* `kwargs( object )` - `FileService.create_file_from_stream()`采用的可选关键字参数。 ```py @@ -425,11 +425,11 @@ load_string(string_data, share_name, directory_name, file_name, **kwargs) 参数: -* **string_data** ( str ) - 要加载的字符串。 -* **share_name** ( str ) - 共享的名称。 -* **directory_name** ( str ) - 目录的名称。 -* **file_name** ( str ) - 文件名。 -* **kwargs** ( object ) - `FileService.create_file_from_text()`采用的可选关键字参数。 +* `string_data( str )` - 要加载的字符串。 +* `share_name( str )` - 共享的名称。 +* `directory_name( str )` - 目录的名称。 +* `file_name( str )` - 文件名。 +* `kwargs( object )` - `FileService.create_file_from_text()`采用的可选关键字参数。 ### 记录 @@ -456,7 +456,7 @@ class airflow.contrib.hooks.azure_data_lake_hook.AzureDataLakeHook(azure_data_la 客户端ID和客户端密钥应该在用户和密码参数中。 租户和帐户名称应为{“租户”:“<TENANT>”,“account_name”:“ACCOUNT_NAME”}的额外字段。 -参数:**azure_data_lake_conn_id** ( str ) - 对Azure Data Lake连接的引用。 +参数:`azure_data_lake_conn_id( str )` - 对Azure Data Lake连接的引用。 ```py @@ -465,7 +465,7 @@ check_for_file(file_path) 检查Azure Data Lake上是否存在文件。 -参数:**file_path** ( str ) - 文件的路径和名称。 +参数:`file_path( str )` - 文件的路径和名称。 返回:如果文件存在则为True,否则为False。 @@ -479,12 +479,12 @@ download_file(local_path, remote_path, nthreads=64, overwrite=True, buffersize=4 参数: -* **local_path** ( str ) - 本地路径。 如果下载单个文件,将写入此特定文件,除非它是现有目录,在这种情况下,将在其中创建文件。 如果下载多个文件,这是要写入的根目录。 将根据需要创建目录。 -* **remote_path** ( str ) - 用于查找远程文件的远程路径/ globstring。 不支持使用`**的`递归glob模式。 -* **nthreads** ( int ) - 要使用的线程数。 如果为None,则使用核心数。 -* **overwrite** ( bool ) - 是否强制覆盖现有文件/目录。 如果False和远程路径是目录,则无论是否覆盖任何文件都将退出。 如果为True,则实际仅覆盖匹配的文件名。 -* **buffersize** ( int ) - int [2 ** 22]内部缓冲区的字节数。 此块不能大于块,并且不能小于块。 -* **blocksize** ( int ) - int [2 ** 22]块的字节数。 在每个块中,我们为每个API调用编写一个较小的块。 这个块不能大于块。 +* `local_path( str )` - 本地路径。 如果下载单个文件,将写入此特定文件,除非它是现有目录,在这种情况下,将在其中创建文件。 如果下载多个文件,这是要写入的根目录。 将根据需要创建目录。 +* `remote_path( str )` - 用于查找远程文件的远程路径/ globstring。 不支持使用`**的`递归glob模式。 +* `nthreads( int )` - 要使用的线程数。 如果为None,则使用核心数。 +* `overwrite( bool )` - 是否强制覆盖现有文件/目录。 如果False和远程路径是目录,则无论是否覆盖任何文件都将退出。 如果为True,则实际仅覆盖匹配的文件名。 +* `buffersize( int )` - int [2 ** 22]内部缓冲区的字节数。 此块不能大于块,并且不能小于块。 +* `blocksize( int )` - int [2 ** 22]块的字节数。 在每个块中,我们为每个API调用编写一个较小的块。 这个块不能大于块。 ```py @@ -501,12 +501,12 @@ upload_file(local_path, remote_path, nthreads=64, overwrite=True, buffersize=419 参数: -* **local_path** ( str ) - 本地路径。 可以是单个文件,目录(在这种情况下,递归上传)或glob模式。 不支持使用`**的`递归glob模式。 -* **remote_path** ( str ) - 要上传的远程路径; 如果有多个文件,这就是要写入的dircetory根目录。 -* **nthreads** ( int ) - 要使用的线程数。 如果为None,则使用核心数。 -* **overwrite** ( bool ) - 是否强制覆盖现有文件/目录。 如果False和远程路径是目录,则无论是否覆盖任何文件都将退出。 如果为True,则实际仅覆盖匹配的文件名。 -* **buffersize** ( int ) - int [2 ** 22]内部缓冲区的字节数。 此块不能大于块,并且不能小于块。 -* **blocksize** ( int ) - int [2 ** 22]块的字节数。 在每个块中,我们为每个API调用编写一个较小的块。 这个块不能大于块。 +* `local_path( str )` - 本地路径。 可以是单个文件,目录(在这种情况下,递归上传)或glob模式。 不支持使用`**的`递归glob模式。 +* `remote_path( str )` - 要上传的远程路径; 如果有多个文件,这就是要写入的dircetory根目录。 +* `nthreads( int )` - 要使用的线程数。 如果为None,则使用核心数。 +* `overwrite( bool )` - 是否强制覆盖现有文件/目录。 如果False和远程路径是目录,则无论是否覆盖任何文件都将退出。 如果为True,则实际仅覆盖匹配的文件名。 +* `buffersize( int )` - int [2 ** 22]内部缓冲区的字节数。 此块不能大于块,并且不能小于块。 +* `blocksize( int )` - int [2 ** 22]块的字节数。 在每个块中,我们为每个API调用编写一个较小的块。 这个块不能大于块。 ## AWS:亚马逊网络服务 @@ -533,8 +533,8 @@ class airflow.contrib.operators.emr_add_steps_operator.EmrAddStepsOperator(job_f 参数: * **job_flow_id** - 要添加步骤的JobFlow的ID。 (模板) -* **aws_conn_id** ( str ) - 与使用的aws连接 -* **步骤** ( list ) - 要添加到作业流的boto3样式步骤。 (模板) +* `aws_conn_id( str )` - 与使用的aws连接 +* `步骤( list )` - 要添加到作业流的boto3样式步骤。 (模板) #### EmrCreateJobFlowOperator @@ -549,8 +549,8 @@ class airflow.contrib.operators.emr_create_job_flow_operator.EmrCreateJobFlowOpe 参数: -* **aws_conn_id** ( str ) - 与使用的aws连接 -* **emr_conn_id** ( str ) - 要使用的emr连接 +* `aws_conn_id( str )` - 与使用的aws连接 +* `emr_conn_id( str )` - 要使用的emr连接 * **job_flow_overrides** - 用于覆盖emr_connection extra的boto3样式参数。 (模板) @@ -567,7 +567,7 @@ class airflow.contrib.operators.emr_terminate_job_flow_operator.EmrTerminateJobF 参数: * **job_flow_id** - 要终止的JobFlow的id。 (模板) -* **aws_conn_id** ( str ) - 与使用的aws连接 +* `aws_conn_id( str )` - 与使用的aws连接 #### EmrHook @@ -610,7 +610,7 @@ check_for_bucket(bucket_name) 检查bucket_name是否存在。 -参数:**bucket_name** ( str ) - 存储桶的名称 +参数:`bucket_name( str )` - 存储桶的名称 ```py @@ -621,8 +621,8 @@ check_for_key(key, bucket_name=None) 参数: -* **key** ( str ) - 指向文件的S3键 -* **bucket_name** ( str ) - 存储文件的存储桶的名称 +* `key( str )` - 指向文件的S3键 +* `bucket_name( str )` - 存储文件的存储桶的名称 ```py @@ -643,7 +643,7 @@ get_bucket(bucket_name) 返回boto3.S3.Bucket对象 -参数:**bucket_name** ( str ) - 存储桶的名称 +参数:`bucket_name( str )` - 存储桶的名称 ```py @@ -654,8 +654,8 @@ get_key(key, bucket_name=None) 参数: -* **key** ( str ) - 密钥的路径 -* **bucket_name** ( str ) - 存储桶的名称 +* `key( str )` - 密钥的路径 +* `bucket_name( str )` - 存储桶的名称 ```py @@ -666,8 +666,8 @@ get_wildcard_key(wildcard_key, bucket_name=None, delimiter='') 参数: -* **wildcard_key** ( str ) - 密钥的路径 -* **bucket_name** ( str ) - 存储桶的名称 +* `wildcard_key( str )` - 密钥的路径 +* `bucket_name( str )` - 存储桶的名称 ```py @@ -678,11 +678,11 @@ list_keys(bucket_name, prefix='', delimiter='', page_size=None, max_items=None) 参数: -* **bucket_name** ( str ) - 存储桶的名称 -* **prefix** ( str ) - 一个密钥前缀 -* **delimiter** ( str ) - 分隔符标记键层次结构。 -* **page_size** ( int ) - 分页大小 -* **max_items** ( int ) - 要返回的最大项目数 +* `bucket_name( str )` - 存储桶的名称 +* `prefix( str )` - 一个密钥前缀 +* `delimiter( str )` - 分隔符标记键层次结构。 +* `page_size( int )` - 分页大小 +* `max_items( int )` - 要返回的最大项目数 ```py @@ -693,11 +693,11 @@ list_prefixes(bucket_name, prefix='', delimiter='', page_size=None, max_items=No 参数: -* **bucket_name** ( str ) - 存储桶的名称 -* **prefix** ( str ) - 一个密钥前缀 -* **delimiter** ( str ) - 分隔符标记键层次结构。 -* **page_size** ( int ) - 分页大小 -* **max_items** ( int ) - 要返回的最大项目数 +* `bucket_name( str )` - 存储桶的名称 +* `prefix( str )` - 一个密钥前缀 +* `delimiter( str )` - 分隔符标记键层次结构。 +* `page_size( int )` - 分页大小 +* `max_items( int )` - 要返回的最大项目数 ```py @@ -710,11 +710,11 @@ load_bytes(bytes_data, key, bucket_name=None, replace=False, encrypt=False) 参数: -* **bytes_data** ( bytes ) - 设置为密钥内容的字节。 -* **key** ( str ) - 指向文件的S3键 -* **bucket_name** ( str ) - 存储文件的存储桶的名称 -* **replace** ( bool ) - 一个标志,用于决定是否覆盖密钥(如果已存在) -* **encrypt** ( bool ) - 如果为True,则文件将在服务器端由S3加密,并在S3中静止时以加密形式存储。 +* `bytes_data( bytes )` - 设置为密钥内容的字节。 +* `key( str )` - 指向文件的S3键 +* `bucket_name( str )` - 存储文件的存储桶的名称 +* `replace( bool )` - 一个标志,用于决定是否覆盖密钥(如果已存在) +* `encrypt( bool )` - 如果为True,则文件将在服务器端由S3加密,并在S3中静止时以加密形式存储。 ```py @@ -725,11 +725,11 @@ load_file(filename, key, bucket_name=None, replace=False, encrypt=False) 参数: -* **filename** ( str ) - 要加载的文件的名称。 -* **key** ( str ) - 指向文件的S3键 -* **bucket_name** ( str ) - 存储文件的存储桶的名称 -* **replace** ( bool ) - 一个标志,用于决定是否覆盖密钥(如果已存在)。 如果replace为False且密钥存在,则会引发错误。 -* **encrypt** ( bool ) - 如果为True,则文件将在服务器端由S3加密,并在S3中静止时以加密形式存储。 +* `filename( str )` - 要加载的文件的名称。 +* `key( str )` - 指向文件的S3键 +* `bucket_name( str )` - 存储文件的存储桶的名称 +* `replace( bool )` - 一个标志,用于决定是否覆盖密钥(如果已存在)。 如果replace为False且密钥存在,则会引发错误。 +* `encrypt( bool )` - 如果为True,则文件将在服务器端由S3加密,并在S3中静止时以加密形式存储。 ```py @@ -742,11 +742,11 @@ load_string(string_data, key, bucket_name=None, replace=False, encrypt=False, en 参数: -* **string_data** ( str ) - 要设置为键的内容的字符串。 -* **key** ( str ) - 指向文件的S3键 -* **bucket_name** ( str ) - 存储文件的存储桶的名称 -* **replace** ( bool ) - 一个标志,用于决定是否覆盖密钥(如果已存在) -* **encrypt** ( bool ) - 如果为True,则文件将在服务器端由S3加密,并在S3中静止时以加密形式存储。 +* `string_data( str )` - 要设置为键的内容的字符串。 +* `key( str )` - 指向文件的S3键 +* `bucket_name( str )` - 存储文件的存储桶的名称 +* `replace( bool )` - 一个标志,用于决定是否覆盖密钥(如果已存在) +* `encrypt( bool )` - 如果为True,则文件将在服务器端由S3加密,并在S3中静止时以加密形式存储。 ```py @@ -757,8 +757,8 @@ read_key(key, bucket_name=None) 参数: -* **key** ( str ) - 指向文件的S3键 -* **bucket_name** ( str ) - 存储文件的存储桶的名称 +* `key( str )` - 指向文件的S3键 +* `bucket_name( str )` - 存储文件的存储桶的名称 ```py @@ -769,12 +769,12 @@ select_key(key, bucket_name=None, expression='SELECT * FROM S3Object', expressio 参数: -* **key** ( str ) - 指向文件的S3键 -* **bucket_name** ( str ) - 存储文件的存储桶的名称 -* **expression** ( str ) - S3选择表达式 -* **expression_type** ( str ) - S3选择表达式类型 -* **input_serialization** ( dict ) - S3选择输入数据序列化格式 -* **output_serialization** ( dict ) - S3选择输出数据序列化格式 +* `key( str )` - 指向文件的S3键 +* `bucket_name( str )` - 存储文件的存储桶的名称 +* `expression( str )` - S3选择表达式 +* `expression_type( str )` - S3选择表达式类型 +* `input_serialization( dict )` - S3选择输入数据序列化格式 +* `output_serialization( dict )` - S3选择输出数据序列化格式 返回:通过S3 Select检索原始数据的子集 @@ -800,13 +800,13 @@ S3 Select也可用于过滤源内容。 如果指定了S3 Select表达式,则 参数: -* **source_s3_key** ( str ) - 从S3检索的密钥。 (模板) -* **source_aws_conn_id** ( str ) - 源s3连接 -* **dest_s3_key** ( str ) - 从S3写入的密钥。 (模板) -* **dest_aws_conn_id** ( str ) - 目标s3连接 -* **replace** ( bool ) - 替换dest S3密钥(如果已存在) -* **transform_script** ( str ) - 可执行转换脚本的位置 -* **select_expression** ( str ) - S3选择表达式 +* `source_s3_key( str )` - 从S3检索的密钥。 (模板) +* `source_aws_conn_id( str )` - 源s3连接 +* `dest_s3_key( str )` - 从S3写入的密钥。 (模板) +* `dest_aws_conn_id( str )` - 目标s3连接 +* `replace( bool )` - 替换dest S3密钥(如果已存在) +* `transform_script( str )` - 可执行转换脚本的位置 +* `select_expression( str )` - S3选择表达式 #### S3ListOperator @@ -823,10 +823,10 @@ class airflow.contrib.operators.s3listoperator.S3ListOperator(bucket, prefix='', 参数: -* **bucket** ( str ) - S3存储桶在哪里找到对象。 (模板) -* **prefix** ( str ) - 用于过滤名称以此前缀开头的对象的前缀字符串。 (模板) -* **delimiter** ( str ) - 分隔符标记键层次结构。 (模板) -* **aws_conn_id** ( str ) - 连接到S3存储时使用的连接ID。 +* `bucket( str )` - S3存储桶在哪里找到对象。 (模板) +* `prefix( str )` - 用于过滤名称以此前缀开头的对象的前缀字符串。 (模板) +* `delimiter( str )` - 分隔符标记键层次结构。 (模板) +* `aws_conn_id( str )` - 连接到S3存储时使用的连接ID。 ```py @@ -858,14 +858,14 @@ class airflow.contrib.operators.s3_to_gcs_operator.S3ToGoogleCloudStorageOperato 参数: -* **bucket** ( str ) - S3存储桶在哪里找到对象。 (模板) -* **prefix** ( str ) - 前缀字符串,用于过滤名称以此前缀开头的对象。 (模板) -* **delimiter** ( str ) - 分隔符标记键层次结构。 (模板) -* **aws_conn_id** ( str ) - 源S3连接 -* **dest_gcs_conn_id** ( str ) - 连接到Google云端存储时要使用的目标连接ID。 -* **dest_gcs** ( str ) - 要存储文件的目标Google云端存储**分区**和前缀。 (模板) -* **delegate_to** ( str ) - 模拟的帐户(如果有)。 为此,发出请求的服务帐户必须启用域范围委派。 -* **replace** ( bool ) - 是否要替换现有目标文件。 +* `bucket( str )` - S3存储桶在哪里找到对象。 (模板) +* `prefix( str )` - 前缀字符串,用于过滤名称以此前缀开头的对象。 (模板) +* `delimiter( str )` - 分隔符标记键层次结构。 (模板) +* `aws_conn_id( str )` - 源S3连接 +* `dest_gcs_conn_id( str )` - 连接到Google云端存储时要使用的目标连接ID。 +* `dest_gcs( str )` - 要存储文件的目标Google云端存储**分区**和前缀。 (模板) +* `delegate_to( str )` - 模拟的帐户(如果有)。 为此,发出请求的服务帐户必须启用域范围委派。 +* `replace( bool )` - 是否要替换现有目标文件。 **示例** :.. code-block :: python @@ -892,21 +892,21 @@ class airflow.operators.s3_to_hive_operator.S3ToHiveTransfer(s3_key, field_dict, 参数: -* **s3_key** ( str ) - 从S3检索的密钥。 (模板) -* **field_dict** ( dict ) - 字段的字典在文件中命名为键,其Hive类型为值 -* **hive_table** ( str ) - 目标Hive表,使用点表示法来定位特定数据库。 (模板) -* **create** ( bool ) - 是否创建表,如果它不存在 -* **recreate** ( bool ) - 是否在每次执行时删除并重新创建表 -* **partition** ( dict ) - 将目标分区作为分区列和值的字典。 (模板) -* **headers** ( bool ) - 文件是否包含第一行的列名 -* **check_headers** ( bool ) - 是否应该根据field_dict的键检查第一行的列名 -* **wildcard_match** ( bool ) - 是否应将s3_key解释为Unix通配符模式 -* **delimiter** ( str ) - 文件中的字段分隔符 -* **aws_conn_id** ( str ) - 源s3连接 -* **hive_cli_conn_id** ( str ) - 目标配置单元连接 -* **input_compressed** ( bool ) - 布尔值,用于确定是否需要文件解压缩来处理标头 -* **tblproperties** ( dict ) - 正在创建的hive表的TBLPROPERTIES -* **select_expression** ( str ) - S3选择表达式 +* `s3_key( str )` - 从S3检索的密钥。 (模板) +* `field_dict( dict )` - 字段的字典在文件中命名为键,其Hive类型为值 +* `hive_table( str )` - 目标Hive表,使用点表示法来定位特定数据库。 (模板) +* `create( bool )` - 是否创建表,如果它不存在 +* `recreate( bool )` - 是否在每次执行时删除并重新创建表 +* `partition( dict )` - 将目标分区作为分区列和值的字典。 (模板) +* `headers( bool )` - 文件是否包含第一行的列名 +* `check_headers( bool )` - 是否应该根据field_dict的键检查第一行的列名 +* `wildcard_match( bool )` - 是否应将s3_key解释为Unix通配符模式 +* `delimiter( str )` - 文件中的字段分隔符 +* `aws_conn_id( str )` - 源s3连接 +* `hive_cli_conn_id( str )` - 目标配置单元连接 +* `input_compressed( bool )` - 布尔值,用于确定是否需要文件解压缩来处理标头 +* `tblproperties( dict )` - 正在创建的hive表的TBLPROPERTIES +* `select_expression( str )` - S3选择表达式 ### AWS EC2容器服务 @@ -925,9 +925,9 @@ class airflow.contrib.operators.ecs_operator.ECSOperator(task_definition, cluste 参数: -* **task_definition** ( str ) - EC2容器服务上的任务定义名称 -* **cluster** ( str ) - EC2 Container Service上的群集名称 -* **aws_conn_id** ( str ) - AWS凭证/区域名称的连接ID。 如果为None,将使用凭证boto3策略( [http://boto3.readthedocs.io/en/latest/guide/configuration.html](http://boto3.readthedocs.io/en/latest/guide/configuration.html) )。 +* `task_definition( str )` - EC2容器服务上的任务定义名称 +* `cluster( str )` - EC2 Container Service上的群集名称 +* `aws_conn_id( str )` - AWS凭证/区域名称的连接ID。 如果为None,将使用凭证boto3策略( [http://boto3.readthedocs.io/en/latest/guide/configuration.html](http://boto3.readthedocs.io/en/latest/guide/configuration.html) )。 * **region_name** - 要在AWS Hook中使用的区域名称。 覆盖连接中的region_name(如果提供) * **launch_type** - 运行任务的启动类型('EC2'或'FARGATE') @@ -953,11 +953,11 @@ class airflow.contrib.operators.awsbatch_operator.AWSBatchOperator(job_name, job 参数: -* **job_name** ( str ) - 将在AWS Batch上运行的作业的名称 -* **job_definition** ( str ) - AWS Batch上的作业定义名称 -* **job_queue** ( str ) - AWS Batch上的队列名称 -* **max_retries** ( int ) - 服务器未合并时的指数退避重试,4200 = 48小时 -* **aws_conn_id** ( str ) - AWS凭证/区域名称的连接ID。 如果为None,将使用凭证boto3策略( [http://boto3.readthedocs.io/en/latest/guide/configuration.html](http://boto3.readthedocs.io/en/latest/guide/configuration.html) )。 +* `job_name( str )` - 将在AWS Batch上运行的作业的名称 +* `job_definition( str )` - AWS Batch上的作业定义名称 +* `job_queue( str )` - AWS Batch上的队列名称 +* `max_retries( int )` - 服务器未合并时的指数退避重试,4200 = 48小时 +* `aws_conn_id( str )` - AWS凭证/区域名称的连接ID。 如果为None,将使用凭证boto3策略( [http://boto3.readthedocs.io/en/latest/guide/configuration.html](http://boto3.readthedocs.io/en/latest/guide/configuration.html) )。 * **region_name** - 要在AWS Hook中使用的区域名称。 覆盖连接中的region_name(如果提供) 参数:覆盖:boto3将在containerOverrides上接收的相同参数(模板化): [http](http://boto3.readthedocs.io/en/latest/reference/services/batch.html) ://boto3.readthedocs.io/en/latest/reference/services/batch.html#submit_job @@ -983,8 +983,8 @@ class airflow.contrib.sensors.aws_redshift_cluster_sensor.AwsRedshiftClusterSens 参数: -* **cluster_identifier** ( str ) - 要ping的集群的标识符。 -* **target_status** ( str ) - 所需的集群状态。 +* `cluster_identifier( str )` - 要ping的集群的标识符。 +* `target_status( str )` - 所需的集群状态。 ```py @@ -1009,7 +1009,7 @@ cluster_status(cluster_identifier) 返回群集的状态 -参数:**cluster_identifier** ( str ) - 集群的唯一标识符 +参数:`cluster_identifier( str )` - 集群的唯一标识符 ```py @@ -1020,8 +1020,8 @@ create_cluster_snapshot(snapshot_identifier, cluster_identifier) 参数: -* **snapshot_identifier** ( str ) - 群集快照的唯一标识符 -* **cluster_identifier** ( str ) - 集群的唯一标识符 +* `snapshot_identifier( str )` - 群集快照的唯一标识符 +* `cluster_identifier( str )` - 集群的唯一标识符 ```py @@ -1032,9 +1032,9 @@ delete_cluster(cluster_identifier, skip_final_cluster_snapshot=True, final_clust 参数: -* **cluster_identifier** ( str ) - 集群的唯一标识符 -* **skip_final_cluster_snapshot** ( bool ) - 确定群集快照创建 -* **final_cluster_snapshot_identifier** ( str ) - 最终集群快照的名称 +* `cluster_identifier( str )` - 集群的唯一标识符 +* `skip_final_cluster_snapshot( bool )` - 确定群集快照创建 +* `final_cluster_snapshot_identifier( str )` - 最终集群快照的名称 ```py @@ -1043,7 +1043,7 @@ describe_cluster_snapshots(cluster_identifier) 获取群集的快照列表 -参数:**cluster_identifier** ( str ) - 集群的唯一标识符 +参数:`cluster_identifier( str )` - 集群的唯一标识符 ```py @@ -1054,8 +1054,8 @@ restore_from_cluster_snapshot(cluster_identifier, snapshot_identifier) 参数: -* **cluster_identifier** ( str ) - 集群的唯一标识符 -* **snapshot_identifier**(str) - 群集快照的唯一标识符 +* `cluster_identifier( str )` - 集群的唯一标识符 +* `snapshot_identifier(str)` - 群集快照的唯一标识符 #### RedshiftToS3Transfer @@ -1070,13 +1070,13 @@ class airflow.operators.redshift_to_s3_operator.RedshiftToS3Transfer(schema, 参数: -* **schema**(str) - 对redshift数据库中特定模式的引用 -* **table**(str) - 对redshift数据库中特定表的引用 -* **s3_bucket**(str) - 对特定S3存储桶的引用 -* **s3_key**(str) - 对特定S3密钥的引用 -* **redshift_conn_id**(str) - 对特定redshift数据库的引用 -* **aws_conn_id**(str) - 对特定S3连接的引用 -* **unload_options**(list) - 对UNLOAD选项列表的引用 +* `schema(str)` - 对redshift数据库中特定模式的引用 +* `table(str)` - 对redshift数据库中特定表的引用 +* `s3_bucket(str)` - 对特定S3存储桶的引用 +* `s3_key(str)` - 对特定S3密钥的引用 +* `redshift_conn_id(str)` - 对特定redshift数据库的引用 +* `aws_conn_id(str)` - 对特定S3连接的引用 +* `unload_options(list)` - 对UNLOAD选项列表的引用 #### S3ToRedshiftTransfer @@ -1091,13 +1091,13 @@ class airflow.operators.s3_to_redshift_operator.S3ToRedshiftTransfer(schema, 参数: -* **schema**(str) - 对redshift数据库中特定模式的引用 -* **table**(str) - 对redshift数据库中特定表的引用 -* **s3_bucket**(str) - 对特定S3存储桶的引用 -* **s3_key**(str) - 对特定S3密钥的引用 -* **redshift_conn_id**(str) - 对特定redshift数据库的引用 -* **aws_conn_id**(str) - 对特定S3连接的引用 -* **copy_options**(list) - 对COPY选项列表的引用 +* `schema(str)` - 对redshift数据库中特定模式的引用 +* `table(str)` - 对redshift数据库中特定表的引用 +* `s3_bucket(str)` - 对特定S3存储桶的引用 +* `s3_key(str)` - 对特定S3密钥的引用 +* `redshift_conn_id(str)` - 对特定redshift数据库的引用 +* `aws_conn_id(str)` - 对特定S3连接的引用 +* `copy_options(list)` - 对COPY选项列表的引用 ## Databricks @@ -1165,7 +1165,7 @@ notebook_run = DatabricksSubmitRunOperator ( 参数: -* **json**(dict) - +* `json(dict)` - 包含API参数的JSON对象,将直接传递给`api/2.0/jobs/runs/submit`端点。其他命名参数(即`spark_jar_task`,`notebook_task`..)到该运营商将与此JSON字典合并如果提供他们。如果在合并期间存在冲突,则命名参数将优先并覆盖顶级json键。(模板) @@ -1173,7 +1173,7 @@ notebook_run = DatabricksSubmitRunOperator ( 有关模板的更多信息,请参阅[Jinja模板](concepts.html)。[https://docs.databricks.com/api/latest/jobs.html#runs-submit](https://docs.databricks.com/api/latest/jobs.html) -* **spark_jar_task**(dict) - +* `spark_jar_task(dict)` - JAR任务的主要类和参数。请注意,实际的JAR在`libraries`。中指定。_无论是_ `spark_jar_task` _或_ `notebook_task`应符合规定。该字段将被模板化。 @@ -1181,7 +1181,7 @@ notebook_run = DatabricksSubmitRunOperator ( [https://docs.databricks.com/api/latest/jobs.html#jobssparkjartask](https://docs.databricks.com/api/latest/jobs.html) -* **notebook_task**(dict) - +* `notebook_task(dict)` - 笔记本任务的笔记本路径和参数。_无论是_ `spark_jar_task` _或_ `notebook_task`应符合规定。该字段将被模板化。 @@ -1189,7 +1189,7 @@ notebook_run = DatabricksSubmitRunOperator ( [https://docs.databricks.com/api/latest/jobs.html#jobsnotebooktask](https://docs.databricks.com/api/latest/jobs.html) -* **new_cluster**(dict) - +* `new_cluster(dict)` - 将在其上运行此任务的新群集的规范。_无论是_ `new_cluster` _或_ `existing_cluster_id`应符合规定。该字段将被模板化。 @@ -1197,8 +1197,8 @@ notebook_run = DatabricksSubmitRunOperator ( [https://docs.databricks.com/api/latest/jobs.html#jobsclusterspecnewcluster](https://docs.databricks.com/api/latest/jobs.html) -* **existing_cluster_id**(str) - 要运行此任务的现有集群的ID。_无论是_ `new_cluster` _或_ `existing_cluster_id`应符合规定。该字段将被模板化。 -* **图书馆**(list[dict]) - +* `existing_cluster_id(str)` - 要运行此任务的现有集群的ID。_无论是_ `new_cluster` _或_ `existing_cluster_id`应符合规定。该字段将被模板化。 +* `图书馆(list[dict])` - 这个运行的库将使用。该字段将被模板化。 @@ -1206,12 +1206,12 @@ notebook_run = DatabricksSubmitRunOperator ( [https://docs.databricks.com/api/latest/libraries.html#managedlibrarieslibrary](https://docs.databricks.com/api/latest/libraries.html) -* **run_name**(str) - 用于此任务的运行名称。默认情况下,这将设置为Airflow `task_id`。这`task_id`是超类的必需参数`BaseOperator`。该字段将被模板化。 -* **timeout_seconds**(int32) - 此次运行的超时。默认情况下,使用值0表示没有超时。该字段将被模板化。 -* **databricks_conn_id**(str) - 要使用的Airflow连接的名称。默认情况下,在常见情况下,这将是`databricks_default`。要使用基于令牌的身份验证,请`token`在连接的额外字段中提供密钥。 -* **polling_period_seconds**(int) - 控制我们轮询此运行结果的速率。默认情况下,操作员每30秒轮询一次。 -* **databricks_retry_limit**(int) - 如果Databricks后端无法访问,则重试的次数。其值必须大于或等于1。 -* **do_xcom_push**(bool) - 我们是否应该将run_id和run_page_url推送到xcom。 +* `run_name(str)` - 用于此任务的运行名称。默认情况下,这将设置为Airflow `task_id`。这`task_id`是超类的必需参数`BaseOperator`。该字段将被模板化。 +* `timeout_seconds(int32)` - 此次运行的超时。默认情况下,使用值0表示没有超时。该字段将被模板化。 +* `databricks_conn_id(str)` - 要使用的Airflow连接的名称。默认情况下,在常见情况下,这将是`databricks_default`。要使用基于令牌的身份验证,请`token`在连接的额外字段中提供密钥。 +* `polling_period_seconds(int)` - 控制我们轮询此运行结果的速率。默认情况下,操作员每30秒轮询一次。 +* `databricks_retry_limit(int)` - 如果Databricks后端无法访问,则重试的次数。其值必须大于或等于1。 +* `do_xcom_push(bool)` - 我们是否应该将run_id和run_page_url推送到xcom。 ## GCP:Google云端平台 @@ -1262,8 +1262,8 @@ class airflow.contrib.operators.bigquery_check_operator.BigQueryCheckOperator( 参数: -* **sql**(str) - 要执行的sql -* **bigquery_conn_id**(str) - 对BigQuery数据库的引用 +* `sql(str)` - 要执行的sql +* `bigquery_conn_id(str)` - 对BigQuery数据库的引用 ##### BigQueryValueCheckOperator @@ -1276,7 +1276,7 @@ class airflow.contrib.operators.bigquery_check_operator.BigQueryValueCheckOperat 使用sql代码执行简单的值检查。 -参数:**sql**(str) - 要执行的sql +参数:`sql(str)` - 要执行的sql ##### BigQueryIntervalCheckOperator @@ -1299,9 +1299,9 @@ class airflow.contrib.operators.bigquery_check_operator.BigQueryIntervalCheckOpe 参数: -* **table**(str) - 表名 -* **days_back**(int) - ds与我们要检查的ds之间的天数。默认为7天 -* **metrics_threshold**(dict) - 由指标索引的比率字典,例如'COUNT(*)':1.5将需要当前日和之前的days_back之间50%或更小的差异。 +* `table(str)` - 表名 +* `days_back(int)` - ds与我们要检查的ds之间的天数。默认为7天 +* `metrics_threshold(dict)` - 由指标索引的比率字典,例如'COUNT(*)':1.5将需要当前日和之前的days_back之间50%或更小的差异。 ##### BigQueryGetDataOperator @@ -1337,11 +1337,11 @@ class airflow.contrib.operators.bigquery_get_data.BigQueryGetDataOperator(data 参数: * **dataset_id** - 请求的表的数据集ID。(模板) -* **table_id**(str) - 请求表的表ID。(模板) -* **max_results**(str) - 从表中获取的最大记录数(行数)。(模板) -* **selected_fields**(str) - 要返回的字段列表(逗号分隔)。如果未指定,则返回所有字段。 -* **bigquery_conn_id**(str) - 对特定BigQuery钩子的引用。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `table_id(str)` - 请求表的表ID。(模板) +* `max_results(str)` - 从表中获取的最大记录数(行数)。(模板) +* `selected_fields(str)` - 要返回的字段列表(逗号分隔)。如果未指定,则返回所有字段。 +* `bigquery_conn_id(str)` - 对特定BigQuery钩子的引用。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ##### BigQueryCreateEmptyTableOperator @@ -1358,10 +1358,10 @@ class airflow.contrib.operators.bigquery_operator.BigQueryCreateEmptyTableOperat 参数: -* **project_id**(str) - 将表创建的项目。(模板) -* **dataset_id**(str) - 用于创建表的数据集。(模板) -* **table_id**(str) - 要创建的表的名称。(模板) -* **schema_fields**(list) - +* `project_id(str)` - 将表创建的项目。(模板) +* `dataset_id(str)` - 用于创建表的数据集。(模板) +* `table_id(str)` - 要创建的表的名称。(模板) +* `schema_fields(list)` - 如果设置,则此处定义的架构字段列表:[https](https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs):[//cloud.google.com/bigquery/docs/reference/rest/v2/jobs#configuration.load.schema](https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs) @@ -1373,8 +1373,8 @@ class airflow.contrib.operators.bigquery_operator.BigQueryCreateEmptyTableOperat ``` -* **gcs_schema_object**(str) - 包含模式(模板化)的JSON文件的完整路径。例如:`gs://test-bucket/dir1/dir2/employee_schema.json` -* **time_partitioning**(dict) - +* `gcs_schema_object(str)` - 包含模式(模板化)的JSON文件的完整路径。例如:`gs://test-bucket/dir1/dir2/employee_schema.json` +* `time_partitioning(dict)` - 配置可选的时间分区字段,即按API规范按字段,类型和到期分区。 @@ -1382,9 +1382,9 @@ class airflow.contrib.operators.bigquery_operator.BigQueryCreateEmptyTableOperat [https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#timePartitioning](https://cloud.google.com/bigquery/docs/reference/rest/v2/tables) -* **bigquery_conn_id**(str) - 对特定BigQuery挂钩的引用。 -* **google_cloud_storage_conn_id**(str) - 对特定Google云存储挂钩的引用。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `bigquery_conn_id(str)` - 对特定BigQuery挂钩的引用。 +* `google_cloud_storage_conn_id(str)` - 对特定Google云存储挂钩的引用。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 **示例(在GCS中使用模式JSON)**: @@ -1450,10 +1450,10 @@ class airflow.contrib.operators.bigquery_operator.BigQueryCreateExternalTableOpe 参数: -* **bucket**(str) - 指向外部表的存储桶。(模板) +* `bucket(str)` - 指向外部表的存储桶。(模板) * **source_objects** - 指向表格的Google云存储URI列表。(模板化)如果source_format是'DATASTORE_BACKUP',则列表必须只包含一个URI。 -* **destination_project_dataset_table**(str) - 用于将数据加载到(模板化)的虚线(<project>。)<dataset>。<table> BigQuery表。如果未包含<project>,则项目将是连接json中定义的项目。 -* **schema_fields**(list) - +* `destination_project_dataset_table(str)` - 用于将数据加载到(模板化)的虚线(<project>。)<dataset>。<table> BigQuery表。如果未包含<project>,则项目将是连接json中定义的项目。 +* `schema_fields(list)` - 如果设置,则此处定义的架构字段列表:[https](https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs):[//cloud.google.com/bigquery/docs/reference/rest/v2/jobs#configuration.load.schema](https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs) @@ -1469,18 +1469,18 @@ class airflow.contrib.operators.bigquery_operator.BigQueryCreateExternalTableOpe * **schema_object** - 如果设置,则指向包含表的架构的.json文件的GCS对象路径。(模板) * **schema_object** - 字符串 -* **source_format**(str) - 数据的文件格式。 -* **compression**(str) - [可选]数据源的压缩类型。可能的值包括GZIP和NONE。默认值为NONE。Google Cloud Bigtable,Google Cloud Datastore备份和Avro格式会忽略此设置。 -* **skip_leading_rows**(int) - 从CSV加载时要跳过的行数。 -* **field_delimiter**(str) - 用于CSV的分隔符。 -* **max_bad_records**(int) - BigQuery在运行作业时可以忽略的最大错误记录数。 -* **quote_character**(str) - 用于引用CSV文件中数据部分的值。 -* **allow_quoted_newlines**(bool) - 是否允许引用的换行符(true)或不允许(false)。 -* **allow_jagged_rows**(bool) - 接受缺少尾随可选列的行。缺失值被视为空值。如果为false,则缺少尾随列的记录将被视为错误记录,如果错误记录太多,则会在作业结果中返回无效错误。仅适用于CSV,忽略其他格式。 -* **bigquery_conn_id**(str) - 对特定BigQuery挂钩的引用。 -* **google_cloud_storage_conn_id**(str) - 对特定Google云存储挂钩的引用。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **src_fmt_configs**(dict) - 配置特定于源格式的可选字段 +* `source_format(str)` - 数据的文件格式。 +* `compression(str)` - [可选]数据源的压缩类型。可能的值包括GZIP和NONE。默认值为NONE。Google Cloud Bigtable,Google Cloud Datastore备份和Avro格式会忽略此设置。 +* `skip_leading_rows(int)` - 从CSV加载时要跳过的行数。 +* `field_delimiter(str)` - 用于CSV的分隔符。 +* `max_bad_records(int)` - BigQuery在运行作业时可以忽略的最大错误记录数。 +* `quote_character(str)` - 用于引用CSV文件中数据部分的值。 +* `allow_quoted_newlines(bool)` - 是否允许引用的换行符(true)或不允许(false)。 +* `allow_jagged_rows(bool)` - 接受缺少尾随可选列的行。缺失值被视为空值。如果为false,则缺少尾随列的记录将被视为错误记录,如果错误记录太多,则会在作业结果中返回无效错误。仅适用于CSV,忽略其他格式。 +* `bigquery_conn_id(str)` - 对特定BigQuery挂钩的引用。 +* `google_cloud_storage_conn_id(str)` - 对特定Google云存储挂钩的引用。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `src_fmt_configs(dict)` - 配置特定于源格式的可选字段 ##### BigQueryDeleteDatasetOperator @@ -1497,23 +1497,23 @@ class airflow.contrib.operators.bigquery_operator.BigQueryOperator(bql = None 参数: -* **BQL**(可接收表示SQL语句中的海峡,海峡列表(SQL语句),或参照模板文件模板引用在“.SQL”结束海峡认可。) - (不推荐使用。`SQL`参数代替)要执行的sql代码(模板化) -* **SQL**(可接收表示SQL语句中的海峡,海峡列表(SQL语句),或参照模板文件模板引用在“.SQL”结束海峡认可。) - SQL代码被执行(模板) -* **destination_dataset_table**(str) - 一个虚线(<project>。| <project>:)<dataset>。<table>,如果设置,将存储查询结果。(模板) -* **write_disposition**(str) - 指定目标表已存在时发生的操作。(默认:'WRITE_EMPTY') -* **create_disposition**(str) - 指定是否允许作业创建新表。(默认值:'CREATE_IF_NEEDED') -* **allow_large_results**(bool) - 是否允许大结果。 -* **flatten_results**(bool) - 如果为true且查询使用旧版SQL方言,则展平查询结果中的所有嵌套和重复字段。`allow_large_results`必须是`true`如果设置为`false`。对于标准SQL查询,将忽略此标志,并且结果永远不会展平。 -* **bigquery_conn_id**(str) - 对特定BigQuery钩子的引用。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **udf_config**(list) - 查询的用户定义函数配置。有关详细信息,请参阅[https://cloud.google.com/bigquery/user-defined-functions](https://cloud.google.com/bigquery/user-defined-functions)。 -* **use_legacy_sql**(bool) - 是使用旧SQL(true)还是标准SQL(false)。 -* **maximum_billing_tier**(_整数_) - 用作基本价格乘数的正整数。默认为None,在这种情况下,它使用项目中设置的值。 -* **maximumbytesbilled**(_float_) - 限制为此作业计费的字节数。超出此限制的字节数的查询将失败(不会产生费用)。如果未指定,则将其设置为项目默认值。 -* **schema_update_options**(_tuple_) - 允许更新目标表的模式作为加载作业的副作用。 -* **query_params**(dict) - 包含查询参数类型和值的字典,传递给BigQuery。 -* **priority**(str) - 指定查询的优先级。可能的值包括INTERACTIVE和BATCH。默认值为INTERACTIVE。 -* **time_partitioning**(dict) - 配置可选的时间分区字段,即按API规范按字段,类型和到期分区。请注意,'field'不能与dataset.table $ partition一起使用。 +* `BQL(可接收表示SQL语句中的海峡,海峡列表(SQL语句),或参照模板文件模板引用在“.SQL”结束海峡认可。)` - (不推荐使用。`SQL`参数代替)要执行的sql代码(模板化) +* `SQL(可接收表示SQL语句中的海峡,海峡列表(SQL语句),或参照模板文件模板引用在“.SQL”结束海峡认可。)` - SQL代码被执行(模板) +* `destination_dataset_table(str)` - 一个虚线(<project>。| <project>:)<dataset>。<table>,如果设置,将存储查询结果。(模板) +* `write_disposition(str)` - 指定目标表已存在时发生的操作。(默认:'WRITE_EMPTY') +* `create_disposition(str)` - 指定是否允许作业创建新表。(默认值:'CREATE_IF_NEEDED') +* `allow_large_results(bool)` - 是否允许大结果。 +* `flatten_results(bool)` - 如果为true且查询使用旧版SQL方言,则展平查询结果中的所有嵌套和重复字段。`allow_large_results`必须是`true`如果设置为`false`。对于标准SQL查询,将忽略此标志,并且结果永远不会展平。 +* `bigquery_conn_id(str)` - 对特定BigQuery钩子的引用。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `udf_config(list)` - 查询的用户定义函数配置。有关详细信息,请参阅[https://cloud.google.com/bigquery/user-defined-functions](https://cloud.google.com/bigquery/user-defined-functions)。 +* `use_legacy_sql(bool)` - 是使用旧SQL(true)还是标准SQL(false)。 +* `maximum_billing_tier(int)` - 用作基本价格乘数的正整数。默认为None,在这种情况下,它使用项目中设置的值。 +* `maximumbytesbilled(float)` - 限制为此作业计费的字节数。超出此限制的字节数的查询将失败(不会产生费用)。如果未指定,则将其设置为项目默认值。 +* `schema_update_options(tuple)` - 允许更新目标表的模式作为加载作业的副作用。 +* `query_params(dict)` - 包含查询参数类型和值的字典,传递给BigQuery。 +* `priority(str)` - 指定查询的优先级。可能的值包括INTERACTIVE和BATCH。默认值为INTERACTIVE。 +* `time_partitioning(dict)` - 配置可选的时间分区字段,即按API规范按字段,类型和到期分区。请注意,'field'不能与dataset.table $ partition一起使用。 ##### BigQueryTableDeleteOperator @@ -1528,10 +1528,10 @@ class airflow.contrib.operators.bigquery_table_delete_operator.BigQueryTableDele 参数: -* **deletion_dataset_table**(str) - 一个虚线(<project>。| <project>:)<dataset>。<table>,指示将删除哪个表。(模板) -* **bigquery_conn_id**(str) - 对特定BigQuery钩子的引用。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **ignore_if_missing**(bool) - 如果为True,则即使请求的表不存在也返回成功。 +* `deletion_dataset_table(str)` - 一个虚线(<project>。| <project>:)<dataset>。<table>,指示将删除哪个表。(模板) +* `bigquery_conn_id(str)` - 对特定BigQuery钩子的引用。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `ignore_if_missing(bool)` - 如果为True,则即使请求的表不存在也返回成功。 ##### BigQueryToBigQueryOperator @@ -1550,12 +1550,12 @@ class airflow.contrib.operators.bigquery_to_bigquery.BigQueryToBigQueryOperator 参数: -* **source_project_dataset_tables**(_list | string_) - 一个或多个点(项目:[|](28)项目。)<dataset>。<table>用作源数据的BigQuery表。如果未包含<project>,则项目将是连接json中定义的项目。如果有多个源表,请使用列表。(模板) -* **destination_project_dataset_table**(str) - 目标BigQuery表。格式为:(project:[|](28) project。)<dataset>。<table>(模板化) -* **write_disposition**(str) - 表已存在时的写处置。 -* **create_disposition**(str) - 如果表不存在,则创建处置。 -* **bigquery_conn_id**(str) - 对特定BigQuery钩子的引用。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `source_project_dataset_tables(list[str])` - 一个或多个点(项目:[|](28)项目。)<dataset>。<table>用作源数据的BigQuery表。如果未包含<project>,则项目将是连接json中定义的项目。如果有多个源表,请使用列表。(模板) +* `destination_project_dataset_table(str)` - 目标BigQuery表。格式为:(project:[|](28) project。)<dataset>。<table>(模板化) +* `write_disposition(str)` - 表已存在时的写处置。 +* `create_disposition(str)` - 如果表不存在,则创建处置。 +* `bigquery_conn_id(str)` - 对特定BigQuery钩子的引用。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ##### BigQueryToCloudStorageOperator @@ -1574,14 +1574,14 @@ class airflow.contrib.operators.bigquery_to_gcs.BigQueryToCloudStorageOperator 参数: -* **source_project_dataset_table**(str) - 用作源数据的虚线(<project>。| <project>:)<dataset>。<table> BigQuery表。如果未包含<project>,则项目将是连接json中定义的项目。(模板) -* **destination_cloud_storage_uris**(list) - 目标Google云端存储URI(例如gs://some-bucket/some-file.txt)。(模板化)遵循此处定义的惯例:https://cloud.google.com/bigquery/exporting-data-from-bigquery#exportingmultiple -* **compression**(str) - 要使用的压缩类型。 +* `source_project_dataset_table(str)` - 用作源数据的虚线(<project>。| <project>:)<dataset>。<table> BigQuery表。如果未包含<project>,则项目将是连接json中定义的项目。(模板) +* `destination_cloud_storage_uris(list)` - 目标Google云端存储URI(例如gs://some-bucket/some-file.txt)。(模板化)遵循此处定义的惯例:https://cloud.google.com/bigquery/exporting-data-from-bigquery#exportingmultiple +* `compression(str)` - 要使用的压缩类型。 * **export_format** - 要导出的文件格式。 -* **field_delimiter**(str) - 提取到CSV时使用的分隔符。 -* **print_header**(bool) - 是否打印CSV文件提取的标头。 -* **bigquery_conn_id**(str) - 对特定BigQuery钩子的引用。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `field_delimiter(str)` - 提取到CSV时使用的分隔符。 +* `print_header(bool)` - 是否打印CSV文件提取的标头。 +* `bigquery_conn_id(str)` - 对特定BigQuery钩子的引用。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 #### BigQueryHook @@ -1610,9 +1610,9 @@ get_pandas_df(sql,parameters = None,dialect = None) 参数: -* **sql**(str) - 要执行的BigQuery SQL。 -* **参数**(_映射_ _或_ _可迭代_) - 用于呈现SQL查询的参数(未使用,请保留覆盖超类方法) -* **dialect**(_{'legacy' __,_ _'standard'}中的_str) - BigQuery SQL的方言 - 遗留SQL或标准SQL默认使用`self.use_legacy_sql(`如果未指定) +* `sql(str)` - 要执行的BigQuery SQL。 +* `参数(map 或 iterable)` - 用于呈现SQL查询的参数(未使用,请保留覆盖超类方法) +* `dialect({'legacy', 'standard'})` - BigQuery SQL的方言 - 遗留SQL或标准SQL默认使用`self.use_legacy_sql(`如果未指定) ```py @@ -1635,9 +1635,9 @@ table_exists(project_id,dataset_id,table_id) 参数: -* **project_id**(str) - 要在其中查找表的Google云项目。提供给钩子的连接必须提供对指定项目的访问。 -* **dataset_id**(str) - 要在其中查找表的数据集的名称。 -* **table_id**(str) - 要检查的表的名称。 +* `project_id(str)` - 要在其中查找表的Google云项目。提供给钩子的连接必须提供对指定项目的访问。 +* `dataset_id(str)` - 要在其中查找表的数据集的名称。 +* `table_id(str)` - 要检查的表的名称。 ### 云DataFlow @@ -1831,34 +1831,34 @@ class airflow.contrib.operators.dataproc_operator.DataprocClusterCreateOperator 参数: -* **cluster_name**(str) - 要创建的DataProc集群的名称。(模板) -* **project_id**(str) - 用于创建集群的Google云项目的ID。(模板) -* **num_workers**(int) - 旋转的工人数量 -* **storage_bucket**(str) - 要使用的存储桶,设置为None允许dataproc为您生成自定义存储桶 -* **init_actions_uris**(_list __[ __string __]_) - 包含数据空间初始化脚本的GCS uri列表 -* **init_action_timeout**(str) - init_actions_uris中可执行脚本必须完成的时间 -* **元数据**(_字典_) - 要添加到所有实例的键值google计算引擎元数据条目的字典 -* **image_version**(str) - Dataproc集群内的软件版本 -* **属性**(_字典_) -性能上的配置文件设置的字典(如火花defaults.conf),见[https://cloud.google.com/dataproc/docs/reference/rest/v1/](https://cloud.google.com/dataproc/docs/reference/rest/v1/) projects.regions.clusters#SoftwareConfig -* **master_machine_type**(str) - 计算要用于主节点的引擎机器类型 -* **master_disk_size**(int) - 主节点的磁盘大小 -* **worker_machine_type**(str) - 计算要用于工作节点的引擎计算机类型 -* **worker_disk_size**(int) - 工作节点的磁盘大小 -* **num_preemptible_workers**(int) - 要旋转的可抢占工作节点数 -* **labels**(dict) - 要添加到集群的标签的字典 -* **zone**(str) - 群集所在的区域。(模板) -* **network_uri**(str) - 用于机器通信的网络uri,不能用subnetwork_uri指定 -* **subnetwork_uri**(str) - 无法使用network_uri指定要用于机器通信的子网uri -* **internal_ip_only**(bool) - 如果为true,则群集中的所有实例将只具有内部IP地址。这只能为启用子网的网络启用 -* **tags**(_list __[ __string __]_) - 要添加到所有实例的GCE标记 +* `cluster_name(str)` - 要创建的DataProc集群的名称。(模板) +* `project_id(str)` - 用于创建集群的Google云项目的ID。(模板) +* `num_workers(int)` - 旋转的工人数量 +* `storage_bucket(str)` - 要使用的存储桶,设置为None允许dataproc为您生成自定义存储桶 +* `init_actions_uris(list[str])` - 包含数据空间初始化脚本的GCS uri列表 +* `init_action_timeout(str)` - init_actions_uris中可执行脚本必须完成的时间 +* `元数据(dict)` - 要添加到所有实例的键值google计算引擎元数据条目的字典 +* `image_version(str)` - Dataproc集群内的软件版本 +* `属性(dict)` -性能上的配置文件设置的字典(如火花defaults.conf),见[https://cloud.google.com/dataproc/docs/reference/rest/v1/](https://cloud.google.com/dataproc/docs/reference/rest/v1/) projects.regions.clusters#SoftwareConfig +* `master_machine_type(str)` - 计算要用于主节点的引擎机器类型 +* `master_disk_size(int)` - 主节点的磁盘大小 +* `worker_machine_type(str)` - 计算要用于工作节点的引擎计算机类型 +* `worker_disk_size(int)` - 工作节点的磁盘大小 +* `num_preemptible_workers(int)` - 要旋转的可抢占工作节点数 +* `labels(dict)` - 要添加到集群的标签的字典 +* `zone(str)` - 群集所在的区域。(模板) +* `network_uri(str)` - 用于机器通信的网络uri,不能用subnetwork_uri指定 +* `subnetwork_uri(str)` - 无法使用network_uri指定要用于机器通信的子网uri +* `internal_ip_only(bool)` - 如果为true,则群集中的所有实例将只具有内部IP地址。这只能为启用子网的网络启用 +* `tags(list[str])` - 要添加到所有实例的GCE标记 * **地区** - 作为'全球'留下,可能在未来变得相关。(模板) -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **service_account**(str) - dataproc实例的服务帐户。 -* **service_account_scopes**(_list __[ __string __]_) - 要包含的服务帐户范围的URI。 -* **idle_delete_ttl**(int) - 群集在保持空闲状态时保持活动状态的最长持续时间。通过此阈值将导致群集被自动删除。持续时间(秒)。 -* **auto_delete_time**(_datetime.datetime_) - 自动删除群集的时间。 -* **auto_delete_ttl**(int) - 群集的生命周期,群集将在此持续时间结束时自动删除。持续时间(秒)。(如果设置了auto_delete_time,则将忽略此参数) +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `service_account(str)` - dataproc实例的服务帐户。 +* `service_account_scopes(list[str])` - 要包含的服务帐户范围的URI。 +* `idle_delete_ttl(int)` - 群集在保持空闲状态时保持活动状态的最长持续时间。通过此阈值将导致群集被自动删除。持续时间(秒)。 +* `auto_delete_time(datetime.datetime)` - 自动删除群集的时间。 +* `auto_delete_ttl(int)` - 群集的生命周期,群集将在此持续时间结束时自动删除。持续时间(秒)。(如果设置了auto_delete_time,则将忽略此参数) ##### DataprocClusterScaleOperator @@ -1885,14 +1885,14 @@ task_id ='dataproc_scale',project_id ='my-project',cluster_name ='cluster-1' 参数: -* **cluster_name**(str) - 要扩展的集群的名称。(模板) -* **project_id**(str) - 群集运行的Google云项目的ID。(模板) -* **region**(str) - 数据通路簇的区域。(模板) -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **num_workers**(int) - 新的工人数量 -* **num_preemptible_workers**(int) - 新的可抢占工人数量 -* **graceful_decommission_timeout**(str) - 优雅的YARN decomissioning超时。最大值为1d -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `cluster_name(str)` - 要扩展的集群的名称。(模板) +* `project_id(str)` - 群集运行的Google云项目的ID。(模板) +* `region(str)` - 数据通路簇的区域。(模板) +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `num_workers(int)` - 新的工人数量 +* `num_preemptible_workers(int)` - 新的可抢占工人数量 +* `graceful_decommission_timeout(str)` - 优雅的YARN decomissioning超时。最大值为1d +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ##### DataprocClusterDeleteOperator @@ -1907,11 +1907,11 @@ class airflow.contrib.operators.dataproc_operator.DataprocClusterDeleteOperator 参数: -* **cluster_name**(str) - 要创建的集群的名称。(模板) -* **project_id**(str) - 群集运行的Google云项目的ID。(模板) -* **region**(str) - 保留为“全局”,将来可能会变得相关。(模板) -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `cluster_name(str)` - 要创建的集群的名称。(模板) +* `project_id(str)` - 群集运行的Google云项目的ID。(模板) +* `region(str)` - 保留为“全局”,将来可能会变得相关。(模板) +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ##### DataProcPigOperator @@ -1956,16 +1956,16 @@ class airflow.contrib.operators.dataproc_operator.DataProcPigOperator(query = 参数: -* **query**(str) - 对查询文件的查询或引用(pg或pig扩展)。(模板) -* **query_uri**(str) - 云存储上的猪脚本的uri。 -* **variables**(dict) - 查询的命名参数的映射。(模板) -* **job_name**(str) - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) -* **cluster_name**(str) - DataProc集群的名称。(模板) -* **dataproc_pig_properties**(dict) - Pig属性的映射。非常适合放入默认参数 -* **dataproc_pig_jars**(list) - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **region**(str) - 创建数据加载集群的指定区域。 +* `query(str)` - 对查询文件的查询或引用(pg或pig扩展)。(模板) +* `query_uri(str)` - 云存储上的猪脚本的uri。 +* `variables(dict)` - 查询的命名参数的映射。(模板) +* `job_name(str)` - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) +* `cluster_name(str)` - DataProc集群的名称。(模板) +* `dataproc_pig_properties(dict)` - Pig属性的映射。非常适合放入默认参数 +* `dataproc_pig_jars(list)` - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `region(str)` - 创建数据加载集群的指定区域。 ##### DataProcHiveOperator @@ -1980,16 +1980,16 @@ class airflow.contrib.operators.dataproc_operator.DataProcHiveOperator(query = 参数: -* **query**(str) - 查询或对查询文件的引用(q扩展名)。 -* **query_uri**(str) - 云存储上的hive脚本的uri。 -* **variables**(dict) - 查询的命名参数的映射。 -* **job_name**(str) - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。 -* **cluster_name**(str) - DataProc集群的名称。 -* **dataproc_hive_properties**(dict) - Pig属性的映射。非常适合放入默认参数 -* **dataproc_hive_jars**(list) - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **region**(str) - 创建数据加载集群的指定区域。 +* `query(str)` - 查询或对查询文件的引用(q扩展名)。 +* `query_uri(str)` - 云存储上的hive脚本的uri。 +* `variables(dict)` - 查询的命名参数的映射。 +* `job_name(str)` - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。 +* `cluster_name(str)` - DataProc集群的名称。 +* `dataproc_hive_properties(dict)` - Pig属性的映射。非常适合放入默认参数 +* `dataproc_hive_jars(list)` - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `region(str)` - 创建数据加载集群的指定区域。 ##### DataProcSparkSqlOperator @@ -2004,16 +2004,16 @@ class airflow.contrib.operators.dataproc_operator.DataProcSparkSqlOperator(que 参数: -* **query**(str) - 查询或对查询文件的引用(q扩展名)。(模板) -* **query_uri**(str) - 云存储上的一个spark sql脚本的uri。 -* **variables**(dict) - 查询的命名参数的映射。(模板) -* **job_name**(str) - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) -* **cluster_name**(str) - DataProc集群的名称。(模板) -* **dataproc_spark_properties**(dict) - Pig属性的映射。非常适合放入默认参数 -* **dataproc_spark_jars**(list) - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **region**(str) - 创建数据加载集群的指定区域。 +* `query(str)` - 查询或对查询文件的引用(q扩展名)。(模板) +* `query_uri(str)` - 云存储上的一个spark sql脚本的uri。 +* `variables(dict)` - 查询的命名参数的映射。(模板) +* `job_name(str)` - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) +* `cluster_name(str)` - DataProc集群的名称。(模板) +* `dataproc_spark_properties(dict)` - Pig属性的映射。非常适合放入默认参数 +* `dataproc_spark_jars(list)` - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `region(str)` - 创建数据加载集群的指定区域。 ##### DataProcSparkOperator @@ -2028,18 +2028,18 @@ class airflow.contrib.operators.dataproc_operator.DataProcSparkOperator(main_j 参数: -* **main_jar**(str) - 在云存储上配置的作业jar的URI。(使用this或main_class,而不是两者一起)。 -* **main_class**(str) - 作业类的名称。(使用this或main_jar,而不是两者一起)。 -* **arguments**(list) - 作业的参数。(模板) -* **archives**(list) - 将在工作目录中解压缩的已归档文件列表。应存储在云存储中。 -* **files**(list) - 要复制到工作目录的文件列表 -* **job_name**(str) - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) -* **cluster_name**(str) - DataProc集群的名称。(模板) -* **dataproc_spark_properties**(dict) - Pig属性的映射。非常适合放入默认参数 -* **dataproc_spark_jars**(list) - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **region**(str) - 创建数据加载集群的指定区域。 +* `main_jar(str)` - 在云存储上配置的作业jar的URI。(使用this或main_class,而不是两者一起)。 +* `main_class(str)` - 作业类的名称。(使用this或main_jar,而不是两者一起)。 +* `arguments(list)` - 作业的参数。(模板) +* `archives(list)` - 将在工作目录中解压缩的已归档文件列表。应存储在云存储中。 +* `files(list)` - 要复制到工作目录的文件列表 +* `job_name(str)` - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) +* `cluster_name(str)` - DataProc集群的名称。(模板) +* `dataproc_spark_properties(dict)` - Pig属性的映射。非常适合放入默认参数 +* `dataproc_spark_jars(list)` - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `region(str)` - 创建数据加载集群的指定区域。 ##### DataProcHadoopOperator @@ -2054,18 +2054,18 @@ class airflow.contrib.operators.dataproc_operator.DataProcHadoopOperator(main_ 参数: -* **main_jar**(str) - 在云存储上配置的作业jar的URI。(使用this或main_class,而不是两者一起)。 -* **main_class**(str) - 作业类的名称。(使用this或main_jar,而不是两者一起)。 -* **arguments**(list) - 作业的参数。(模板) -* **archives**(list) - 将在工作目录中解压缩的已归档文件列表。应存储在云存储中。 -* **files**(list) - 要复制到工作目录的文件列表 -* **job_name**(str) - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) -* **cluster_name**(str) - DataProc集群的名称。(模板) -* **dataproc_hadoop_properties**(dict) - Pig属性的映射。非常适合放入默认参数 -* **dataproc_hadoop_jars**(list) - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **region**(str) - 创建数据加载集群的指定区域。 +* `main_jar(str)` - 在云存储上配置的作业jar的URI。(使用this或main_class,而不是两者一起)。 +* `main_class(str)` - 作业类的名称。(使用this或main_jar,而不是两者一起)。 +* `arguments(list)` - 作业的参数。(模板) +* `archives(list)` - 将在工作目录中解压缩的已归档文件列表。应存储在云存储中。 +* `files(list)` - 要复制到工作目录的文件列表 +* `job_name(str)` - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) +* `cluster_name(str)` - DataProc集群的名称。(模板) +* `dataproc_hadoop_properties(dict)` - Pig属性的映射。非常适合放入默认参数 +* `dataproc_hadoop_jars(list)` - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `region(str)` - 创建数据加载集群的指定区域。 ##### DataProcPySparkOperator @@ -2080,18 +2080,18 @@ class airflow.contrib.operators.dataproc_operator.DataProcPySparkOperator(main 参数: -* **main**(str) - [必需]用作驱动程序的主Python文件的Hadoop兼容文件系统(HCFS)URI。必须是.py文件。 -* **arguments**(list) - 作业的参数。(模板) -* **archives**(list) - 将在工作目录中解压缩的已归档文件列表。应存储在云存储中。 -* **files**(list) - 要复制到工作目录的文件列表 -* **pyfiles**(list) - 要传递给PySpark框架的Python文件列表。支持的文件类型:.py,.egg和.zip -* **job_name**(str) - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) -* **cluster_name**(str) - DataProc集群的名称。 -* **dataproc_pyspark_properties**(dict) - Pig属性的映射。非常适合放入默认参数 -* **dataproc_pyspark_jars**(list) - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **region**(str) - 创建数据加载集群的指定区域。 +* `main(str)` - [必需]用作驱动程序的主Python文件的Hadoop兼容文件系统(HCFS)URI。必须是.py文件。 +* `arguments(list)` - 作业的参数。(模板) +* `archives(list)` - 将在工作目录中解压缩的已归档文件列表。应存储在云存储中。 +* `files(list)` - 要复制到工作目录的文件列表 +* `pyfiles(list)` - 要传递给PySpark框架的Python文件列表。支持的文件类型:.py,.egg和.zip +* `job_name(str)` - DataProc集群中使用的作业名称。默认情况下,此名称是附加执行数据的task_id,但可以进行模板化。该名称将始终附加一个随机数,以避免名称冲突。(模板) +* `cluster_name(str)` - DataProc集群的名称。 +* `dataproc_pyspark_properties(dict)` - Pig属性的映射。非常适合放入默认参数 +* `dataproc_pyspark_jars(list)` - 在云存储中配置的jars的URI(例如:用于UDF和lib),非常适合放入默认参数。 +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `region(str)` - 创建数据加载集群的指定区域。 ##### DataprocWorkflowTemplateInstantiateOperator @@ -2110,11 +2110,11 @@ class airflow.contrib.operators.dataproc_operator.DataprocWorkflowTemplateInstan 参数: -* **template_id**(str) - 模板的id。(模板) -* **project_id**(str) - 模板运行所在的Google云项目的ID -* **region**(str) - 保留为“全局”,将来可能会变得相关 -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `template_id(str)` - 模板的id。(模板) +* `project_id(str)` - 模板运行所在的Google云项目的ID +* `region(str)` - 保留为“全局”,将来可能会变得相关 +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ##### DataprocWorkflowTemplateInstantiateInlineOperator @@ -2133,11 +2133,11 @@ class airflow.contrib.operators.dataproc_operator.DataprocWorkflowTemplateInstan 参数: -* **template**(_map_) - 模板内容。(模板) -* **project_id**(str) - 模板运行所在的Google云项目的ID -* **region**(str) - 保留为“全局”,将来可能会变得相关 -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `template(map)` - 模板内容。(模板) +* `project_id(str)` - 模板运行所在的Google云项目的ID +* `region(str)` - 保留为“全局”,将来可能会变得相关 +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ### 云数据存储区 @@ -2159,16 +2159,16 @@ class airflow.contrib.operators.datastore_export_operator.DatastoreExportOperato 参数: -* **bucket**(str) - 要备份数据的云存储桶的名称 -* **namespace**(str) - 指定云存储桶中用于备份数据的可选命名空间路径。如果GCS中不存在此命名空间,则将创建该命名空间。 -* **datastore_conn_id**(str) - 要使用的数据存储区连接ID的名称 -* **cloud_storage_conn_id**(str) - 强制写入备份的云存储连接ID的名称 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **entity_filter**(dict) - 导出中包含项目中哪些数据的说明,请参阅[https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter](https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter) -* **labels**(dict) - 客户端分配的云存储标签 -* **polling_interval_in_seconds**(int) - 再次轮询执行状态之前等待的秒数 -* **overwrite_existing**(bool) - 如果存储桶+命名空间不为空,则在导出之前将清空它。这样可以覆盖现有备份。 -* **xcom_push**(bool) - 将操作名称推送到xcom以供参考 +* `bucket(str)` - 要备份数据的云存储桶的名称 +* `namespace(str)` - 指定云存储桶中用于备份数据的可选命名空间路径。如果GCS中不存在此命名空间,则将创建该命名空间。 +* `datastore_conn_id(str)` - 要使用的数据存储区连接ID的名称 +* `cloud_storage_conn_id(str)` - 强制写入备份的云存储连接ID的名称 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `entity_filter(dict)` - 导出中包含项目中哪些数据的说明,请参阅[https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter](https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter) +* `labels(dict)` - 客户端分配的云存储标签 +* `polling_interval_in_seconds(int)` - 再次轮询执行状态之前等待的秒数 +* `overwrite_existing(bool)` - 如果存储桶+命名空间不为空,则在导出之前将清空它。这样可以覆盖现有备份。 +* `xcom_push(bool)` - 将操作名称推送到xcom以供参考 ##### DatastoreImportOperator @@ -2183,15 +2183,15 @@ class airflow.contrib.operators.datastore_import_operator.DatastoreImportOperato 参数: -* **bucket**(str) - 云存储中用于存储数据的容器 -* **file**(str) - 指定云存储桶中备份元数据文件的路径。它应该具有扩展名.overall_export_metadata -* **namespace**(str) - 指定云存储桶中备份元数据文件的可选命名空间。 -* **entity_filter**(dict) - 导出中包含项目中哪些数据的说明,请参阅[https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter](https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter) -* **labels**(dict) - 客户端分配的云存储标签 -* **datastore_conn_id**(str) - 要使用的连接ID的名称 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **polling_interval_in_seconds**(int) - 再次轮询执行状态之前等待的秒数 -* **xcom_push**(bool) - 将操作名称推送到xcom以供参考 +* `bucket(str)` - 云存储中用于存储数据的容器 +* `file(str)` - 指定云存储桶中备份元数据文件的路径。它应该具有扩展名.overall_export_metadata +* `namespace(str)` - 指定云存储桶中备份元数据文件的可选命名空间。 +* `entity_filter(dict)` - 导出中包含项目中哪些数据的说明,请参阅[https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter](https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter) +* `labels(dict)` - 客户端分配的云存储标签 +* `datastore_conn_id(str)` - 要使用的连接ID的名称 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `polling_interval_in_seconds(int)` - 再次轮询执行状态之前等待的秒数 +* `xcom_push(bool)` - 将操作名称推送到xcom以供参考 #### DatastoreHook @@ -2367,19 +2367,19 @@ class airflow.contrib.operators.mlengine_operator.MLEngineBatchPredictionOperato 参数: -* **project_id**(str) - 提交预测作业的Google Cloud项目名称。(模板) -* **job_id**(str) - Google Cloud ML Engine上预测作业的唯一ID。(模板) -* **data_format**(str) - 输入数据的格式。如果未提供或者不是[“TEXT”,“TF_RECORD”,“TF_RECORD_GZIP”]之一,它将默认为“DATA_FORMAT_UNSPECIFIED”。 -* **input_paths**(_字符串列表_) - 批量预测的输入数据的GCS路径列表。接受通配符运算符[*](28),但仅限于结尾处。(模板) -* **output_path**(str) - 写入预测结果的GCS路径。(模板) -* **region**(str) - 用于运行预测作业的Google Compute Engine区域。(模板化) -* **model_name**(str) - 用于预测的Google Cloud ML Engine模型。如果未提供version_name,则将使用此模型的默认版本。如果提供了version_name,则不应为None。如果提供uri,则应为None。(模板) -* **version_name**(str) - 用于预测的Google Cloud ML Engine模型版本。如果提供uri,则应为None。(模板) -* **uri**(str) - 用于预测的已保存模型的GCS路径。如果提供了model_name,则应为None。它应该是指向张量流SavedModel的GCS路径。(模板) -* **max_worker_count**(int) - 用于并行处理的最大worker数。如果未指定,则默认为10。 -* **runtime_version**(str) - 用于批量预测的Google Cloud ML Engine运行时版本。 -* **gcp_conn_id**(str) - 用于连接到Google Cloud Platform的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用doamin范围的委派。 +* `project_id(str)` - 提交预测作业的Google Cloud项目名称。(模板) +* `job_id(str)` - Google Cloud ML Engine上预测作业的唯一ID。(模板) +* `data_format(str)` - 输入数据的格式。如果未提供或者不是[“TEXT”,“TF_RECORD”,“TF_RECORD_GZIP”]之一,它将默认为“DATA_FORMAT_UNSPECIFIED”。 +* `input_paths(list[str])` - 批量预测的输入数据的GCS路径列表。接受通配符运算符[*](28),但仅限于结尾处。(模板) +* `output_path(str)` - 写入预测结果的GCS路径。(模板) +* `region(str)` - 用于运行预测作业的Google Compute Engine区域。(模板化) +* `model_name(str)` - 用于预测的Google Cloud ML Engine模型。如果未提供version_name,则将使用此模型的默认版本。如果提供了version_name,则不应为None。如果提供uri,则应为None。(模板) +* `version_name(str)` - 用于预测的Google Cloud ML Engine模型版本。如果提供uri,则应为None。(模板) +* `uri(str)` - 用于预测的已保存模型的GCS路径。如果提供了model_name,则应为None。它应该是指向张量流SavedModel的GCS路径。(模板) +* `max_worker_count(int)` - 用于并行处理的最大worker数。如果未指定,则默认为10。 +* `runtime_version(str)` - 用于批量预测的Google Cloud ML Engine运行时版本。 +* `gcp_conn_id(str)` - 用于连接到Google Cloud Platform的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用doamin范围的委派。 ```py @@ -2400,8 +2400,8 @@ class airflow.contrib.operators.mlengine_operator.MLEngineModelOperator(projec 参数: -* **project_id**(str) - MLEngine模型所属的Google Cloud项目名称。(模板) -* **型号**(_字典_) - +* `project_id(str)` - MLEngine模型所属的Google Cloud项目名称。(模板) +* `型号(dict)` - 包含有关模型信息的字典。如果`操作`是`create`,则`model`参数应包含有关此模型的所有信息,例如`name`。 @@ -2413,8 +2413,8 @@ class airflow.contrib.operators.mlengine_operator.MLEngineModelOperator(projec * `create`:创建`model`参数提供的新模型。 * `get`:获取在模型中指定名称的特定`模型`。 -* **gcp_conn_id**(str) - 获取连接信息时使用的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `gcp_conn_id(str)` - 获取连接信息时使用的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ##### MLEngineTrainingOperator @@ -2429,19 +2429,19 @@ class airflow.contrib.operators.mlengine_operator.MLEngineTrainingOperator(pro 参数: -* **project_id**(str) - 应在其中运行MLEngine培训作业的Google Cloud项目名称(模板化)。 -* **job_id**(str) - 提交的Google MLEngine培训作业的唯一模板化ID。(模板) -* **package_uris**(str) - MLEngine培训作业的包位置列表,其中应包括主要培训计划+任何其他依赖项。(模板) -* **training_python_module**(str) - 安装'package_uris'软件包后,在MLEngine培训作业中运行的Python模块名称。(模板) -* **training_args**(str) - 传递给MLEngine训练程序的模板化命令行参数列表。(模板) -* **region**(str) - 用于运行MLEngine培训作业的Google Compute Engine区域(模板化)。 -* **scale_tier**(str) - MLEngine培训作业的资源层。(模板) -* **runtime_version**(str) - 用于培训的Google Cloud ML运行时版本。(模板) -* **python_version**(str) - 训练中使用的Python版本。(模板) -* **job_dir**(str) - 用于存储培训输出和培训所需的其他数据的Google云端存储路径。(模板) -* **gcp_conn_id**(str) - 获取连接信息时使用的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **mode**(str) - 可以是'DRY_RUN'/'CLOUD'之一。在“DRY_RUN”模式下,不会启动真正的培训作业,但会打印出MLEngine培训作业请求。在“CLOUD”模式下,将发出真正的MLEngine培训作业创建请求。 +* `project_id(str)` - 应在其中运行MLEngine培训作业的Google Cloud项目名称(模板化)。 +* `job_id(str)` - 提交的Google MLEngine培训作业的唯一模板化ID。(模板) +* `package_uris(str)` - MLEngine培训作业的包位置列表,其中应包括主要培训计划+任何其他依赖项。(模板) +* `training_python_module(str)` - 安装'package_uris'软件包后,在MLEngine培训作业中运行的Python模块名称。(模板) +* `training_args(str)` - 传递给MLEngine训练程序的模板化命令行参数列表。(模板) +* `region(str)` - 用于运行MLEngine培训作业的Google Compute Engine区域(模板化)。 +* `scale_tier(str)` - MLEngine培训作业的资源层。(模板) +* `runtime_version(str)` - 用于培训的Google Cloud ML运行时版本。(模板) +* `python_version(str)` - 训练中使用的Python版本。(模板) +* `job_dir(str)` - 用于存储培训输出和培训所需的其他数据的Google云端存储路径。(模板) +* `gcp_conn_id(str)` - 获取连接信息时使用的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `mode(str)` - 可以是'DRY_RUN'/'CLOUD'之一。在“DRY_RUN”模式下,不会启动真正的培训作业,但会打印出MLEngine培训作业请求。在“CLOUD”模式下,将发出真正的MLEngine培训作业创建请求。 ##### MLEngineVersionOperator @@ -2456,11 +2456,11 @@ class airflow.contrib.operators.mlengine_operator.MLEngineVersionOperator(proj 参数: -* **project_id**(str) - MLEngine模型所属的Google Cloud项目名称。 -* **model_name**(str) - 版本所属的Google Cloud ML Engine模型的名称。(模板) -* **version_name**(str) - 用于正在操作的版本的名称。如果没有人及`版本`的说法是没有或不具备的值`名称`键,那么这将是有效载荷中用于填充`名称`键。(模板) -* **version**(dict) - 包含版本信息的字典。如果`操作`是`create`,则`version`应包含有关此版本的所有信息,例如name和deploymentUrl。如果`操作`是`get`或`delete`,则`version`参数应包含`版本`的`名称`。如果是None,则唯一可能的`操作`是`list`。(模板) -* **操作**(str) - +* `project_id(str)` - MLEngine模型所属的Google Cloud项目名称。 +* `model_name(str)` - 版本所属的Google Cloud ML Engine模型的名称。(模板) +* `version_name(str)` - 用于正在操作的版本的名称。如果没有人及`版本`的说法是没有或不具备的值`名称`键,那么这将是有效载荷中用于填充`名称`键。(模板) +* `version(dict)` - 包含版本信息的字典。如果`操作`是`create`,则`version`应包含有关此版本的所有信息,例如name和deploymentUrl。如果`操作`是`get`或`delete`,则`version`参数应包含`版本`的`名称`。如果是None,则唯一可能的`操作`是`list`。(模板) +* `操作(str)` - 执行的操作。可用的操作是: @@ -2468,8 +2468,8 @@ class airflow.contrib.operators.mlengine_operator.MLEngineVersionOperator(proj * `get`:获取`model_name`指定的`模型中`特定版本的完整信息。应在`version`参数中指定版本的名称。 * `list`:列出`model_name`指定的`模型的`所有可用版本。 * `delete`:从`model_name`指定的`模型中`删除`version`参数中指定的`版本`。应在`version`参数中指定版本的名称。 -* **gcp_conn_id**(str) - 获取连接信息时使用的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `gcp_conn_id(str)` - 获取连接信息时使用的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 #### Cloud ML Engine Hook @@ -2490,8 +2490,8 @@ create_job(project_id,job,use_existing_job_fn = None) 参数: -* **project_id**(str) - 将在其中启动MLEngine作业的Google Cloud项目ID。 -* **工作**(_字典_) - +* `project_id(str)` - 将在其中启动MLEngine作业的Google Cloud项目ID。 +* `工作(dict)` - 应该提供给MLEngine API的MLEngine Job对象,例如: @@ -2506,7 +2506,7 @@ create_job(project_id,job,use_existing_job_fn = None) ``` -* **use_existing_job_fn**(_function_) - 如果已存在具有相同job_id的MLEngine作业,则此方法(如果提供)将决定是否应使用此现有作业,继续等待它完成并返回作业对象。它应该接受MLEngine作业对象,并返回一个布尔值,指示是否可以重用现有作业。如果未提供“use_existing_job_fn”,我们默认重用现有的MLEngine作业。 +* `use_existing_job_fn(function)` - 如果已存在具有相同job_id的MLEngine作业,则此方法(如果提供)将决定是否应使用此现有作业,继续等待它完成并返回作业对象。它应该接受MLEngine作业对象,并返回一个布尔值,指示是否可以重用现有作业。如果未提供“use_existing_job_fn”,我们默认重用现有的MLEngine作业。 返回:如果作业成功到达终端状态(可能是FAILED或CANCELED状态),则为MLEngine作业对象。 @@ -2579,12 +2579,12 @@ class airflow.contrib.operators.file_to_gcs.FileToGoogleCloudStorageOperator(s 参数: -* **src**(str) - 本地文件的路径。(模板) -* **dst**(str) - 指定存储桶中的目标路径。(模板) -* **bucket**(str) - 要上传的存储桶。(模板) -* **google_cloud_storage_conn_id**(str) - 要上传的Airflow连接ID -* **mime_type**(str) - mime类型字符串 -* **delegate_to**(str) - 模拟的帐户(如果有) +* `src(str)` - 本地文件的路径。(模板) +* `dst(str)` - 指定存储桶中的目标路径。(模板) +* `bucket(str)` - 要上传的存储桶。(模板) +* `google_cloud_storage_conn_id(str)` - 要上传的Airflow连接ID +* `mime_type(str)` - mime类型字符串 +* `delegate_to(str)` - 模拟的帐户(如果有) ```py @@ -2609,8 +2609,8 @@ class airflow.contrib.operators.gcs_operator.GoogleCloudStorageCreateBucketOpera 参数: -* **bucket_name**(str) - 存储桶的名称。(模板) -* **storage_class**(str) - +* `bucket_name(str)` - 存储桶的名称。(模板) +* `storage_class(str)` - 这定义了存储桶中对象的存储方式,并确定了SLA和存储成本(模板化)。价值包括 @@ -2622,7 +2622,7 @@ class airflow.contrib.operators.gcs_operator.GoogleCloudStorageCreateBucketOpera 如果在创建存储桶时未指定此值,则默认为STANDARD。 -* **位置**(str) - +* `位置(str)` - 水桶的位置。(模板化)存储桶中对象的对象数据驻留在此区域内的物理存储中。默认为美国。 @@ -2630,10 +2630,10 @@ class airflow.contrib.operators.gcs_operator.GoogleCloudStorageCreateBucketOpera [https://developers.google.com/storage/docs/bucket-locations](https://developers.google.com/storage/docs/bucket-locations) -* **project_id**(str) - GCP项目的ID。(模板) -* **labels**(dict) - 用户提供的键/值对标签。 -* **google_cloud_storage_conn_id**(str) - 连接到Google云端存储时使用的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `project_id(str)` - GCP项目的ID。(模板) +* `labels(dict)` - 用户提供的键/值对标签。 +* `google_cloud_storage_conn_id(str)` - 连接到Google云端存储时使用的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ```py @@ -2666,12 +2666,12 @@ class airflow.contrib.operators.gcs_download_operator.GoogleCloudStorageDownload 参数: -* **bucket**(str) - 对象所在的Google云存储桶。(模板) -* **object**(str) - 要在Google云存储桶中下载的对象的名称。(模板) -* **filename**(str) - 应将文件下载到的本地文件系统(正在执行操作符的位置)上的文件路径。(模板化)如果未传递文件名,则下载的数据将不会存储在本地文件系统中。 -* **store_to_xcom_key**(str) - 如果设置了此参数,操作员将使用此参数中设置的键将下载文件的内容推送到XCom。如果未设置,则下载的数据不会被推送到XCom。(模板) -* **google_cloud_storage_conn_id**(str) - 连接到Google云端存储时使用的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `bucket(str)` - 对象所在的Google云存储桶。(模板) +* `object(str)` - 要在Google云存储桶中下载的对象的名称。(模板) +* `filename(str)` - 应将文件下载到的本地文件系统(正在执行操作符的位置)上的文件路径。(模板化)如果未传递文件名,则下载的数据将不会存储在本地文件系统中。 +* `store_to_xcom_key(str)` - 如果设置了此参数,操作员将使用此参数中设置的键将下载文件的内容推送到XCom。如果未设置,则下载的数据不会被推送到XCom。(模板) +* `google_cloud_storage_conn_id(str)` - 连接到Google云端存储时使用的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ##### GoogleCloudStorageListOperator @@ -2692,11 +2692,11 @@ class airflow.contrib.operators.gcslistoperator.GoogleCloudStorageListOperator 参数: -* **bucket**(str) - 用于查找对象的Google云存储桶。(模板) -* **prefix**(str) - 前缀字符串,用于过滤名称以此前缀开头的对象。(模板) -* **delimiter**(str) - 要过滤对象的分隔符。(模板化)例如,要列出GCS目录中的CSV文件,您可以使用delimiter ='。csv'。 -* **google_cloud_storage_conn_id**(str) - 连接到Google云端存储时使用的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `bucket(str)` - 用于查找对象的Google云存储桶。(模板) +* `prefix(str)` - 前缀字符串,用于过滤名称以此前缀开头的对象。(模板) +* `delimiter(str)` - 要过滤对象的分隔符。(模板化)例如,要列出GCS目录中的CSV文件,您可以使用delimiter ='。csv'。 +* `google_cloud_storage_conn_id(str)` - 连接到Google云端存储时使用的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ```py @@ -2730,31 +2730,31 @@ class airflow.contrib.operators.gcs_to_bq.GoogleCloudStorageToBigQueryOperator 参数: -* **bucket**(str) - 要加载的桶。(模板) +* `bucket(str)` - 要加载的桶。(模板) * **source_objects** - 要加载的Google云存储URI列表。(模板化)如果source_format是'DATASTORE_BACKUP',则列表必须只包含一个URI。 -* **destination_project_dataset_table**(str) - 用于加载数据的虚线(<project>。)<dataset>。<table> BigQuery表。如果未包含<project>,则项目将是连接json中定义的项目。(模板) -* **schema_fields**(list) - 如果设置,则此处定义的架构字段列表:[https](https://cloud.google.com/bigquery/docs/reference/v2/jobs):**//cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.load**当source_format为'DATASTORE_BACKUP'时,不应设置。 +* `destination_project_dataset_table(str)` - 用于加载数据的虚线(<project>。)<dataset>。<table> BigQuery表。如果未包含<project>,则项目将是连接json中定义的项目。(模板) +* `schema_fields(list)` - 如果设置,则此处定义的架构字段列表:[https](https://cloud.google.com/bigquery/docs/reference/v2/jobs):**//cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.load**当source_format为'DATASTORE_BACKUP'时,不应设置。 * **schema_object** - 如果设置,则指向包含表的架构的.json文件的GCS对象路径。(模板) * **schema_object** - 字符串 -* **source_format**(str) - 要导出的文件格式。 -* **compression**(str) - [可选]数据源的压缩类型。可能的值包括GZIP和NONE。默认值为NONE。Google Cloud Bigtable,Google Cloud Datastore备份和Avro格式会忽略此设置。 -* **create_disposition**(str) - 如果表不存在,则创建处置。 -* **skip_leading_rows**(int) - 从CSV加载时要跳过的行数。 -* **write_disposition**(str) - 表已存在时的写处置。 -* **field_delimiter**(str) - 从CSV加载时使用的分隔符。 -* **max_bad_records**(int) - BigQuery在运行作业时可以忽略的最大错误记录数。 -* **quote_character**(str) - 用于引用CSV文件中数据部分的值。 -* **ignore_unknown_values**(bool) - [可选]指示BigQuery是否应允许表模式中未表示的额外值。如果为true,则忽略额外值。如果为false,则将具有额外列的记录视为错误记录,如果错误记录太多,则在作业结果中返回无效错误。 -* **allow_quoted_newlines**(bool) - 是否允许引用的换行符(true)或不允许(false)。 -* **allow_jagged_rows**(bool) - 接受缺少尾随可选列的行。缺失值被视为空值。如果为false,则缺少尾随列的记录将被视为错误记录,如果错误记录太多,则会在作业结果中返回无效错误。仅适用于CSV,忽略其他格式。 -* **max_id_key**(str) - 如果设置,则是BigQuery表中要加载的列的名称。在加载发生后,Thsi将用于从BigQuery中选择MAX值。结果将由execute()命令返回,该命令又存储在XCom中供将来的操作员使用。这对增量加载很有帮助 - 在将来的执行过程中,您可以从最大ID中获取。 -* **bigquery_conn_id**(str) - 对特定BigQuery挂钩的引用。 -* **google_cloud_storage_conn_id**(str) - 对特定Google云存储挂钩的引用。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 -* **schema_update_options**(list) - 允许更新目标表的模式作为加载作业的副作用。 -* **src_fmt_configs**(dict) - 配置特定于源格式的可选字段 -* **external_table**(bool) - 用于指定目标表是否应为BigQuery外部表的标志。默认值为False。 -* **time_partitioning**(dict) - 配置可选的时间分区字段,即按API规范按字段,类型和到期分区。请注意,“field”在dataset.table $ partition的并发中不可用。 +* `source_format(str)` - 要导出的文件格式。 +* `compression(str)` - [可选]数据源的压缩类型。可能的值包括GZIP和NONE。默认值为NONE。Google Cloud Bigtable,Google Cloud Datastore备份和Avro格式会忽略此设置。 +* `create_disposition(str)` - 如果表不存在,则创建处置。 +* `skip_leading_rows(int)` - 从CSV加载时要跳过的行数。 +* `write_disposition(str)` - 表已存在时的写处置。 +* `field_delimiter(str)` - 从CSV加载时使用的分隔符。 +* `max_bad_records(int)` - BigQuery在运行作业时可以忽略的最大错误记录数。 +* `quote_character(str)` - 用于引用CSV文件中数据部分的值。 +* `ignore_unknown_values(bool)` - [可选]指示BigQuery是否应允许表模式中未表示的额外值。如果为true,则忽略额外值。如果为false,则将具有额外列的记录视为错误记录,如果错误记录太多,则在作业结果中返回无效错误。 +* `allow_quoted_newlines(bool)` - 是否允许引用的换行符(true)或不允许(false)。 +* `allow_jagged_rows(bool)` - 接受缺少尾随可选列的行。缺失值被视为空值。如果为false,则缺少尾随列的记录将被视为错误记录,如果错误记录太多,则会在作业结果中返回无效错误。仅适用于CSV,忽略其他格式。 +* `max_id_key(str)` - 如果设置,则是BigQuery表中要加载的列的名称。在加载发生后,Thsi将用于从BigQuery中选择MAX值。结果将由execute()命令返回,该命令又存储在XCom中供将来的操作员使用。这对增量加载很有帮助 - 在将来的执行过程中,您可以从最大ID中获取。 +* `bigquery_conn_id(str)` - 对特定BigQuery挂钩的引用。 +* `google_cloud_storage_conn_id(str)` - 对特定Google云存储挂钩的引用。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `schema_update_options(list)` - 允许更新目标表的模式作为加载作业的副作用。 +* `src_fmt_configs(dict)` - 配置特定于源格式的可选字段 +* `external_table(bool)` - 用于指定目标表是否应为BigQuery外部表的标志。默认值为False。 +* `time_partitioning(dict)` - 配置可选的时间分区字段,即按API规范按字段,类型和到期分区。请注意,“field”在dataset.table $ partition的并发中不可用。 ##### GoogleCloudStorageToGoogleCloudStorageOperator @@ -2769,8 +2769,8 @@ class airflow.contrib.operators.gcs_to_gcs.GoogleCloudStorageToGoogleCloudStorag 参数: -* **source_bucket**(str) - 对象所在的源Google云存储桶。(模板) -* **source_object**(str) - +* `source_bucket(str)` - 对象所在的源Google云存储桶。(模板) +* `source_object(str)` - 要在Google云存储分区中复制的对象的源名称。(模板化)如果在此参数中使用通配符: @@ -2794,8 +2794,8 @@ class airflow.contrib.operators.gcs_to_gcs.GoogleCloudStorageToGoogleCloudStorag 参数: -* **google_cloud_storage_conn_id**(str) - 连接到Google云端存储时使用的连接ID。 -* **delegate_to**(str) - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 +* `google_cloud_storage_conn_id(str)` - 连接到Google云端存储时使用的连接ID。 +* `delegate_to(str)` - 模拟的帐户(如果有)。为此,发出请求的服务帐户必须启用域范围委派。 ```py @@ -2864,9 +2864,9 @@ destination_bucket或destination_object可以省略,在这种情况下使用 参数: -* **source_bucket**(str) - 要从中复制的对象的存储桶。 -* **source_object**(str) - 要复制的对象。 -* **destination_bucket**(str) - 要复制到的对象的目标。可以省略; 然后使用相同的桶。 +* `source_bucket(str)` - 要从中复制的对象的存储桶。 +* `source_object(str)` - 要复制的对象。 +* `destination_bucket(str)` - 要复制到的对象的目标。可以省略; 然后使用相同的桶。 * **destination_object** - 给定对象的(重命名)路径。可以省略; 然后使用相同的名称。 @@ -2882,8 +2882,8 @@ create_bucket(bucket_name,storage_class ='MULTI_REGIONAL',location ='US' 参数: -* **bucket_name**(str) - 存储桶的名称。 -* **storage_class**(str) - +* `bucket_name(str)` - 存储桶的名称。 +* `storage_class(str)` - 这定义了存储桶中对象的存储方式,并确定了SLA和存储成本。价值包括 @@ -2895,7 +2895,7 @@ create_bucket(bucket_name,storage_class ='MULTI_REGIONAL',location ='US' 如果在创建存储桶时未指定此值,则默认为STANDARD。 -* **位置**(str) - +* `位置(str)` - 水桶的位置。存储桶中对象的对象数据驻留在此区域内的物理存储中。默认为美国。 @@ -2903,8 +2903,8 @@ create_bucket(bucket_name,storage_class ='MULTI_REGIONAL',location ='US' [https://developers.google.com/storage/docs/bucket-locations](https://developers.google.com/storage/docs/bucket-locations) -* **project_id**(str) - GCP项目的ID。 -* **labels**(dict) - 用户提供的键/值对标签。 +* `project_id(str)` - GCP项目的ID。 +* `labels(dict)` - 用户提供的键/值对标签。 返回:如果成功,则返回`id`桶的内容。 @@ -2916,9 +2916,9 @@ create_bucket(bucket_name,storage_class ='MULTI_REGIONAL',location ='US' 参数: -* **bucket**(str) - 对象所在的存储桶的名称 -* **object**(str) - 要删除的对象的名称 -* **generation**(str) - 如果存在,则永久删除该代的对象 +* `bucket(str)` - 对象所在的存储桶的名称 +* `object(str)` - 要删除的对象的名称 +* `generation(str)` - 如果存在,则永久删除该代的对象 返回:如果成功则为真 @@ -2930,9 +2930,9 @@ create_bucket(bucket_name,storage_class ='MULTI_REGIONAL',location ='US' 参数: -* **bucket**(str) - 要获取的存储桶。 -* **object**(str) - 要获取的对象。 -* **filename**(str) - 如果设置,则应写入文件的本地文件路径。 +* `bucket(str)` - 要获取的存储桶。 +* `object(str)` - 要获取的对象。 +* `filename(str)` - 如果设置,则应写入文件的本地文件路径。 ```py @@ -2943,8 +2943,8 @@ create_bucket(bucket_name,storage_class ='MULTI_REGIONAL',location ='US' 参数: -* **bucket**(str) - 对象所在的Google云存储桶。 -* **object**(str) - 要在Google云存储分区中检查的对象的名称。 +* `bucket(str)` - 对象所在的Google云存储桶。 +* `object(str)` - 要在Google云存储分区中检查的对象的名称。 ```py @@ -2961,8 +2961,8 @@ get_crc32c(bucket,object) 参数: -* **bucket**(str) - 对象所在的Google云存储桶。 -* **object**(str) - 要在Google云存储分区中检查的对象的名称。 +* `bucket(str)` - 对象所在的Google云存储桶。 +* `object(str)` - 要在Google云存储分区中检查的对象的名称。 ```py @@ -2973,8 +2973,8 @@ get_md5hash(bucket,object) 参数: -* **bucket**(str) - 对象所在的Google云存储桶。 -* **object**(str) - 要在Google云存储分区中检查的对象的名称。 +* `bucket(str)` - 对象所在的Google云存储桶。 +* `object(str)` - 要在Google云存储分区中检查的对象的名称。 ```py @@ -2985,8 +2985,8 @@ get_size(bucket,object) 参数: -* **bucket**(str) - 对象所在的Google云存储桶。 -* **object**(str) - 要在Google云存储分区中检查的对象的名称。 +* `bucket(str)` - 对象所在的Google云存储桶。 +* `object(str)` - 要在Google云存储分区中检查的对象的名称。 ```py @@ -2997,9 +2997,9 @@ is_updated_after(bucket,object,ts) 参数: -* **bucket**(str) - 对象所在的Google云存储桶。 -* **object**(str) - 要在Google云存储分区中检查的对象的名称。 -* **ts**(_datetime_) - 要检查的时间戳。 +* `bucket(str)` - 对象所在的Google云存储桶。 +* `object(str)` - 要在Google云存储分区中检查的对象的名称。 +* `ts(datetime)` - 要检查的时间戳。 ```py @@ -3010,11 +3010,11 @@ list(bucket,versions = None,maxResults = None,prefix = None,delimiter 参数: -* **bucket**(str) - 存储桶名称 -* **versions**(bool) - 如果为true,则列出对象的所有版本 -* **maxResults**(_整数_) - 在单个响应页面中返回的最大项目数 -* **prefix**(str) - 前缀字符串,用于过滤名称以此前缀开头的对象 -* **delimiter**(str) - 根据分隔符过滤对象(例如'.csv') +* `bucket(str)` - 存储桶名称 +* `versions(bool)` - 如果为true,则列出对象的所有版本 +* `maxResults(int)` - 在单个响应页面中返回的最大项目数 +* `prefix(str)` - 前缀字符串,用于过滤名称以此前缀开头的对象 +* `delimiter(str)` - 根据分隔符过滤对象(例如'.csv') 返回:与过滤条件匹配的对象名称流 @@ -3028,9 +3028,9 @@ destination_object可以省略,在这种情况下使用source_object。 参数: -* **source_bucket**(str) - 要从中复制的对象的存储桶。 -* **source_object**(str) - 要复制的对象。 -* **destination_bucket**(str) - 要复制到的对象的目标。 +* `source_bucket(str)` - 要从中复制的对象的存储桶。 +* `source_object(str)` - 要复制的对象。 +* `destination_bucket(str)` - 要复制到的对象的目标。 * **destination_object** - 给定对象的(重命名)路径。可以省略; 然后使用相同的名称。 @@ -3042,10 +3042,10 @@ upload(bucket,object,filename,mime_type ='application / octet-stream') 参数: -* **bucket**(str) - 要上传的存储桶。 -* **object**(str) - 上载本地文件时要设置的对象名称。 -* **filename**(str) - 要上载的文件的本地文件路径。 -* **mime_type**(str) - 上载文件时要设置的MIME类型。 +* `bucket(str)` - 要上传的存储桶。 +* `object(str)` - 上载本地文件时要设置的对象名称。 +* `filename(str)` - 要上载的文件的本地文件路径。 +* `mime_type(str)` - 上载文件时要设置的MIME类型。 ### 谷歌Kubernetes引擎 @@ -3089,9 +3089,9 @@ create_cluster(cluster,retry = ,timeout = 参数: -* **cluster**(_dict __或_ _google.cloud.container_v1.types.Cluster_) - 群集protobuf或dict。如果提供了dict,它必须与protobuf消息的格式相同google.cloud.container_v1.types.Cluster -* **重试**(_google.api_core.retry.Retry_) - 用于重试请求的重试对象(google.api_core.retry.Retry)。如果指定None,则不会重试请求。 -* **timeout**(_float_) - 等待请求完成的时间(以秒为单位)。请注意,如果指定了重试,则超时适用于每次单独尝试。 +* `cluster(dict 或 google.cloud.container_v1.types.Cluster)` - 群集protobuf或dict。如果提供了dict,它必须与protobuf消息的格式相同google.cloud.container_v1.types.Cluster +* `重试(google.api_core.retry.Retry)` - 用于重试请求的重试对象(google.api_core.retry.Retry)。如果指定None,则不会重试请求。 +* `timeout(float)` - 等待请求完成的时间(以秒为单位)。请注意,如果指定了重试,则超时适用于每次单独尝试。 返回:新集群或现有集群的完整URL @@ -3109,9 +3109,9 @@ delete_cluster(name,retry = ,timeout = ) 参数: -* **name**(str) - 要删除的集群的名称 -* **重试**(_google.api_core.retry.Retry_) - 重_试用_于确定何时/是否重试请求的对象。如果指定None,则不会重试请求。 -* **timeout**(_float_) - 等待请求完成的时间(以秒为单位)。请注意,如果指定了重试,则超时适用于每次单独尝试。 +* `name(str)` - 要删除的集群的名称 +* `重试(google.api_core.retry.Retry)` - 重_试用_于确定何时/是否重试请求的对象。如果指定None,则不会重试请求。 +* `timeout(float)` - 等待请求完成的时间(以秒为单位)。请注意,如果指定了重试,则超时适用于每次单独尝试。 返回:如果成功则删除操作的完整URL,否则为None @@ -3123,7 +3123,7 @@ get_cluster(name,retry = ,timeout = ) > 请求不会被重试。 -参数:**timeout**(_float_) - 等待请求完成的时间(以秒为单位)。请注意,如果指定了重试,则超时适用于每次单独尝试。 +参数:`timeout(float)` - 等待请求完成的时间(以秒为单位)。请注意,如果指定了重试,则超时适用于每次单独尝试。 返回:一个google.cloud.container_v1.types.Cluster实例 -- GitLab