Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
doujutun3207
flink
提交
2ed4cf7c
F
flink
项目概览
doujutun3207
/
flink
与 Fork 源项目一致
从无法访问的项目Fork
通知
24
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
F
flink
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
2ed4cf7c
编写于
2月 27, 2020
作者:
H
HuangXingBo
提交者:
GitHub
2月 27, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
[FLINK-16252][python] Optimize the output emit logic to remove unnecessary overhead
上级
293fd5a9
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
5 addition
and
10 deletion
+5
-10
flink-python/pyflink/fn_execution/operations.py
flink-python/pyflink/fn_execution/operations.py
+5
-10
未找到文件。
flink-python/pyflink/fn_execution/operations.py
浏览文件 @
2ed4cf7c
...
...
@@ -19,7 +19,6 @@
import
datetime
import
cloudpickle
from
apache_beam.runners.common
import
_OutputProcessor
from
apache_beam.runners.worker
import
operation_specs
from
apache_beam.runners.worker
import
bundle_processor
from
apache_beam.runners.worker.operations
import
Operation
...
...
@@ -37,9 +36,8 @@ class ScalarFunctionOperation(Operation):
def
__init__
(
self
,
name
,
spec
,
counter_factory
,
sampler
,
consumers
):
super
(
ScalarFunctionOperation
,
self
).
__init__
(
name
,
spec
,
counter_factory
,
sampler
)
for
tag
,
op_consumers
in
consumers
.
items
():
for
consumer
in
op_consumers
:
self
.
add_receiver
(
consumer
,
0
)
self
.
consumer
=
consumers
[
'output'
][
0
]
self
.
_value_coder_impl
=
self
.
consumer
.
windowed_coder
.
wrapped_value_coder
.
get_impl
()
self
.
variable_dict
=
{}
self
.
scalar_funcs
=
[]
...
...
@@ -49,18 +47,15 @@ class ScalarFunctionOperation(Operation):
def
setup
(
self
):
super
(
ScalarFunctionOperation
,
self
).
setup
()
self
.
output_processor
=
_OutputProcessor
(
window_fn
=
None
,
main_receivers
=
self
.
receivers
[
0
],
tagged_receivers
=
None
,
per_element_output_counter
=
None
)
def
start
(
self
):
with
self
.
scoped_start_state
:
super
(
ScalarFunctionOperation
,
self
).
start
()
def
process
(
self
,
o
):
self
.
output_processor
.
process_outputs
(
o
,
[
self
.
func
(
o
.
value
)])
output_stream
=
self
.
consumer
.
output_stream
self
.
_value_coder_impl
.
encode_to_stream
(
self
.
func
(
o
.
value
),
output_stream
,
True
)
output_stream
.
maybe_flush
()
def
finish
(
self
):
super
(
ScalarFunctionOperation
,
self
).
finish
()
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录