提交 8569dbd8 编写于 作者: 爱吃苦瓜的猿's avatar 爱吃苦瓜的猿

Update flink-sql对kafka数据进行清洗过滤.md

上级 a1af160b
# flink-sql对kafka数据进行清洗过滤
今天这篇blog主要记录使用flink-sql对kafka中的数据进行过滤。
以前对kafka数据进行实时处理时都是使用java来进行flink开发,需要创建一个工程,并且打成jar包再提交,流程固定但对于简单任务来说还是比较繁琐的。
......@@ -6,7 +7,7 @@
今天我们要对logstash采集到kafka中的数据进行过滤筛选,将筛选后的数据发送给另外一个kafka topic,由于处理逻辑比较简单,使用flink自带的sql函数就可以搞定,所以我们今天就用flink-sql来解决这问题。
## 问题描述
我们需要将日志中某几个类打印的日志提取出来,logstash推送到kafka中的日志格式如下,日志信息均在message字段中,我们需要提取ServiceA、ServiceB、ServiceC、ServiceD四个类打印出来的日志信息,并将目标信息发送到另外一个kafka topic
我们需要筛选出ServiceA、ServiceB、ServiceC、ServiceD四个类打印出来的日志信息,并将目标信息发送到另外一个kafka topic。logstash推送到kafka中的日志格式如下,日志信息均在message字段中
```json
{
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册