Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
apache
Iotdb
提交
581d34f5
I
Iotdb
项目概览
apache
/
Iotdb
10 个月 前同步成功
通知
25
Star
3344
Fork
916
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
I
Iotdb
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
未验证
提交
581d34f5
编写于
12月 04, 2020
作者:
X
Xiangdong Huang
提交者:
GitHub
12月 04, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix flink iotdb example for writing data with incorrect data types (#2181)
上级
20fed99e
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
39 addition
and
4 deletion
+39
-4
example/flink/pom.xml
example/flink/pom.xml
+25
-0
example/flink/src/main/java/org/apache/iotdb/flink/FlinkIoTDBSink.java
.../src/main/java/org/apache/iotdb/flink/FlinkIoTDBSink.java
+13
-4
pom.xml
pom.xml
+1
-0
未找到文件。
example/flink/pom.xml
浏览文件 @
581d34f5
...
...
@@ -54,5 +54,30 @@
<artifactId>
flink-tsfile-connector
</artifactId>
<version>
${project.version}
</version>
</dependency>
<dependency>
<groupId>
org.apache.flink
</groupId>
<artifactId>
flink-clients_${scala.library.version}
</artifactId>
<version>
${flink.version}
</version>
<exclusions>
<!-- hive-serde 2.8.4 uses orc-core 1.3.2,
which is under incompatible license. So, exclude it.-->
<exclusion>
<groupId>
org.apache.orc
</groupId>
<artifactId>
orc-core
</artifactId>
</exclusion>
<exclusion>
<groupId>
org.apache.hive
</groupId>
<artifactId>
hive-storage-api
</artifactId>
</exclusion>
<exclusion>
<groupId>
com.google.guava
</groupId>
<artifactId>
guava
</artifactId>
</exclusion>
<exclusion>
<groupId>
org.apache.commons
</groupId>
<artifactId>
commons-compress
</artifactId>
</exclusion>
</exclusions>
</dependency>
</dependencies>
</project>
example/flink/src/main/java/org/apache/iotdb/flink/FlinkIoTDBSink.java
浏览文件 @
581d34f5
...
...
@@ -25,6 +25,9 @@ import java.security.SecureRandom;
import
java.util.HashMap
;
import
java.util.Map
;
import
java.util.Random
;
import
org.apache.iotdb.tsfile.file.metadata.enums.CompressionType
;
import
org.apache.iotdb.tsfile.file.metadata.enums.TSDataType
;
import
org.apache.iotdb.tsfile.file.metadata.enums.TSEncoding
;
public
class
FlinkIoTDBSink
{
public
static
void
main
(
String
[]
args
)
throws
Exception
{
...
...
@@ -37,19 +40,25 @@ public class FlinkIoTDBSink {
options
.
setUser
(
"root"
);
options
.
setPassword
(
"root"
);
options
.
setStorageGroup
(
"root.sg"
);
options
.
setTimeseriesOptionList
(
Lists
.
newArrayList
(
new
IoTDBOptions
.
TimeseriesOption
(
"root.sg.d1.s1"
)));
//If the server enables auto_create_schema, then we do not need to register all timeseries here.
options
.
setTimeseriesOptionList
(
Lists
.
newArrayList
(
new
IoTDBOptions
.
TimeseriesOption
(
"root.sg.d1.s1"
,
TSDataType
.
DOUBLE
,
TSEncoding
.
GORILLA
,
CompressionType
.
SNAPPY
)));
IoTSerializationSchema
serializationSchema
=
new
DefaultIoTSerializationSchema
();
IoTDBSink
ioTDBSink
=
new
IoTDBSink
(
options
,
serializationSchema
)
// enable batching
.
withBatchSize
(
10
);
.
withBatchSize
(
10
)
// how many connectons to the server will be created for each parallelism
.
withSessionPoolSize
(
3
);
env
.
addSource
(
new
SensorSource
())
.
name
(
"sensor-source"
)
.
setParallelism
(
1
)
.
addSink
(
ioTDBSink
)
.
name
(
"iotdb-sink"
)
.
setParallelism
(
1
);
.
name
(
"iotdb-sink"
);
env
.
execute
(
"iotdb-flink-example"
);
}
...
...
pom.xml
浏览文件 @
581d34f5
...
...
@@ -104,6 +104,7 @@
<maven.compiler.source>
1.8
</maven.compiler.source>
<maven.compiler.target>
1.8
</maven.compiler.target>
<maven.assembly.version>
3.1.0
</maven.assembly.version>
<scala.library.version>
2.11
</scala.library.version>
<scala.version>
2.11.12
</scala.version>
<hadoop2.version>
2.7.3
</hadoop2.version>
<hive2.version>
2.3.6
</hive2.version>
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录