ETL StreamSet学习，测试Ftp取文件

1、测试Ftp取文件

利用搭建好的StreamSet平台，配置Ftp客户端连接，并拉取某个Excel文件。

利用StreamSet提供的Ftp客户端组件，进行ftp连接。

在这里插入图片描述

配置 如下：

Resource URL: ftp://192.168.1.100/abc/2018/0103/
File Name Pattern: 447965a864094208aa6d6d3c90bf71ef.xls
Authentication: password
Username :webmote
Password:xxx
Data Format:Excel
Excel Header Option:with Header Line

2、解析Excel

第一节的数据格式，已经标明了怎样解析文件。支持的文件列表如下：

在这里插入图片描述

解析的数据进行扁平化操作。

在这里插入图片描述

该组件可以使嵌套数据，扁平化，变化方式如下：

{
"contact":{
"name":"Jane Smith",
"id":"557",
"address":{
"home":{
"street":"101 3rd St",
"city":"Huntsville",
"state":"NC",
"zipcode":"27023"
},
"work":{
"street":"15 Main St",
"city":"Jonestown",
"state":"NC",
"zipcode":"27011"
}
}
}
}

扁平化以后：

{
"contact":{
"name":"Jane Smith",
"id":"10342",
"address":{
"home.street":"34 2nd St",
"home.city":"Wilma",
"home.state":"OH",
"home.zipcode":"33333",
"work.street":"15 Main St",
"work.city":"Jonestown",
"work.state":"OH",
"work.zipcode":"55555"
}
}
}

3、修改映射列

在这里插入图片描述

利用该组件修改映射关系。

例如配置如下替换：

在这里插入图片描述

结果如下：

在这里插入图片描述

4、处理后的数据执行

在这里插入图片描述

5、结语

StreamSet提供了一个灵活的输入输出处理，为我们处理具体问题提供了很多可能。

以上是 ETL StreamSet学习，测试Ftp取文件 的全部内容， 来源链接： utcz.com/a/55491.html

回到顶部