ETL工具之kettle的使用之异构数据抽取MongoDB——>DB2

database

环境简介：

数据库版本：MongoDB 5.0.4 (查询语句：db.version(); )； DB2 9.7 ;

kettle版本： 9.2

实现目标：将MongoDB(异构化数据) 抽取到DB2(结构化数据库)；并增加时间戳，区分每天的数据。

具体实现步骤：

1、启动kettle

安装好kettle后，打开data-integration, 双击Spoon.bat, 等待几秒出现图形操作界面；

2、新建转换

点击菜单栏：文件——新建——转换。

3、连接MongoDB

拖入组件Big Data 下的 MongoDB input 组件, 双击组件进行相关配置：

在 Configure Connection Tab选项里填写连接地址，端口，连接的用户，密码等；

Host name(s) or IP address(es)：网络名称或者地址。可以输入多个主机名或IP地址，用逗号分隔。还可以通过将主机名和端口号与冒号分隔开，为每个主机名指定不同的端口号，并将主机名和端口号的组合与逗号分隔开。

Port：端口号

Username：用户名

Password：密码

Authenticate using Kerberos：指示是否使用Kerberos服务来管理身份验证过程。

Connection timeout：连接超时时间（毫秒）

Socket timeout：等待写操作（以毫秒为单位）的时间

在Input Options Tab选项里填写需要抽取的集合名称

在Fields Tab选项里，点击Get fields，页面会出现选择文档里的所有字段，可以在字段上右键，删除不需要接入的字段

设置完成后，点击最下方”预览“，检查是否是所需要的数据

4、获取变量，增加时间戳字段

5、字段选择：点击”获取选择的字段“(如有不需要的字段，右键删除即可)

6、表输出，配置DB2连接

7、配置完成，点击保存，运行即可。

ETL工具之kettle的使用之异构数据抽取MongoDB——&gt;DB2