Kettle数据库配置抽离

database

# 这两个文件,默认是在系统的用户目录下,如果配置了KETTLE_HOME环境变量,则spoon会去KETTLE_HOME的目录下加载这两个文件

<USER_HOME>/.kettle/kettle.properties

<USER_HOME>/.kettle/shared.xml

共享数据库配置

在作业中,按照DB连接向导建立一个数据库连接,填入完整的数据库连接信息。

建立完连接,测试连接成功后,在该DB连接上点右键,选择“共享”。

完成上述共享操作后,就可以在以下文件中找到共享数据库链接的配置:

<USER_HOME>/.kettle/shared.xml

<?xml version="1.0" encoding="UTF-8"?>

<sharedobjects>

<connection>

<name>test_db</name>

<server>127.0.0.1</server>

<type>MYSQL</type>

<access>Native</access>

<database>test_db</database>

<port>3306</port>

<username>testdb</username>

<password>Encrypted 2be98afc86aa7f2e4cb79ff228dc6fa8c</password>

<servername/>

<data_tablespace/>

<index_tablespace/>

<attributes>

<attribute><code>PORT_NUMBER</code><attribute>3306</attribute></attribute>

</attributes>

</connection>

</sharedobjects>

这样设置后,你就可以在后续的作业和转换中选择这个共享的test_db。

虽然这样算是抽离出了DB连接,但是还不够优化,下面介绍如何将DB连接中的部分配置再次抽离出来。

抽离DB配置

例如,我们想将数据库的地址、SID、username、password从shared.xml中抽离出来,这个时候,就需要用到

<USER_HOME>/.kettle/kettle.properties

我们只需要在这个文件中定义相关的DB变量,如下:

test_db_host=127.0.0.1

test_db_port=3306

test_db_sid=test_db

test_db_user=test_db

test_db_password=Encrypted 2be98afc86aa7f2e4cb79ff228dc6fa8c

然后,我们修改

<USER_HOME>/.kettle/shared.xml

<?xml version="1.0" encoding="UTF-8"?>

<sharedobjects>

<connection>

<name>test_db</name>

<server>${test_db_host}</server>

<type>MYSQL</type>

<access>Native</access>

<database>${test_db_sid}</database>

<port>${test_db_port}</port>

<username>${test_db_user}</username>

<password>${test_db_password}</password>

<servername/>

<data_tablespace/>

<index_tablespace/>

<attributes>

<attribute><code>PORT_NUMBER</code><attribute>${test_db_port}</attribute></attribute>

</attributes>

</connection>

</sharedobjects>

这样,就彻底的将数据库的配置从作业和转换中抽离出来了。

注意的一点是,最好在shared.xml中增加如下的数据库连接属性,可以有效避免数据传输字符、日期转换问题

<connection>

<name>test_db</name>

<server>${test_db_host}</server>

<type>MYSQL</type>

<access>Native</access>

<database>${test_db_sid}</database>

<port>${test_db_port}</port>

<username>${test_db_user}</username>

<password>${test_db_password}</password>

<servername/>

<data_tablespace/>

<index_tablespace/>

<attributes>

<attribute>

<code>EXTRA_OPTION_MYSQL.characterEncoding</code>

<attribute>utf8</attribute>

</attribute>

<attribute>

<code>FORCE_IDENTIFIERS_TO_LOWERCASE</code>

<attribute>N</attribute>

</attribute>

<attribute>

<code>FORCE_IDENTIFIERS_TO_UPPERCASE</code>

<attribute>N</attribute>

</attribute>

<attribute>

<code>IS_CLUSTERED</code>

<attribute>N</attribute>

</attribute>

<attribute>

<code>PORT_NUMBER</code>

<attribute>${test_db_port}</attribute>

</attribute>

<attribute>

<code>PRESERVE_RESERVED_WORD_CASE</code>

<attribute>Y</attribute>

</attribute>

<attribute>

<code>QUOTE_ALL_FIELDS</code>

<attribute>N</attribute>

</attribute>

<attribute>

<code>SQL_CONNECT</code>

<attribute>set names utf8</attribute>

</attribute>

<attribute>

<code>STREAM_RESULTS</code>

<attribute>Y</attribute>

</attribute>

<attribute>

<code>SUPPORTS_BOOLEAN_DATA_TYPE</code>

<attribute>Y</attribute>

</attribute>

<attribute>

<code>SUPPORTS_TIMESTAMP_DATA_TYPE</code>

<attribute>Y</attribute>

</attribute>

<attribute>

<code>USE_POOLING</code>

<attribute>N</attribute>

</attribute>

</attributes>

</connection>

做完上述的DB连接的共享和配置后,再处理作业和转换时,如果选择共享的DB连接,实际上Kettle会复制shared.xml中的数据库配置到具体的作业和转换中,复制过去后,相应的变量会从kettle.properties中读取。

也就是说,如果要把作业和转换发布到正式环境,实际上可以不需要shared.xml,shared.xml更多的作用是用于开发阶段。

另外,注意每次修改了shared和kettle.properties,要重启Kettle的开发工具,否则可能无法正常生效。

以上是 Kettle数据库配置抽离 的全部内容, 来源链接: utcz.com/z/533462.html

回到顶部