当前位置:网站首页 / ETL / 正文

[AY]写给自己的Kettle笔记2

时间:2019年02月13日 | 作者 : aaronyang | 分类 : ETL | 浏览: 715次 | 评论 0

====================www.ayjs.net       杨洋    wpfui.com        ayui      ay  aaronyang=======请不要转载谢谢了。=========

部分目录

当前版本8.2

image.png

image.png

【Docs】存放Kettle各种语言版本的API文档。

【Launcher】存放Kettle Spoon加载的一些配置信息。

【Lib】存放Kettle所使用到的第三方jar包。比如:数据库驱动包,如缺少时需要把对应的数据库驱动包放入此文件夹中。

【Libswt】存放Kettle对应不同平台的相关UI jar包。

【Plugins】存放Kettle自定义插件时,需要把自定义好的插件打成jar放在此目录。

【Pwd】存放Kettle配置集群时所需要的配置文件与加密文件。

【Samples】存放Kettle自带的一些Job与Trans实例。

【Simple-jndi】存放Kettle使用JNDI方式连接数据源方式的文件存放目录。目录下的jdbc.properties配置文件中有相应的实例提供参考。

【Ui】存放Kettle初始化使用到的图片及配置信息。


文档:https://help.pentaho.com/Documentation/8.2/Products/Data_Integration


 主对象树(Main Tree)

这是我上次的转换文件

image.pngimage.png

DB连接:显示当前transformation中的数据库连接,每一个transformation的数据库连接都需要单独配置。

Steps:一个transformation中应用到的环节列表

Hops:一个transformation中应用到的节点连接列表

其他几个暂时不管


核心对象(Core Objects)

image.png

这里列出的是 转换 中可以调用的环节列表,可以鼠标拖动的方式 添加环节。

输入Input:输入环节

输出Output:输出环节

转换Transform:转化环节

脚本Scripting:脚本环节

查询Lookup:查询环节

连接Joins:连接环节

还有很多大类,每个下面有很多。


每一个环节可以通过鼠标拖动来将环节添加到主窗口中。

并可通过shift+鼠标拖动,实现环节之间的连接


看下作业job的界面

image.png

作业项目(job entries) :一个Job中引用的环节列表

image.pngDummy是结束的意思。


主界面

image.png

右键空白区域,可以写注释

image.png

单击工具栏,新建,打开,保存等

image.png



====================www.ayjs.net       杨洋    wpfui.com        ayui      ay  aaronyang=======请不要转载谢谢了。=========


案例1  导入文本文件到数据库

双击 主对象树的 转换节点,或者右击->新建 filetomssql.ktr

image.png

核心对象-》输入->文本文件输入 拖到右侧

核心对象-》输出->表输出 拖到右侧


然后按住Shift 从输入到输出,拖动(不懂的,上篇已经说过了)

image.png

双击文本文件输入

点击浏览

image.png

我的txt写的内容如下

ID|UserName|Email|MonthSalary|BornDate
1|AY2015|ay2015@qq.com|35000|1991-04-04
2|BZ2015|by2016@qq.com|30000|1992-07-25
3|马大哈|mdh2019@163.com|50000|1988-02-20

然后点击,旁边的增加

image.png

image.png

我把分隔符,换成了|

image.png

然后单击 字段 选项卡

image.png

单击获取字段,自动表格就有了列的信息

修改一下部分长度和精度

image.png

双击确定

然后双击表输出

image.png

我选择了MS SQL SERVER,你根据自己的选择

提前建好数据库和表

USE [master]
GO

CREATE DATABASE [AccentCenter_local] ON  PRIMARY 
( NAME = N'AccentCenter_local', FILENAME = N'D:\DB\AccentCenter_local.mdf' , SIZE = 3072KB , MAXSIZE = UNLIMITED, FILEGROWTH = 1024KB )
 LOG ON 
( NAME = N'AccentCenter_local_log', FILENAME = N'D:\DB\AccentCenter_local_log.ldf' , SIZE = 1024KB , MAXSIZE = 2048GB , FILEGROWTH = 10%)
GO
ALTER DATABASE [AccentCenter_local] SET COMPATIBILITY_LEVEL = 100
GO

USE [AccentCenter_local]
GO
CREATE TABLE [dbo].[UserInfo](
    [ID] [int] NOT NULL,
    [UserName] [nvarchar](20) NOT NULL,
	[Email] [nvarchar](35) NOT NULL,
	[MonthSalary] [decimal](18,2) Null,
	[BornDate] [Date] Null
	)
GO

(这里AccentCenter,Accent单词拼写错了,不管了)


目标模式选择dbo

image.png

目标表

image.png

获取时,

image.png

这个箭头是蓝色的,不是禁用(灰色的)时候,下个环节才能从输入流中获得信息。

然后点击获取字段

image.png

然后点击确定,然后点击上面的三角运行

image.png


image.png


查看下数据库,数据已经过来了。

image.png

====================www.ayjs.net       杨洋    wpfui.com        ayui      ay  aaronyang=======请不要转载谢谢了。=========


案例2  从数据库导出文本文件

前面过程忽略,直接到这步

image.png

然后表输入

image.png

然后双击文本文件输出(后面的后缀可以不要,截图中存在)

image.png


image.png

获取字段

image.png

确定,保存,然后运行

image.png


====================www.ayjs.net       杨洋    wpfui.com        ayui      ay  aaronyang=======请不要转载谢谢了。=========





推荐您阅读更多有关于“kettleetl,”的文章

猜你喜欢

额 本文暂时没人评论 来添加一个吧

发表评论

必填

选填

选填

必填

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

  查看权限

抖音号:wpfui,可以看到我的很多作品效果

AYUI8社区版Github地址:前往获取

作者:杨洋(AaronYang简称AY,安徽六安人)目前是个人,还没公司AY唯一QQ:875556003和AY交流

高中学历,2015年1月17日开始,兴趣学习研究WPF,目前工作繁忙,不接任何活

声明:AYUI7个人与商用免费,源码可购买。部分DEMO不免费.AY主要靠卖技术服务挣钱

不是从我处购买的ayui7源码,我不提供任何技术服务,如果你举报从哪里买的,我可以帮你转正为我的客户,并送demo

查看捐赠

AYUI7.X MVC教程 更新如下:

第一课 第二课 程序加密教程

兼容XP到win10,vs2015/2017/2019,最新AYUI:7.6.5.5

vs2015 企业版密钥HM6NR-QXX7C-DFW2Y-8B82K-WTYJV

vs2017 企业版密钥NJVYC-BMHX2-G77MM-4XJMR-6Q8QF

标签列表