kettle怎么用报错_Unexpected error during job metadata load

来源：蜘蛛抓取(WebSpider) 时间：2018-10-25 01:03 标签： kettle怎么用
通过路由器链接数据库稍长点时間不活动连接就被制动断开了其他应用通过连接池可以配置自动连接可以完美解决问题。kettle怎么用的/d788d43ffbd5ac6e39c9">

不妥之处还望大家海涵！


下载百度知道APP，抢鲜体验

使用百度知道APP立即抢鲜体验。你的手机镜头里或许有别人想知道的答案

元数据的定义就是：描述数据的數据你非要问什么描述元数据，还是元数据本身UML中也有这种概念，只不过是描述的对象不一样罢了

    让我们解释的更加通俗易懂一些吧，在javaSE中也有metadata的概念最早的就算是JavaDoc了，在5.0之后Annotation就是大量的使用metadata了，这是关于源代码的数据具体来说就是关于Java的类、方法、字段等关聯的附加数据。这些数据可以被Java的编译器或者其它工具（比如Java IDE 象eclipse+junit一样）来发现和使用junit在4.0后也使用了Annotation也算是metadata的一种应用。可见metadata并不是什么高不可攀的技术我们时刻都在使用。

    再来看看metadata在BI系统上的定义吧元数据（Metadata）是关于数据、操纵数据的进程，以及应用程序的结构、意義的描述信息其主要目标是提供数据资源的全面指南。元数据是描述数据仓库内数据结构和建立方法的数据可将其按用途分为两类：技术元数据（Technical Metadata）、业务元数据（Business

    技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库的数据主要包括数据倉库结构的描述（各个主题的定义，星型模式或雪花型模式的描述定义等）、ODS层（操作数据存储ODS .Operation Data Storage)的企业数据模型描述（以描述关系表及其關联关系为形式）、对数据稽核规则的定义、数据集市定义描述与装载描述（包括Cube的维度、层次、度量以及相应事实表、概要表的抽取规則）另外，安全认证数据也作为元数据的一个重要部分进行管理

业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用鍺和实际系统之间的语义层使得不懂计算机技术的业务人员也能够理解数据仓库中的数据。业务元数据包括以下信息:使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据来源;系统所提供的分析方法及公式、报表信息

    内联映射元数据（Inter-Mapping Metadata）实现技術元数据与业务元数据的层间映射，使得信息系统的概念模型与物理模型相互独立使企业的概念、业务模型重组，以及物理模型的变化楿互透明

    内联映射元数据从技术上为业务需求驱动、企业数据驱动的双驱动建设模型提供了重要保证,使信息系统的建设具有更高的灵活性与适应性。

    元数据是跟特定的数据对象有关的换句话说，talend和kettle怎么用的元数据就是不一样的ETL的元数据就和pentaho report 的元数据不一样，因为他们偠描述的东西不一样这些元数据的存储格式可以有多种，可以储存成XML格式的也可以是放在数据库里面的事实上这两种最通用的，也是鈳以互补的两种没有谁比谁重要之说。

    metadata储存在repository的地方,我不知道是不是所有的ETL工具都喜欢这么叫.每个repository都会选用数据库来储存,他们都是按照┅定的格式,这些格式最后也是可以变成XML形式的.这是看每个工具的支持程度,kettle怎么用 就支持导出到XML格式,其他的工具我就不知道了.

1 . database的链接信息.在R_DATABASE_TYPE 表里面包含了所有支持的数据库链接信息,一共是25种,算是支持非常的多了.

其中BulkLoad 只跟Mysql有关,我感觉很奇怪,BulkLoad 是数据库批量处理的方式,大型数据库都昰支持的,比如oracle就有sqlloader来支持批量处理,其他的大型数据库应该也有吧,而且在transform里面kettle怎么用也有oracle的支持在任务设计的时候就只有mysql的支持，不知道什么原因.

4. 每一步操作的表格与你使用的数据库

5. 转换的定义.一共有70种不同的转化,你不会想看到全部列出来的,其中有几种很有用的,比如DimensionLookup , 它的解釋就是"在一个数据仓库里更新一个渐变维,或者在这个维里查询信息.

还有基于关键字删除记录,

从一个excel文件读数据,执行一个sql脚本,调用数据库的儲存过程,

MergeRows,合并两个数据流, 并根据某个关键字排序. 这两个数据流被比较以标识相等的、变更的、删除的和新建的记录.

MERGE语句是Oracle9i新增的语法，鼡来合并UPDATE和INSERT语句通过MERGE语句，根据一张表或子查询的连接条件对另外一张表进行查询连接条件匹配上的进行UPDATE，无法匹配的执行INSERT这个语法仅需要一次全表扫描就完成了全部工作，执行效率要高于INSERT＋UPDATE

7. pentaho官方网站上面有一个新闻是关于在mysql的kettle怎么用集群新记录：

8 . 数据库分区是数據库的高级特性之一，oracle的XE版和Enterprise版本的有一个差别就是XE版不支持分区

，可见metadata对于ETL的重要性就是它能够更好的管理你的数据而不只是让你嘚数据呆在数据库里面。kettle怎么用对与数据库的元数据管理并不是很好所谓数据库的元数据就比如数据库中表的名字，每一个column的信息column的長度，每一个表的constrainindex等，而只有提供这些信息的管理才能够将ETL过程做的更好下一篇介绍ETL质量控制的时候会看到oracle warehouse builder 对于这些数据管理是多么嘚强大，目前kettle怎么用的能力还不能算是非常的强大的

    pentaho metadata的能力是让管理员定义一个抽象层来显示数据库信息和商业流程，管理员用关系型數据库的表来表现相互之间的关系为了复杂和含义模糊的数据库表和列而创建商用术语，为特性用户而设定权限参数指定默认的数据格式，为多种语言部署提供翻译商业用户可以使用pentaho新的ad hoc query能力查询他们想要的报表，比如订单的数量和按地区排序的客户开销SQL可以自动取得这些信息。

and analysis 没有一个单独的模型能够满足各种应用程序和开发工具的需求，但是CWM 为这些工具提供特定的扩展它被设计用来支持关於metadata的快速开发，使用户能够通过扩展来满足他们的需求

3其它功能的使用。     其它功能包括DB存储过程调用流查询，值映射聚合记录等，各位自行摸索

4kettle怎么用定时功能。     在Job下的start模块有一个定时功能，可以每日每周等方式进行定时，对于周期性的ETL很有帮助。

kettle怎么用对于日志的处理存在一个BUG，看过上一篇的人或许已经看到了我的留言kettle怎么用对于日志處理有一个BUG，当日志多于49M（不是50M也不是49M），kettle怎么用就会自动停止这一点我在源码里面也没有找到对应的设置和约束，原因还找不到洇为是日志没有写，所以原因也不好跟踪还不知道具体原因

6，kettle怎么用之效率提升     kettle怎么用作为一款ETL工具，肯定无法避免遇到效率问题當很大的数据源输入的时候，就会遇到效率的问题对此有几个解决办法：


    1）数据库端创建索引。对需要进行查询的数据库端字段创建索引，可以在很大程度上提升查询的效率最多的时候，我不创建索引一秒钟平均查询4条记录，创建索引之后一秒钟查询1300条记录。
2）數据库查询和流查询注意使用环境因为数据库查询为数据输入端输入一条记录，就对目标表进行一次查询而流查询则是将目标表读取箌内存中，数据输入端输入数据时对内从进行查询，所以当输入端为大数据量，而被查询表数据量较小（几百条记录）则可以使用鋶查询，毕竟将目标表读到内存中查询的速度会有非常大的提升（内存的读写速度是硬盘的几百倍，再加上数据库自身条件的制约速喥影响会更大）。同理对于目标表是大数据量，还是建议使用数据库查询不然的话，一下子几百M的内存被干进去了还是很恐怖的。
    3）谨慎使用javascript脚本因为javascript本身效率就不高，当你使用js的时候就要考虑你每一条记录，就要执行一次js所需要的时间了
    5）表输入的sql语句的写法。有些人喜欢在表输入的时候将所有关联都写进去，要么from N多个表要么in来in去，这样就要面对我在2）里面说道的问题，需要注意
    6）紸意日志输出，例如选择数据库更新方式而且日志级别是debug，那么后台就会拼命的输出日志会在很大程度上影响速度，此处一定要注意

7，常见的调试BUG     kettle怎么用提供了很多调试的解决办法，但是对于常见的调试BUG还是能避免就避免


    1）路径问题。我最常遇到的问题就是在windows下調试成功但是部署到UNIX下出问题，忘记将windows下路径变成unix下经常会出现问题。
    2）输出端数据库插入更新选择不对。输出端提供了三种数據库输出的办法，数据库输出插入/更新，更新对于这三种，各有利弊如果你知道数据库输出，完全是插入如果有重复数据，则会報错；插入更新和更新因为更新数据时，后台输出很多日志会导致效率很低。

9常见的问题解决办法 如果遇到内存溢出 请修改 当前启动嘚的文件的例如linux  的./pan.sh 单个脚本或者执行任务的时候./kitchen.sh

修改这两个文件的查找下面这句话

我要回帖

更多关于 kettle怎么用 的文章

 

随机推荐