KETTLE_内存溢出错误
(window.slotbydup=window.slotbydup || []).push({
id: '2611110',
container: s,
size: '240,200',
display: 'inlay-fix'
您当前位置： &
[ 所属分类
kettle内存溢出错误解决环境：源端数据库：oracle 10G R2目标端数据库：oracle 11G R2kettle版本：5.0.1-stable报错：抽取大数据量表时，报错，日志信息如下： 11:27:42 - Spoon - 转换已经打开. 11:27:42 - Spoon - 正在打开转换 [TABLE_BWWN]... 11:27:42 - Spoon - 开始执行转换. 11:27:42 - TABLE_BWWN - 为了转换解除补丁开始
[TABLE_BWWN] 11:27:44 - max.0 - Finished reading query, closing connection. 11:27:44 - max.0 - 完成处理 (I=1, O=0, R=0, W=1, U=0, E=0 12:25:08 - 插入 / 更新.0 - ERROR (version 5.0.1-stable, build 1 from _16-08-58 by buildguy) : UnexpectedError: 12:25:08 - Spoon - ERROR (version 5.0.1-stable, build 1 from _16-08-58 by buildguy) : 一个未预期的错误发生在Spoon: probable cause:在停止Spoon前，请先关闭其它spoon窗口!
12:25:08 - Spoon - Java heap space 12:25:08 - 插入 / 更新.0 - ERROR (version 5.0.1-stable, build 1 from _16-08-58 by buildguy) : java.lang.OutOfMemoryError: Java heap space 12:25:08 - 插入 / 更新.0 -
at oracle.jdbc.driver.OraclePreparedStatement.bindBytesAsStream(OraclePreparedStatement.java:6713) 12:25:08 - 插入 / 更新.0 -
at oracle.jdbc.driver.OraclePreparedStatement.setBytesInternal(OraclePreparedStatement.java:6700) 12:25:08 - 插入 / 更新.0 -
at oracle.jdbc.driver.OraclePreparedStatement.setBytes(OraclePreparedStatement.java:6660) 12:25:08 - 插入 / 更新.0 -
at oracle.jdbc.driver.OraclePreparedStatementWrapper.setBytes(OraclePreparedStatementWrapper.java:150) 12:25:08 - 插入 / 更新.0 -
at org.pentaho.di.core.row.value.ValueMetaBase.setPreparedStatementValue(ValueMetaBase.java:4704) 12:25:08 - 插入 / 更新.0 -
at org.pentaho.di.core.database.Database.setValue(Database.java:928) 12:25:08 - 插入 / 更新.0 -
at org.pentaho.di.core.database.Database.setValues(Database.java:943) 12:25:08 - 插入 / 更新.0 -
at org.pentaho.di.core.database.Database.setValuesInsert(Database.java:888) 12:25:08 - 插入 / 更新.0 -
at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.lookupValues(InsertUpdate.java:113) 12:25:08 - 插入 / 更新.0 -
at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.processRow(InsertUpdate.java:301) 12:25:08 - 插入 / 更新.0 -
at org.pentaho.di.trans.step.RunThread.run(RunThread.java:60) 12:25:08 - 插入 / 更新.0 -
at java.lang.Thread.run(Unknown Source) 12:25:08 - Spoon - ERROR (version 5.0.1-stable, build 1 from _16-08-58 by buildguy) : java.lang.OutOfMemoryError: Java heap space 12:25:08 - Spoon -
at java.util.Arrays.copyOf(Unknown Source) 12:25:08 - Spoon -
at java.lang.StringCoding.safeTrim(Unknown Source) 12:25:08 - Spoon -
at java.lang.StringCoding.access$100(Unknown Source) 12:25:08 - Spoon -
at java.lang.StringCoding$StringDecoder.decode(Unknown Source) 12:25:08 - Spoon -
at java.lang.StringCoding.decode(Unknown Source) 12:25:08 - Spoon -
at java.lang.StringCoding.decode(Unknown Source) 12:25:08 - Spoon -
at java.lang.String.&init&(Unknown Source) 12:25:08 - Spoon -
at java.lang.String.&init&(Unknown Source) 12:25:08 - Spoon -
at org.pentaho.di.core.row.value.ValueMetaBase.convertBinaryStringToString(ValueMetaBase.java:1105) 12:25:08 - Spoon -
at org.pentaho.di.core.row.value.ValueMetaBase.getString(ValueMetaBase.java:1452) 12:25:08 - Spoon -
at org.pentaho.di.core.row.RowMeta.getString(RowMeta.java:230) 12:25:08 - Spoon -
at org.pentaho.di.ui.spoon.trans.TransPreviewDelegate.showPreviewGrid(TransPreviewDelegate.java:302) 12:25:08 - Spoon -
at org.pentaho.di.ui.spoon.trans.TransPreviewDelegate.refreshView(TransPreviewDelegate.java:268) 12:25:08 - Spoon -
at org.pentaho.di.ui.spoon.trans.TransPreviewDelegate$1.widgetSelected(TransPreviewDelegate.java:188) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.Widget.notifyListeners(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.custom.CTabFolder.setSelection(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.custom.CTabFolder.onMouse(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.custom.CTabFolder$1.handleEvent(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source) 12:25:08 - Spoon -
at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source) 12:25:08 - Spoon -
at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1227) 12:25:08 - Spoon -
at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:7368) 12:25:08 - Spoon -
at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:8673) 12:25:08 - Spoon -
at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:625) 12:25:08 - Spoon -
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 12:25:09 - 插入 / 更新.0 - 完成处理 (I=20575, O=20574, R=20575, W=20574, U=0, E=1 12:25:09 - TABLE_BWWN - TABLE_BWWN 12:25:09 - TABLE_BWWN - TABLE_BWWN 12:25:09 - 表输入.0 - ERROR (version 5.0.1-stable, build 1 from _16-08-58 by buildguy) : Unexpected error 12:25:09 - 表输入.0 - ERROR (version 5.0.1-stable, build 1 from _16-08-58 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException:
12:25:09 - 表输入.0 - Couldn't get row from result set 12:25:09 - 表输入.0 - ORA-03111: 通信通道收到中断 12:25:09 - 表输入.0 -
12:25:09 - 表输入.0 -
at org.pentaho.di.core.database.Database.getRow(Database.java:2302) 12:25:09 - 表输入.0 -
at org.pentaho.di.core.database.Database.getRow(Database.java:2270) 12:25:09 - 表输入.0 -
at org.pentaho.di.trans.steps.tableinput.TableInput.processRow(TableInput.java:153) 12:25:09 - 表输入.0 -
at org.pentaho.di.trans.step.RunThread.run(RunThread.java:60) 12:25:09 - 表输入.0 -
at java.lang.Thread.run(Unknown Source) 12:25:09 - 表输入.0 - Caused by: java.sql.SQLException: ORA-03111: 通信通道收到中断 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:439) 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:395) 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.T4C8Oall.processError(T4C8Oall.java:802) 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:436) 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:186) 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:521) 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.T4CPreparedStatement.doOall8(T4CPreparedStatement.java:205) 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.T4CPreparedStatement.fetch(T4CPreparedStatement.java:1082) 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.OracleResultSetImpl.close_or_fetch_from_next(OracleResultSetImpl.java:369) 12:25:09 - 表输入.0 -
at oracle.jdbc.driver.OracleResultSetImpl.next(OracleResultSetImpl.java:273) 12:25:09 - 表输入.0 -
at org.pentaho.di.core.database.Database.getRow(Database.java:2290) 12:25:09 - 表输入.0 -
... 4 more 12:25:09 - 表输入.0 - Finished reading query, closing connection. 12:25:09 - 表输入.0 - 完成处理 (I=20580, O=0, R=1, W=20579, U=0, E=1 12:25:09 - TABLE_BWWN - ERROR (version 5.0.1-stable, build 1 from _16-08-58 by buildguy) : 错误被检测到! 12:25:09 - Spoon - 转换完成!! 12:25:09 - TABLE_BWWN - ERROR (version 5.0.1-stable, build 1 from _16-08-58 by buildguy) : 错误被检测到! 12:25:09 - TABLE_BWWN - ERROR (version 5.0.1-stable, build 1 from _16-08-58 by buildguy) : 错误被检测到! 12:25:09 - TABLE_BWWN - TABLE_BWWN 12:25:09 - TABLE_BWWN - TABLE_BWWN解决方法：找到kettle目录下的Spoon.bat文件，找到如下部分：REM ******************************************************************REM ** Set java runtime options
**REM ** Change 512m to higher values in case you run out of memory
**REM ** or set the PENTAHO_DI_JAVA_OPTIONS environment variable
**REM ******************************************************************if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx512m" "-XX:MaxPermSize=256m"set OPT=%PENTAHO_DI_JAVA_OPTIONS% "-Djava.library.path=%LIBSPATH%" "-DKETTLE_HOME=%KETTLE_HOME%" "-DKETTLE_REPOSITORY=%KETTLE_REPOSITORY%" "-DKETTLE_USER=%KETTLE_USER%" "-DKETTLE_PASSWORD=%KETTLE_PASSWORD%" "-DKETTLE_PLUGIN_PACKAGES=%KETTLE_PLUGIN_PACKAGES%" "-DKETTLE_LOG_SIZE_LIMIT=%KETTLE_LOG_SIZE_LIMIT%" "-DKETTLE_JNDI_ROOT=%KETTLE_JNDI_ROOT%"修改参数，将内存值调大（256的倍数），调整后如下所示：REM ******************************************************************REM ** Set java runtime options
**REM ** Change 512m to higher values in case you run out of memory
**REM ** or set the PENTAHO_DI_JAVA_OPTIONS environment variable
**REM ******************************************************************if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx1024m" "-XX:MaxPermSize=2048m"set OPT=%PENTAHO_DI_JAVA_OPTIONS% "-Djava.library.path=%LIBSPATH%" "-DKETTLE_HOME=%KETTLE_HOME%" "-DKETTLE_REPOSITORY=%KETTLE_REPOSITORY%" "-DKETTLE_USER=%KETTLE_USER%" "-DKETTLE_PASSWORD=%KETTLE_PASSWORD%" "-DKETTLE_PLUGIN_PACKAGES=%KETTLE_PLUGIN_PACKAGES%" "-DKETTLE_LOG_SIZE_LIMIT=%KETTLE_LOG_SIZE_LIMIT%" "-DKETTLE_JNDI_ROOT=%KETTLE_JNDI_ROOT%"重新执行kettle抽取数据，不再报内存溢出错误。小结：使用kettle时，如果遇到数据量大、大对象时很容易出现内存溢出现象，此时需要根据实际的硬件配置对预设的java堆栈大小进行调整。
本文数据库（综合）相关术语:系统安全软件
转载请注明本文标题：本站链接：
分享请点击：
1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责；
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性，不作出任何保证或承若；
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
走得再慢，也比站在原地成功。
手机客户端
，专注代码审计及安全周边编程，转载请注明出处：http://www.codesec.net
转载文章如有侵权，请邮件 admin[at]codesec.net给Kettle分配更多内存，是不是抽取数据会快
[问题点数：20分，结帖人HipPop223]
给Kettle分配更多内存，是不是抽取数据会快
[问题点数：20分，结帖人HipPop223]
不显示删除回复
显示所有回复
显示星级回复
显示得分回复
只显示楼主
匿名用户不能发表回复！|
每天回帖即可获得10分可用分！小技巧：
你还可以输入10000个字符
(Ctrl+Enter)
请遵守CSDN，不得违反国家法律法规。
转载文章请注明出自“CSDN（www.csdn.net）”。如是商业用途请联系原作者。00:31 提问
java调用kettle导入数据内存溢出！！！！！
现在用java调用kettle的ktr模板往数据库中导入数据。kettle版本为4.2.0，oracle版本为11g。
无论jvm设置多大，只要文件数量比较多，内存会一直涨到溢出。调用过程就创建多个ktr对象TranMete，然后放在Trans里面运行。
求大神解决问题。
按赞数排序
提交数量改小点试试？
142关注|648收录
7823关注|1465收录
479关注|256收录请问kettle抽取数据时超过90万错误退出有关问题 - 数据仓库当前位置:& &&&请问kettle抽取数据时超过90万错误退出有关问题请问kettle抽取数据时超过90万错误退出有关问题&&网友分享于：&&浏览：112次请教kettle抽取数据时超过90万异常退出问题一个etl从源表抽取数据超过90万，整个kettle就秒退了，不知道是什么问题，改了启动配置增加内存也不起作用。。。------解决方案--------------------1、设置抽取行数；2、优化抽取语句；3、增加配置内存。
------解决方案--------------------应该是内存溢出了。在spoon.bat设置jvm
12345678910
12345678910
12345678910 上一篇：下一篇：文章评论相关解决方案 12345678910 Copyright & &&版权所有