DeepSeek初学者的博客_ETL_51CTO博客
51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 软考 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# ETL

Exporting RDBMS Table To A Flat File(CSV)

本文介绍如何将表数据通过ODI导成CSV文件。一、源表准备工作1.1定义物理体系结构定义NewDataServerODI->Topology->PhysicalArchitecture，右击Oracle，选择”NewDataServer“，在Definition对话框中定义一个名称，输入Oracle实例名称以及用户信息，保存。接着在JDBC对话框中，选择JDBC驱动以及输入jdbc连接

ODI
Oracle
原创 2018-06-07 11:06:19 997 阅读

Loading Data From Oracle To Hive By ODI 12c

本文描述如何通过ODI将Oracle表数据同步到Hive。1、准备工作在hadoop集群的各个节点分别安装OracleBigDataConnectors，具体的组件如下图所示：这里只需安装OracleLoaderForHadoop(oraloader)以及OracleSQLConnectorforHadoopDistributedFileSystem(oraosch)两个软件。安装比较简单，直接解

ODI
Oracle
Hive
原创 2018-03-19 15:05:44 3433 阅读 5评论

Loading Data Into Hive From File By ODI 12c

本文介绍如何将文本文件中的数据通过ODI导入Hive数据仓库。一、Hive上创建目标表1.1源表定义CREATETABLEEXAM_SCORE(IDNUMBER(4),AREA_IDNUMBER(1),EXAM_INFO_IDNUMBER(3),STU_SEQUENCENUMBER(12),SCORENUMBER(3),SUBJECT_IDNUMBER(3),CLASS_IDNUMBER(6))1

Hive
ODI
原创 2018-03-16 15:05:42 1936 阅读 1点赞 1评论

Configuring Oracle Data Integrator for Cloudera

本文介绍如何将ODI以及Hadoop结合在一起。在此之前，确保已安装了ODI软件以及搭建好Hadoop环境，也可以参考我的其他博文进行环境搭建。1、创建目录[root@hdp06~]#hdfsdfs-mkdir-p/user/oracle/odi_home[root@hdp06~]#hdfsdfs-chownoracle:oinstall/user/oracle/odi_home[root@hdp

ODI
Hadoop
原创 2018-03-07 09:30:26 4682 阅读

Using Oracle Data Integrator Open Tools

变化数据随时都可能生成，因此需要不断的将新的变化同步过去。有两种方法可以完成这个任务。第一种办法可以通过计划实现。例如创建一个计划，每半个小时执行一次同步接口。这样可以每半个小时将变化数据同步到目标。此法需要注意计划的重复间隔，要保证在重复调用之前，上一次调用已经完成，一般可以用于定期同步的需求。第二种办法是在创建一个包，利用ODI提供的CDC相关的工具轮询日记，一旦有了变化就调用同步接口。此法可

Oracle
ODI
原创 2018-03-02 10:35:10 983 阅读

Oracle ODI 12c之Setting Up Simple CDC

本文介绍如何使用OracleODI12c的SimpleCDC。它是最简单的一种CDC。这种模式下，每一张CDC的表的变化都是独立捕获的，不需要考虑多张存在主外键引用关系的表之间的数据一致性。1、导入知识模块在此之前，已经所有的知识模块导入，而CDC功能的知识模块如下图所示：2、设置模型CDC参数打开对应的模型，设置JournalizingMode为Simple，如下图：3、CDC配置3.1添加da

Oracle
ODI
原创 精选 2018-03-02 09:09:18 3881 阅读 1点赞 7收藏 2评论

Oracle ODI 12c之多表联合查询以及定时任务设置

本文介绍如何通过ODI进行多表联合查询并设置定时任务。准备工作如下：准备物理方案和逻辑方案；创建模型并通过“逆向工程”同步方案；创建项目(根据实际情况创建或者使用现有的)；确保源表和目标表都有主键存在。以上内容的前三点可以参考我博客中的相关文章。一、Preparing1.1源SQL语句SELECTa.ID,a.ORG_ID,a.NAME_ID,a.EVR_ID,a.PACKAGE_ARCH_ID,

Oracle
ODI
原创 精选 2018-02-26 15:16:01 5952 阅读 2点赞 1收藏

Setting Up ODI's Schedule

本文介绍如何创建ODI的调度过程。创建ODI12c调度的步骤：先创建包（package）、场景（Scenario）其次是调度（Schedule）。1、ODIPackage在ODI中，包是一个大的执行单元，它由一系列执行步骤组成一个执行图。1.1创建包Designer->Projects->O_To_O->FirstFolder->Packages->右键“NewPac

ODI
Oracle
Schedule
原创 2018-02-12 10:53:55 1334 阅读

ETL PostgreSQL in Oracle ODI 12c

本文介绍如何通过ODI从PostgreSQL同步数据到Oracle。1、定义物理体系结构1.1创建新的PostgreSQL数据服务器Topology->PhysicalArchitecture->PostgreSQL，右击选择NewDataServer，在Definition对话框输入相关信息，如下图：在JDBC对话框输入如下信息，如下图：点击保存。点击“TestConnection”

Postgre
SQL
ODI
原创 2018-02-12 09:01:56 3240 阅读 1收藏

ETL MySQL in Oracle ODI 12c

本文介绍如何通过ODI从MySQL同步数据到Oracle。1、定义物理体系结构1.1创建新的MySQL数据服务器Topology->PhysicalArchitecture->MySQL，右击选择NewDataServer，在Definition对话框输入相关信息，如下图：在JDBC对话框输入如下信息，如下图：点击保存。1.2创建MySQL的物理方案Topology->Physi

PostgreSQL
Oracle
原创 2018-02-11 10:13:20 2596 阅读 1收藏

Loading Data From File To Table By ODI 12c

本文主要介绍如何将文件里的数据通过ODI导入到表中。一、源文件准备工作源文件是一个文本文件，存放在/home/oracle/fsource目录中。[oracle@hdp06~]$la/home/oracle/fsource/-rw-rw-rw-1oracleoinstall4.2MJan2910:00exam_score.txt1.1定义源物理体系结构定义NewDataServer右击ODIStu

Oracle
Loading
Data
原创 2018-01-30 09:58:12 1821 阅读

Oracle Data Integrator之代理创建

本文依次介绍了如何创建ODI12c的Standaloneagent、Physicalagent以及Logicalagent。三种agent的含义如下图所示：一、创建StandaloneAgentcandon@pdi:~$cd/u01/odi/oracle_common/common/bincandon@pdi:/u01/odi/oracle_common/common/bin$./config.s

Oracle
代理创建
原创 2018-01-26 11:46:42 4099 阅读

Setting Up Oracle Data Integrator Repository

在使用ODI之前，必须创建资料档案库。创建过程如下：1、环境变量设置candon@pdi:~$vi.profilePATH="$HOME/bin:$HOME/.local/bin:$PATH:/u01/odi/odi/studio/bin"exportODI_HOME=/u01/odicandon@pdi:~$..profile2、使用RCURCU是创建资料档案库的使用程序。candon@pdi:

ODI
Oracle
原创 精选 2018-01-19 08:46:01 1792 阅读 1点赞

Oracle Data Integrator Installation Guide

ODI的安装非常简单，一路next即可。但是在安装之前必须先安装JDK，这里使用的是jdk8。从oracle官方网站下载以下jar文件，如下图所示：使用如下命令进行安装：candon@pdi:~$java-jarsoftware/fmw_12.2.1.3.0_odi.jar启动程序日志文件为/tmp/OraInstall2018-01-18_03-07-30PM/launcher2018-01-1

Oracle
ODI
原创 精选 2018-01-18 15:21:54 1575 阅读 1点赞

Kettle:批量数据加载

本文主要介绍文本文件、csv、execl和PostgreSQL的批量数据加载。1、文件文件到PostgreSQL的批量数据加载COPY在PostgreSQL表和标准文件系统文件之间移动数据。COPYTO把一个表的内容复制到一个文件，而COPYFROM则从一个文件复制数据到一个表（把数据追加到表中原有数据）。COPYTO也能复制一个SELECT查询的结果。windows环境下需要从官方下载安装包进行

PostgreSQL
原创 2017-12-02 17:11:32 10000+阅读 1收藏

Kettle:创建资源库

当新建转换或者作业的时候，都是直接保存在本地，而如果是多人开发的话，除了使用SVN等版本控制软件，还可以使用Kettle的资源库，他会将转换、作业直接保存在数据库中，而且，连接资源库的话，就不需要每一次都新建数据库连接了，用起来还是蛮方便的。资源库的类型有三种：PentahoRepositoryDatabaseRepository（使用数据库存储)FileRepository（使用文件存储）这里主

Kettle
原创 2017-11-30 13:41:55 10000+阅读 1点赞 2收藏

Kettle:使用触发器和快照表进行增量数据同步

本文介绍了使用快照表和触发器进行增量数据同步。主库为Oracle11g数据库，针对需要同步的表建立增量数据临时表以及触发器并通过kettle定时同步到PostgreSQL数据库。1、主库创建快照表和触发器注意：快照表结构和源表结构必须一致！--创建插入快照表CREATETABLESPWUSER.WEB_CUSTOMER_INSERT_TMP(IDNUMBERNOTNULL,NAMEVARCHAR2

Oracle
原创 2017-11-29 15:46:22 5830 阅读 1收藏

Transfering MySQL Data To Oracle 12c Using Kettle

一、环境介绍：这里需要将MySQL数据库的数据全部迁移到Oracle12c的pluggabledatabase。环境如下表所示：Oracle数据库上只创建了用户和表空间，因为复制步骤是先建表再同步数据，详见后续步骤。二、创建数据库连接2.1创建Oracle连接打开Kettle，文件->新建->作业，右击左侧栏里的“DB连接”，选择新建，如下图所示：PS：如果使用的是pluggabled

Kettle
MySQL
Oracle
原创 2017-11-27 15:44:40 10000+阅读 1收藏

Pentaho Data Integration 7.1(kettle) 安装手册

Kettle(水壶)是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

Kettle
原创 2017-11-24 15:26:12 10000+阅读

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯