hive='/usr/bin/hive'
hive_database='xxxxx'
field_segmentation='\001'
external_storage_path='/user/hive/warehouse/xxx/odsxxx'
source_database='xxx'
source_username='xxx'
source_pwd='xxxx'
source_ip='xxx'
source_port='1521' if [ -n "$1" ] ;then
do_day=$1
else
do_day=`date -d "-1 day" +%F`
fi /usr/bin/sqoop import \
--connect "jdbc:oracle:thin:@//$source_ip:$source_port/$source_database" \
--username $source_username \
--password $source_pwd \
--query "select * from xxxx where \$CONDITIONS " \
--hive-delims-replacement '<br/>' \
--num-mappers 1 \
--fields-terminated-by $field_segmentation \
--target-dir $external_storage_path/xxxxxxxx_tmp \
--delete-target-dir \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-import \
--hive-database $hive_database \
--hive-table xxxxxx \
--hive-overwrite \
--hive-partition-key dt \
--hive-partition-value $do_day
sqoop从oracle抽数脚本
原创
©著作权归作者所有:来自51CTO博客作者xcagy的原创作品,请联系作者获取转载授权,否则将追究法律责任
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
centos7通过shell脚本监控服务器cpu、内存、磁盘、文件打开数和线程数
本文简单介绍了在没有监控服务器之前通过脚本来监控服务器。
centos7监控脚本 shell脚本监控linux 监控脚本 cpu 内存 -
sqoop 的安装与常用抽数操作
大数据平台 协作框架 sqoop
大数据 hadoop sqoop 抽取数据 -
Sqoop抽数到Hive表异常分析
Sqoop抽数到Hive表异常分析
hive sqoop 数据 -
sqoop1.46从oracle导入clob字段到hive
参考文章
sqoop clob oracle