乐胖代购免代理版

通过Lambda优化 AWS EMR 成本

随着AWS EMR服务用户越来越多，持续运行的AWS EMR在成本优化方面会有很大挑战，本文会提供一些特定情况下AWS EMR平台成本优化的一些方法和思路。本文主要包含“控制实例组资源”、“控制实例队列资源”、“控制EMR-managed scaling弹性配置”实现成本的优化，实际的使用可以根据EMR集群配置组合使用。

AWS

Lambda

EMR

python

原创 2023-02-13 18:06:40 478 阅读

AWS EMR实例组竞价实例扩展失败切换按需实例方法

解决EMR集群实例组模式下竞价实例请求失败后无法切换到按需实例问题，本文通过CloudWatch+Lambda实现在EMR集群竞价实例请求失败情况下增加指定数量的按需实例到EMR集群

Amazon

定时任务

python

EMR

竞价实例

原创精选 2023-02-06 13:40:33 451 阅读

EMR修改Core节点EBS卷大小

本文用于修改已创建好的EMR集群Core节点EBS磁盘容量，由于业务场景、成本等多方面考虑，需要周期性的调整Core节点的磁盘容量，但是通过人工调整EBS卷大小非常耗时，本文通过Bootstrap引导脚本扩展新添加Core节点EBS卷大小。

BigData

AWS

EMR

原创 2023-02-03 18:21:56 368 阅读

AWS EMR实例组竞价实例扩展失败切换按需实例方法

本文介绍如何解决EMR集群实例组模式下竞价实例请求失败后无法切换到按需实例问题，本文通过CloudWatch+Lambda实现在EMR集群竞价实例请求失败情况下补充制定数量的按需实例到EMR集群。目前较多公司使用EMR构建大数据平台，使用按需实例+竞价实例混合配置完成计算任务所需资源，可最大程度节省成本并满足平台高峰期计算能力的需求。但竞价实例有可能会出现容量不足无法正常请求的情况，如何在竞价实例请求失败的情况下补充按需实例到集群，是使用该架构用户需要考虑的问题

定时任务

python

json

原创推荐 2022-11-16 12:15:52 661 阅读

新特性的副产品--从11g的DEFERRED SEGMENT CREATION说起

某日协助同事完成两个测试数据库的结构同步。将早就烂熟于心的exp和imp命令编写成shell自动运行，交活了事。没有想到，同事说同步的表相差巨大。不会吧，检查了生成的日志信息： . exporting dimensions . exporting post-schema&nbs

ORACLE

休闲

EXP

测试数据库

结构同步

原创推荐 2011-03-01 21:36:28 3868 阅读 2点赞 3评论

数据库交易记录--如何添加审计信息到闪回归档数据以替换操作日志表

这篇文章源于在PL/SQL领域非常有建树的专家：Steven Feuerstein 的推荐。于是突发奇想，将该篇文章翻译成了中文。如果通过我的努力，确实让一些朋友有所收获，我将非常荣幸。文章开始： &nb

oracle

audit

tables

flashback

Journalling

翻译 2011-02-24 22:18:22 1795 阅读

数据库中字段设计与NULL值操作

NULL值作为数据库中的一个特殊操作值，在日常的操作中要尤其留意。如果使用不当，会在某些特定条件下，导致SQL执行的结果集有错误。但是这种错误并非数据库本身造成的，而是在设计中对NULL处理不当的造成的。一次在检查数据库运行报告时看到了一句SQL，和相关的研发人员沟通后知道，其需要的功能是显示最

数据库

设计

休闲

字段

NULL

原创推荐 2010-04-26 23:33:32 4146 阅读 2评论

ORACLE建库错误ORA-30012

具体的说，应该是今天凌晨了。在完成一个数据库的收工建库过程中，发生错误建库失败。检查跟踪文件发现如下错误。ORA-00604: error occurred at recursive SQL level 1ORA-30012: undo tablespace 'UNDOTBS1' does no

ORACLE

数据库

错误

建库

ORA-30012

原创 2010-04-07 03:41:10 3112 阅读

OARCLE11G的密码管理

前几日同事告知一个数据库登录出现错误。开始以为是数据库监听安全导致（见我曾经的一盘博文），但是检查发现IP是在允许访问的。突然发现一个ORACLE的报错，原来是密码即将到期。其实ORACLE11g在密码方面加强了安全性，默认情况下，180天后密码会过期。 &nb

ORACLE

职场

password

休闲

11G

原创 2009-12-28 23:55:42 1626 阅读 1评论

ubuntu下ORACLE sql Developer无法正常显示

用新版的ubuntu9.10后如果管理ORACLE数据库，SQLDEVELOPER应该是一个比较好的选择了。但是当我装上SQLDEVELOPE后执行，发现主窗口现在空白。估计是JAVA的环境变量设定的一些问题。解决办法： vi .bashrc增加一

oracle

数据库

ubuntu

9.10

sqldeveloper

原创 2009-11-29 23:01:00 1632 阅读

ORA-01480错误与&特殊字符的输入

今天研发同事询问，超长字符串无法INSERT到数据库。但是长度距离VARCHAR2的上限还有很多。只有1700多个字符。检查这个字符按串和对应的错误。发现很怪异，是ORA-01480错误。看看这个错误： &nbs

ORACLE

&

休闲

ORA-01480

特殊字符

原创 2009-11-19 15:33:37 10000+阅读

关于ORA-12162错误记录

ORACLE

职场

休闲

ORA-12162

原创 2009-11-18 17:16:30 2417 阅读

Job Records -- ORA-07445

Symptom : After startup oracle databas

oracle

职场

休闲

ora-07445

原创 2009-08-19 16:02:18 1677 阅读

Job Records --ORA-07445

Symptom : Start sqlplus and then respond the error of system like below:error while loading shared libraries

职场

休闲

Job

Records

原创 2009-08-19 15:30:39 1043 阅读

INDEX建立方式对SQL的影响

我常常会听到一些同事对自己的SQL很有信心，往往说一句：“你看，已经走索引了”。但是我们真的使用了适合我们的索引吗？我抓取到一句SQL,消耗了太多的IO。 &nb

ORACLE

SQL

数据库

INDEX

TUNING

原创推荐 2009-06-23 23:00:27 2124 阅读 1点赞 3评论

oracle并行查询一例

今天碰到一个开发人员反映SQL执行时间过长。根本无法得到结果集。看到服务器压力也没有很高，估计又是一个非常消耗磁盘的查询。果然，发现是一个200w的表和一个超过1100w表的HASH JOIN .

ORACLE

查询

休闲

并行

parallel

原创推荐 2009-04-07 18:53:59 10000+阅读 3评论

没有不可能--测试很重要

前段时间我们进行数据库的升级测试，测试的规模和投入的力量都是很大的。从9i到10g，本以为会非常顺利（ORACLE产品都自家兄弟，并且都是比较可靠的RELEASE 2 ）,但是确实发现了一个重大的问题。在一个通过统计查询显示趋势图的页面，原本显示的很正常的图形在接入10g数据库后显示的乱七八糟。

升级

ORACLE

休闲

10g

9i

原创 2009-03-30 15:11:20 1238 阅读 2评论

Different oracle dbv between 9i and 10g

When I read the document of oracle 9i (Oracle9i Database Utilities Release 2 (9.2) Part Number A96652-01 ),I found the different function of dbv between 9i and 10g.&n

10g

9i

block

oracl

corruption

原创 2009-01-22 16:04:39 1285 阅读 2评论

Failed! Installion of ORACLE9I on EL5 64bit

I took a whole daylight to install oracle 9i on redhat es5 x86_64bit.That's like a nightmare. In 2001,the release of oracle 9i came out ,today, is more 7 years o

ORACLE

redhat

9I

installion

es5

64bit

原创 2009-01-19 18:22:26 1124 阅读

ORACLE FAST FULL INDEX SCAN vs. INDEX RANGE SCANS

Today ,My colleague give me a question. Actually,he had wrote a effective sql .But,There is a small mistake in this sql.So I write a different sql us

ORACLE

Optimizer

Query

FFS

IRS

原创 2009-01-13 20:02:19 2822 阅读

ORACLE9I 实例无法正常启动

同事通知我在启动一个ORACLE 9I数据库时很长时间没有反应。其实就是在startup后没有动静了，等了很长时间。检查下日志，发现有个QMN0的进程不断重新启动。 &

ORACLE

休闲

9I

INSTANCE

QMN0

原创 2009-01-03 23:11:23 1447 阅读

ORACLE10G 监听僵死问题的解决

早上几个同事都风风火火的要求我赶快解决一个数据库无法连接的问题。当时一个同事甚至告诉我那个数据库“挂了”，有没有搞错，数据库那么容易就DOWN了吗? 赶快上去看了一眼，实例运

ORACLE

休闲

10G

LISTENER

HANG

原创推荐 2008-12-11 16:10:51 10000+阅读 2点赞 2评论

ORACLE TNSING报错(TNS-03505)的解决

一大早来上班，就有同事告诉我某省的数据库监听有问题。赶快检查了一下，发现其实是前端主机重启后没有启动完全应用造成了一些错误和数据库监听没有关系的。至于为什么同事会怀疑到数据库监听我也感到很怪异。 &n

oracle

职场

休闲

TNS-03505

TNSING

原创 2008-12-10 13:02:20 10000+阅读 1评论

解决SQLPLUS登陆的ORA-01031问题

同样也是协同我一个好学且上进的同事解决SQLPLUS登陆的问题。当他习惯的用SQLPLUS登陆时有这样的错误： [root@DB_SERVER root]# su

数据库

休闲

SYS

SQLPLUS

ORA-01031

原创 2008-12-09 19:19:42 10000+阅读 2评论

全局观：ORACLE问题解决一例

今天协助同事解决了同一个数据库上的几个问题，记录下且总结下吧。首先是同事让我帮助他看看他碰到的一个问题： &nbs

oracle

休闲

SYNONYM

DBLINK

ORA-02024

原创 2008-12-09 18:52:24 7429 阅读 1评论

ORACLE FLASHBACK的另类应用

今天遇到了一个有些类似于“审计”的问题。因为在检查all_objects时发现有一张表的last_ddl_time发生了变化，为了防止是其结构发生变化，进而进行了检查。但是如果没有对原始表的结构记录，该如何处理呢？

ORACLE

职场

休闲

FLASHBACK

原创推荐 2008-12-08 16:43:02 2768 阅读 1评论

解决ORA-01200错误【THE SOLUTION OF ORA-01200】

今天同事在MSN上让我解决一个ORACLE报错，造成的数据库无法启动。（插一句，这位同事就坐在我的隔壁，我们居然用MSN沟通，不知道这是技术的进步，还是技术造就的资源严重浪费）登录到数据库主机，看到确实数据库在mount状

ORACLE

职场

休闲

ORA-01200

原创 2008-11-20 18:10:52 3702 阅读 1点赞 2评论

oracle rman backup 产生的错误信息

周日手工做RMAN备份的时候，在alert.log中产生了错误信息。 Sat Oct 25 16:39:08 2008Errors in file /home/oracle/app/oracle/admin/XXX/udump/XXX_ora_228

oracle

职场

休闲

rman

原创 2008-10-27 11:00:31 1493 阅读 1评论

通过ORACLE分析函数过滤重复数据

今天，确切的讲应该是昨天下午，研发的同事突然向我寻求SQL技术支援。看看他的问题，比较麻烦些。 select sbl.fee_terminal_id , sbl.status, smr.status, smr.report_time &n

oracle

函数

数据

分析

Oracle

原创推荐 2008-09-29 00:43:04 6731 阅读 1评论

ORACLE相关的SHELL编程

近段时间，做了些为ORACL数据库管理相关的SHELL脚本编程。其实，SHELL功能非常强大，基本可以覆盖操作系统的所有角落。 PL/SQL同样也非常强大，可以解决ORACLE数据库的众多问题。 &nb

ORACLE

管理

shell

休闲

sqlplus

原创推荐 2008-09-03 22:36:50 3063 阅读 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Be the miracle!

通过Lambda优化 AWS EMR 成本

AWS EMR实例组竞价实例扩展失败切换按需实例方法

EMR修改Core节点EBS卷大小

AWS EMR实例组竞价实例扩展失败切换按需实例方法

新特性的副产品--从11g的DEFERRED SEGMENT CREATION说起

数据库交易记录--如何添加审计信息到闪回归档数据以替换操作日志表

数据库中字段设计与NULL值操作

ORACLE建库错误ORA-30012

OARCLE11G的密码管理

ubuntu下ORACLE sql Developer无法正常显示

ORA-01480错误与&特殊字符的输入

关于ORA-12162错误记录

Job Records -- ORA-07445

Job Records --ORA-07445

INDEX建立方式对SQL的影响

oracle并行查询一例

没有不可能--测试很重要

Different oracle dbv between 9i and 10g

Failed! Installion of ORACLE9I on EL5 64bit

ORACLE FAST FULL INDEX SCAN vs. INDEX RANGE SCANS

ORACLE9I 实例无法正常启动

ORACLE10G 监听僵死问题的解决

ORACLE TNSING报错(TNS-03505)的解决

解决SQLPLUS登陆的ORA-01031问题

全局观：ORACLE问题解决一例

ORACLE FLASHBACK的另类应用

解决ORA-01200错误【THE SOLUTION OF ORA-01200】

oracle rman backup 产生的错误信息

通过ORACLE分析函数过滤重复数据

ORACLE相关的SHELL编程

欢迎