Spark内存分配控制技巧-51CTO学堂

Spark内存分配控制技巧

637未经授权,禁止转载
大数据HadoopSpark内存分配资源最小分配spark配置内存计算executor内存设置错误修正监控界面刷新内存生效系统内存分配
本视频主要讲解了在Spark环境中如何控制内存分配的问题。一开始提到了申请内存时,系统会以最小的分配资源1024兆为基准,如果申请的内存小于这个值,系统会按照最小分配资源来分配。接着,通过实验演示了如何退出交互式界面,重新执行Spark命令,并指定executor的内存和核心数。在设置过程中,讲解了由于命令写错导致的错误,并演示了如何修正错误。修正后,通过监控界面可以看到内存分配已经生效,并且系统为了防止内存不足,会多分配一些内存给Spark。整个视频通过实际操作演示了如何控制Spark的内存分配,解决了内存申请不足的问题,重点学习了如何通过配置来控制内存分配。
讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}
ad
发布
头像

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记
讨论图
{{ item.create_time }}回复
  • 删除

    是否确认删除?

    确认
    取消
  • {{ item.is_top == 1 ? '取消置顶' : '置顶'}}

    已有置顶的讨论,是否替换已有的置顶?

    确认
    取消
{{ tag.text}}
头像
{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}
{{ subitem.create_time }}回复
删除

是否确认删除?

确认
取消
发布
{{pageType === 'video' ? '讨论区抢占沙发,可获得双倍学分' :'讨论区空空如也,你来讲两句~'}}
发布
{{tips.text}}
{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
头像
{{ detail.username }}

公开笔记对他人可见,有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记
保存
讲师头像
老汤
15年的软件开发架构经验,8年的技术授课经验,曾于华为、爱奇艺、北京国双科技(大数据上市公司)、快钱支付等大型企业设计和开发软件项目。项目经验:爱奇艺直播业务大数据中心的建设,2016奥运会CNTV网站流量分析,金融支付反欺诈项目,电信计费数据清洗分析等等。行业经验:视频,电子营销,金融,电信、流量分析等
TA的课程
接下来播放:
自动连播