乐胖代购免代理版

大数据Spark “蘑菇云”行动第89课：Hive中GroupBy优化、Join的多种类型实战及性能优化、OrderBy和SortBy、UnionAll等实战和优化

大数据Spark “蘑菇云”行动第89课：Hive中GroupBy优化、Join的多种类型实战及性能优化、OrderBy和SortBy、Uni

hive

Hive

数据

原创 2023-04-06 15:38:15 87 阅读

作业电影评分系统 HIVE实战正则表达式(限于string)解决了HIVE 源文件多个分隔符的问题

root@master:/usr/local/hadoop-2.6.0/sbin# start-dfs.shStarting namenodes on [master]master: starting namenode, logoot-namenode-master.outworker1: sta

hadoop

hive

apache

原创 2023-04-06 15:38:11 71 阅读

大数据Spark “蘑菇云”行动第90课：Hive中Join电影店铺系统案例和性能优化、Index和Bucket案例实战

大数据Spark “蘑菇云”行动第90课：Hive中Join电影店铺系统案例和性能优化、Index和Bucket案例实战电影数据

hive

数据

数据倾斜

原创 2023-04-06 15:38:11 48 阅读

大数据Spark “蘑菇云”行动第91课：Hive中Index和Bucket案例实战及存储类型rcfile实战详解

大数据Spark “蘑菇云”行动第91课：Hive中Index和Bucket案例实战及存储类型实战详解索引:例如每行扫描,假

hive

数据

apache

原创 2023-04-06 15:38:10 122 阅读

大数据Spark “蘑菇云”行动第92课：HIVE中的array、map、struct及自定义数据类型案例实战

大数据Spark “蘑菇云”行动第92课：HIVE中的array、map、struct及自定义数据类型案例实战 //数组方式hive>use default;CREATE

Hadoop

数组

数据

原创 2023-04-06 15:38:07 74 阅读

大数据Spark “蘑菇云”行动第94课：Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区、Join调优

大数据Spark “蘑菇云”行动第94课：Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分

hive

并行执行

解决方案

原创 2023-04-06 15:37:58 191 阅读

大数据Spark “蘑菇云”行动第96课：基于Hive对电商数据案例分析

大数据Spark “蘑菇云”行动第96课：基于Hive对电商数据案例分析tbStock.txt订单号，交易位置，交易日期BYSL000

大数据

Hive

订单系统

原创 2023-04-06 15:37:54 150 阅读

大数据Spark “蘑菇云”行动第95课：Hive安全解析和实战等

大数据Spark “蘑菇云”行动第95课：Hive安全解析和实战等企业实战中，使用的2个第三方安全软件推荐如下：1，Knox Gatewayhttps://k

hive

apache

Hive

原创 2023-04-06 15:37:52 43 阅读

大数据Spark “蘑菇云”行动第98课：Hive性能调优压缩和分布式缓存

大数据Spark “蘑菇云”行动第98课：Hive性能调优压缩和分布式缓存 Hive压缩一般采用Snappy、LZO和GZIP org.apache.h

hadoop

apache

Hive

原创 2023-04-06 15:37:47 62 阅读

大数据Spark “蘑菇云”行动第101课：Hive性能调优之企业级数据倾斜解决方案及对Job数目的优化

大数据Spark “蘑菇云”行动第101课：Hive性能调优之企业级数据倾斜解决方案及对Job数目的优化 set hive.map.aggr=true; set hive.groupBy.skewindata=true; select * from logs a join users b on a.userid = b.user

hive

性能调优

数据倾斜

原创 2023-04-06 15:37:46 52 阅读

JAVA ASCII码读入字符串测试

JAVA ASCII码读入字符串测试 public class RhzfYunTest { public static void main(String[] args) { int lenSizeenS

java

ci

System

原创 2023-04-06 15:37:40 147 阅读

Transformer课程 Transformer自模型BERT Fine-tuning

Transformer自模型BERT Fine-tuning从传统机器学习和Transfer Learning的区别出发，剖析BERT Fine-tuning底层原理，包括对最大后验概率MAP的剖析、Prior先验领域知识的数学原理、工程实践，尤其是结合BERT架构及其训练任务MLM以及NSP来解密，BERT针对具体下游任务微调的力量之源 Transformer自编码模型BERT微调Fine-t

Transformer面试

Transformer课程

Transformer培训

自模型

后验概率

原创 2023-04-03 14:44:19 125 阅读

windows 10 系统和 VMware Workstation 虚拟机网络互通设置

机设置网卡地址网关地址子网掩码2，VMware Workstation的编辑-虚拟网络编辑器，单击进入配置，为NAT类型。3，本地笔记本电脑的虚拟网卡配置地址网关掩码4，本地笔记本电脑使用se

VMware

NAT

上传文件

原创 2023-04-03 14:42:40 1340 阅读

Spark视频王家林第119课： Spark Streaming性能优化：如何在生产环境下应对流数据峰值巨变？

Spark视频王家林第119课： Spark Streaming性能优化：如何在生产环境下应对流数据峰值巨变？本节讲解Spark Streaming性能优化：如何在生产环境下应对流数据峰值巨变？数据峰值及流量变化的不稳定有2个层面：1）第一个层面就是数据确实不稳定，例如晚上11点的时候访问流量特别高，相对其他时间而言表现为不稳定。2）第二个层面：数据是没问题的，数据流动的速度是匀速或接近于匀速，但

spark

数据

scala

Streaming

原创 2023-04-03 14:42:27 112 阅读

人工智能和大数据案例课程

人工智能

大数据

原创 2023-04-03 14:41:34 61 阅读

anaconda 和 python 安装；jupyter 开发环境的使用

1\anaconda 和 python 安装1.操作系统：win7，配置环境时需要联网。2.anaconda 安装anaconda 下载地址：https://www.continuum.io/downloads/。根据电脑的操作系统位数，选择下载 32 位和 64 位的 anaconda；安装 anaconda 到 D:\anaconda 文件夹下。3. 配置环境 python3.6运

python

Shell

位操作

原创 2023-04-03 14:41:15 222 阅读

Spark面试经典系列之数据倾斜解决方案的“银弹”是什么？本节我们对Spark数据倾斜解决方案进行回顾和总结

Spark面试经典系列之数据倾斜解决方案的“银弹”是什么？本节我们对Spark数据倾斜解决方案进行回顾和总结：1、数据倾斜运行的症状和危害。如果发行数据倾斜，往往发现作业任务运行特别缓慢，出现OOM内存溢出等现象。2、如果两个RDD进行操作，其中1个RDD数据不是那么多，我们把这个RDD的数据以广播变量的形式包裹起来，广播给

数据倾斜

数据

解决方案

原创 2023-04-03 14:40:54 70 阅读

030 高阶导数求导之推导归纳法、公式法

其它

原创 2023-04-03 14:40:34 144 阅读

002数列极限的定义及数列的极限性质

大家一起学数学：数列极限的定义及数列的极限性质慢慢来，打好基础，千万别掉队。

其它

原创 2023-04-03 14:40:27 82 阅读

Advanced Python系列之Coroutines架构与源码实战在Server中使用手动实现的Event Loop框架代码实战

Rasa

Rasa培训

Rasa课程

Rasa面试

Rasa 3

原创 2023-03-31 14:27:38 23 阅读

荣获51CTO博客专家博主荣誉证书

荣誉证书

原创 2023-03-23 12:53:06 251 阅读 1点赞 2评论

线性代数004之代数余子式

线性代数004之代数余子式、余子式

线性代数

原创 2023-03-17 19:45:30 195 阅读

线性代数005之行列式展开定理与零值定理

线性代数

原创 2023-03-17 19:45:25 187 阅读

高数引言2 反了你个函数了

jj

原创 2023-03-17 19:45:19 73 阅读

021 区间估计（对u的区间估计、对a^2的区间估计）（概率论基础结束）

021 区间估计（对u的区间估计、对a^2的区间估计）

概率论

线性代数

大数据

人工智能

原创 2023-03-17 19:45:05 90 阅读

IDEA环境安装及运行

IDEA环境安装及运行（1）windows 10 + idea 运行spark 提示 Winutils异常：ad

apache

hadoop

java

原创 2023-03-17 19:44:45 141 阅读

一元线性回归，多元线性回归、逻辑回归概念学习

多元线性回归

线性回归

原创 2023-03-17 19:44:19 155 阅读

NLP+对话机器人技术峰会

Rasa

Rasa课程

Rasa培训

Rasa面试

企业级

原创 2023-03-17 19:43:20 198 阅读

来自硅谷的NLP+对话机器人技术峰会

Rasa课程

Rasa实战

Rasa培训

Rasa

Rasa面试

原创 2023-03-17 19:43:08 103 阅读

Rasa 3.x 学习系列-Rasa 3.1+ ElasticSearch 7.15.0 对话机器人实战八 Elasticsearch 可视化及SpacyNLP安装部署

Elasticsearch 可视化工具。

elasticsearch

学习

python

Python

tensorflow

原创精选 2023-03-17 19:42:54 2972 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

duan_zhihua的博客

大数据Spark “蘑菇云”行动第89课：Hive中GroupBy优化、Join的多种类型实战及性能优化、OrderBy和SortBy、UnionAll等实战和优化

作业电影评分系统 HIVE实战正则表达式(限于string)解决了HIVE 源文件多个分隔符的问题

大数据Spark “蘑菇云”行动第90课：Hive中Join电影店铺系统案例和性能优化、Index和Bucket案例实战

大数据Spark “蘑菇云”行动第91课：Hive中Index和Bucket案例实战及存储类型rcfile实战详解

大数据Spark “蘑菇云”行动第92课：HIVE中的array、map、struct及自定义数据类型案例实战

大数据Spark “蘑菇云”行动第94课：Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区、Join调优

大数据Spark “蘑菇云”行动第96课：基于Hive对电商数据案例分析

大数据Spark “蘑菇云”行动第95课：Hive安全解析和实战等

大数据Spark “蘑菇云”行动第98课：Hive性能调优压缩和分布式缓存

大数据Spark “蘑菇云”行动第101课：Hive性能调优之企业级数据倾斜解决方案及对Job数目的优化

JAVA ASCII码读入字符串测试

Transformer课程 Transformer自模型BERT Fine-tuning

windows 10 系统和 VMware Workstation 虚拟机网络互通设置

Spark视频王家林第119课： Spark Streaming性能优化：如何在生产环境下应对流数据峰值巨变？

人工智能和大数据案例课程

anaconda 和 python 安装；jupyter 开发环境的使用

Spark面试经典系列之数据倾斜解决方案的“银弹”是什么？本节我们对Spark数据倾斜解决方案进行回顾和总结

030 高阶导数求导之推导归纳法、公式法

002数列极限的定义及数列的极限性质

Advanced Python系列之Coroutines架构与源码实战在Server中使用手动实现的Event Loop框架代码实战

荣获51CTO博客专家博主荣誉证书

线性代数004之代数余子式

线性代数005之行列式展开定理与零值定理

高数引言2 反了你个函数了

021 区间估计（对u的区间估计、对a^2的区间估计）（概率论基础结束）

IDEA环境安装及运行

一元线性回归，多元线性回归、逻辑回归概念学习

NLP+对话机器人技术峰会

来自硅谷的NLP+对话机器人技术峰会

Rasa 3.x 学习系列-Rasa 3.1+ ElasticSearch 7.15.0 对话机器人实战八 Elasticsearch 可视化及SpacyNLP安装部署

欢迎