其实流程是从这里转载下来的，我只是在流程叙述中做了一下的标注。 当然为了自己能记住的更清楚，我没有直接copy而是打出来的。 1、客户端提交作业后，启动Driver，Driver是Spark作业的Master（也就是通过Driver来启动Receiver，定时去启动任务的处理，注意的是，驱动启动任务会受前一个任务执行的影响。也就是前一个任务没有执行完成后，是不会
Tuning Spark数据序列化内存调优内存管理概述确定内存消耗调整数据结构序列化 RDD 存储垃圾收集调整其他注意事项并行度水平减少任务的内存使用广播大的变量数据本地化概要由于大多数 Spark 计算的内存性质， Spark 程序可能由集群中的任何资源（ CPU ，网络带宽或内存）导致瓶颈。 通常情况下，如果数据有合适的内存，瓶颈就是网络带宽，但有时您还需要进行一些调整，例如 以序列
转载
2023-12-27 21:13:35
24阅读
1、shuffle过程的数据会写磁盘，因为数据洗牌重组如果发往某一个节点的partition数据过多，就会造成OOM，当然如果写的cipa磁盘的小文件过多，太多的io会影响效率。2、每个stage的task数量由最后一个rdd的partition数量决定3、1：n关系一个app：多个job（job的个数由一个driver（main）中的action算子决定）一个job：多个stage（stage的
转载
2023-10-14 21:57:02
81阅读
Q：Redis是啥？A：redis是当前非常热门的非关系型（NoSql）数据库，它以key-value的形式进行存取操作，基于内存的操作特性让他较传统DB拥有非常强大的性能优势！Q：为什么你们会选择它？A：在当前高并发的大背景下，传统数据库已经不能够支持我们业务的需求，按照我们现在的访问量，如果直接打到数据库，那会直接将数据库打宕机，给用户不好的体验，所以我们必须引入一个缓存中间件来解决这一瓶颈。
一、概述RTMP协议是Real Time Message Protocol(实时信息传输协议)的缩写，它是由Adobe公司提出的一种应用层的协议，用来解决多媒体数据传输流的多路复用（Multiplexing）和分包（packetizing）的问题。握手、消息块概念握手的目的是为了确认对端RTMP的Version和确认对端能互相通信。消息块就是消息的载体，是RTMP协议最重要的载体，这个载体是有一定
1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合Dataset：就是一个集合，用于存放数据的Destributed：分布式，可以并行在集群计算Resilient：表示弹性的，弹性表示1.RDD中的数据可以存储在内存或者磁盘中；
转载
2023-12-25 12:03:06
362阅读
一个丑陋石头的故事：
从前有一个孤儿，每天食不果腹他渴望幸福。某日，一位有很高智慧的高僧来到这个村庄，孤儿跑去向高僧求教如何获得幸福。
高僧指着地上一块丑陋的石头说：“你把它拿到集市上去卖，但无论谁买你都不要卖。”孤儿很奇怪：“这石头也能卖？”高僧一笑曰：“答案自然会知晓。”
孤儿照着高僧的说法拿到了集市，第一天无人问津，第二天还是无人问津，第三天，有人来询问，第四天，石
推荐
原创
2009-12-08 22:11:26
1761阅读
点赞
20评论
转载
2012-07-16 15:51:00
69阅读
2评论
我们都是推销员。不仅那些为了出售产品和服务而直接与顾客接触的人，事实上，每个人都在出售者什么东西：自己的理念、梦想，或者是观点等等。---美国成功学大师 奥格·曼迪诺
推荐
原创
2010-09-01 09:23:42
6637阅读
10评论
要根据日期的值来改变颜色，可以使用 CSS 中的:active伪类选择器来实现。以下是一个示例代码：<!DOCTYPE html>
<html>
<head>
<style>
div {
width: 200px;
height: 200px;
background-color: red;
}
多元化创新是开源开发的核心，它为开发人员提供了一个平台，可以试验和改进现有代码，并为不断增长的知识体系做出贡献。
做过几个项目，虽然都按时的发布了，有磕磕绊绊的发布，也有从容不迫的发布。有时候静下来再回想做项目的经历，还是颇有感触的。完成一个项目并不难，因为我们不是要搞出一个顶级的操作系统，也不是发明原子弹，只是用所学的知识做一个能帮助用户解决问题的软件而已。但是要想做出的软件能被用户认可和喜欢这又不是很简单的一件事。有很多的因素可能导致你的东西并不被用户接纳
原创
2011-12-03 21:27:00
203阅读
Go 我不懂，下面以 C++ 和 C# 对比来说明为什么 C++ 编译慢和 C# 编译快。C 和 C++ 文件的编译经过几个主要步骤：处理续行符处理（“\”）之类的杂事词法分析，解析出 tokens 来预处理，宏展开，处理 #include ，然后对 #include 包含的文件又重复 1~3 步骤。重新词法分析语法分析生成抽象语法树 AST语义分析优化生成代码C# 的步骤：处理续行符处理（“\”
低功耗功率控制（LE Power Control， LEPC）是蓝牙核心规格5.2 所引入的功能之一。本文将简单介绍LEPC功能并回答一些最常见的问题。此功能的加入，将会更加优化蓝牙音频及其他的产品的功耗，进而为开发者和产品制造商提供足够的灵活性，提升产品的工作时长，以构建出色的应用程序和用户体验。 ,什么是无线通信功率控制？ ,在电信系统中，功率控制通常用于控制发射器的发射功率以优化
# 虚拟化技术与物理CPU的关系
## 引言
在当今的计算机领域，虚拟化技术已经成为了一种非常重要的技术手段。通过虚拟化技术，可以在一台物理主机上创建多个虚拟机，从而实现资源的灵活分配和管理。而虚拟化的核心就是CPU虚拟化。在本文中，我们将深入探讨CPU虚拟化与物理CPU之间的关系，并通过代码示例来说明虚拟化技术是如何依赖于物理CPU的。
## CPU虚拟化与物理CPU
虚拟化技术的核心就
和一个只会在一旁冷嘲热讽的人相比，一个无论多么小的事情都付诸行动的人更值得被人推崇。 ------- 歌德
推荐
原创
2010-09-13 09:01:12
7011阅读
点赞
13评论
1 什么是支持向量机 Support Vector Machine, 一个普通的SVM就是一条直线罢了，用来完美划分linearly separable的两类。但这又不是一条普通的直线，这是无数条可以分类的直线当中最完美的，因为它恰好在两个类的中间，距离两个类的点都一样远。而所谓的Support vector就是这些离分界线最近的『点』。如果去掉这些点，直线多半是要改变位置的。可以说是这些vect
一、1.计算机基础 cpu：运算和控制；速度：飞机 内存：临时存储，供给cup数据，断电数据清空。成本高，速度：高铁 硬盘：相当于电脑的数据库，存储大量数据，数据永久保存（除非物理结构被破坏）。速度：走 操作系统： 执行者，支配所有关系。 2.python 历史 由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年至今有两个版本
转载
2023-07-31 19:12:00
67阅读
产生EMF的三种方式，涡电流与磁制动
产生EMF的三种方式如下图，矩形的导电回路连接一个平面，长宽分别为 \(x,y\) ,一个均匀分布的磁场 \(B\) 穿过平面，且与平面的法向量的夹角为 \(\theta\) .则磁通量定义为BdA在这个开曲面上的积分\[\begin{align}\phi _B&=\underset{\text{open}
职业价值取决于解决问题
和一个只会在一旁冷嘲热讽的人相比，一个无论多么小的事情都付诸行动的人更值得被人推崇。 ------- 歌德
查尔斯·豪斯，HP公司的研发人员，曾经负责研发为NASA提供的显示器。他开发出来的这种新产品比一般的显示器轻，并且耗电量很低，在节约能源方面效果显著。但结果NASA把他的显示器退了
转载
2010-10-18 22:01:55
431阅读
