乐胖代购免代理版

kafka

原创 2021-03-03 10:45:12 1382 阅读 1点赞

kafka架构

topic：主题partition：一个topic可以拥有若干个partition（从0开始标识partition），分布在不同的broker上，实现发布与订阅时负载均衡。producer通过自定义的规则将消息发送到对应topic下某个partition，以offset标识一条消息在一个partition的唯一性。一个partition拥有多个replica，提高容灾能力。replica包含两种类

大数据

原创 2021-03-02 16:18:57 445 阅读 1点赞

yarn和hdfs

Yarn包括resourcemanager和datamanagerHdfs包括namenode和datanode 这两个服务启动了，就可以跑mapreduce程序了

Yarn

hadoop

原创 2016-02-11 12:05:46 1147 阅读

LSM和B+树区别

B树存储引擎是B树（关于B树的由来，数据结构以及应用场景可以看之前一篇博文）的持久化实现，不仅支持单条记录的增、删、读、改操作，还支持顺序扫描（B+树的叶子节点之间的指针），对应的存储系统就是关系数据库（Mysql等）。LSM树（Log-Structured Merge Tree）存储引擎和B树存储引擎一样，同样支持增、删、读、改、顺序扫描操作。而且通过批量存储技术规避磁盘随机写入问题。当然凡事有

linux

区别

原创 2016-02-09 13:26:14 4663 阅读

zookeeper配置

1.tickTime：CS通信心跳时间Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。tickTime=2000 2.initLimit：LF初始通信时限(leader与follower)集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（

配置

hadoop

原创 2016-02-05 23:53:36 840 阅读

mapreduce的resourcemanager，applicationMaster介绍

MapReduce拆分JobTracker为资源管理及任务生命周期管理两个独立的组件MapReduce在Hadoop2中称为MR2或YARN，将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的服务:用于管理全部资源的ResourceManager以及管理每个应用的ApplicationMaster，ResourceManager用于管理向应用程

Hadoop

hadoop

原创 2016-02-04 17:41:08 1258 阅读

mongodb中投票节点作用

投票节点并不含有复制集中的数据集副本，且也无法升职为主节点。投票节点的存在是为了使复制集中的节点数量为奇数，这样保证在进行投票的时候不会出现票数相同的情况。如果添加了一个节点后，总节点数为偶数，那么就需要相应的增加一个投票节点。

MongoDB

nosql

原创 2016-01-21 16:22:02 929 阅读

hbase了解

1 hbase中的数据都是字符串类型2 hbase中的数据只有增删改查，没有表之间的关联3 hbase是基于列式存储,rdbms是基于行式存储4 hbase适合存储大量数据，存储效率高

linux

原创 2016-01-18 23:26:20 780 阅读

redis中save和bgsave区别

SAVE 和 BGSAVE 两个命令都会调用 rdbSave 函数，但它们调用的方式各有不同： SAVE 直接调用 rdbSave ，阻塞 Redis 主进程，直到保存完成为止。在主进程阻塞期间，服务器不能处理客户端的任何请求。 BGSAVE 则 fork 出一个子进程，子进程负责调用 rdbSave ，并在保存完成之后向主进程发送信号，通知保存已完成。 Redis 服务器在BGSAVE

区别

redis

原创 2016-01-06 13:57:35 3045 阅读 1点赞

redis持久化

RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。持久化的数据有什么用？用于重启后的数据恢复。Redis是一个内存数据库，无论是RDB还是AOF，

持久化

redis

原创 2016-01-06 13:55:13 799 阅读

elasticsearch简介

Elasticsearch是面向文档型数据库，这意味着它存储的是整个对象或者文档，它不但会存储它们，还会为他们建立索引，这样你就可以搜索他们了。你可以在 Elasticsearch 中索引、搜索、排序和过滤这些文档。不需要成行成列的数据。所以为了创建员工名单，我们需要进行如下操作：为每一个员工的文档创建索引，每个文档都包含了一个员工的所有信息。每个文档都会被标记为 employee 类

elk

原创 2015-11-19 16:36:28 719 阅读

mongodb sharding key的选择

两个最容易出现的误区– 递增的sharding key– 随机的sharding keySharding key的选择递增的Sharding key– 数据文件挪动少（优势）– 因为数据文件递增，所以会把insert的写IO永久放在最后一片上，造成最后一片的写热点– 同时，随着最后一片的数据量增大，将不断的发生迁移至之前的片上Sharding key的选择随机的sharding key– 数

mysql

原创 2015-07-30 15:37:20 1079 阅读

mongodb优化基本方案

1 创建索引在查询或排序字段上创建索引，可以提高查询效率 2 限制返回结果数使用limit限制返回结果集的大小 3 只查询使用到的字段，不查询所有字段

mongodb

原创 2015-06-12 15:02:16 518 阅读

mongodb 中shell无法删除问题

第一步：选择Option菜单中的SessionOption。

mongo

原创 2015-06-12 14:04:00 847 阅读

mongodb避免的查询模式

1少用countdb.testcol1.find({xxx:15}).count() 2 避免large-skipdb.testcol1.find({xxx:15}).skip(100000).limit(10) 3 不用not in

mongodb

原创 2015-06-12 13:53:21 504 阅读

mongodb评论回复的相关设计

作品和评论可以设计为一个collection，评论作为子文档内嵌在art的comments属性中，评论的回复则作为comment子文档的子文档内嵌于replies属性。按照这种设计模式，只需要按照作品id检索一次，即可获得所有相关的信息了。

nosql

原创 2015-06-12 11:51:04 3157 阅读

mongodb建索引引起的问题

建索引就是一个容易引起长时间写锁的问题，MongoDB 在前台建索引时需要占用一个写锁（而且不会临时放弃），如果集合的数据量很大，建索引通常要花比较长时间，特别容易引起问题。解决的方法很简单，MongoDB提供了两种建索引的访问，一种是 background 方式，不需要长时间占用写锁，另一种是非 background 方式，需要长时间占用锁。使用background 方式就可以解决问

mongodb

原创 2015-06-12 11:40:45 1159 阅读

mongodb优化预读

1、优化预读采用LINUX的BLOCKDEV命令来把预读大小设置小一点，减少内存中无用数据占用，从而优化IO性能RA代表预读大小（扇区），推荐数值是16到32，如文档较小，预读数值可以小一点，修改后mongodb重启才能生效。预读默认256个扇区，大小为128Kmongodb很多都是随机访问,readhead要设置小一点。比如只要读10k,但读了128Kroot@db3-198:~# blockd

mongodb

原创 2015-06-11 23:54:58 1812 阅读

mongodb预先分配数据文件

mongodb预先分配数据文件，避免出现客户端超时#!/bin/bashfor i in {1..5}do echo $i head -c 120000000 /dev/zero > test.$idone

nosql

原创 2015-06-11 17:30:53 791 阅读

redis读写用法

对于读的操作： 1. 先去Redis cluster里找２.如果Redis集群里没找到，再去mysql里找，如果mysql里找到返回给前端，同时更新redis 对于写的操作：１.　直接写DB

redis

原创 2015-06-11 16:33:14 701 阅读 1点赞

redis重启后，相关文件加载顺序

同时存在aof和rdb文件时redis重启后，加载顺序是什么？先加载的是aof文件

mysql

原创 2015-06-11 15:03:55 1787 阅读 1点赞

mongodb 删除集合中的所有文档

db.test.remove() --> 无参数将删除该集合中的所有文档

nosql

mongodb

删除文档

原创 2015-04-15 17:36:59 2004 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

dba天空

欢迎

kafka中leader和folller的区别

kafka架构

yarn和hdfs

LSM和B+树区别

zookeeper配置

mapreduce的resourcemanager，applicationMaster介绍

mongodb中投票节点作用

hbase了解

redis中save和bgsave区别

redis持久化

elasticsearch简介

mongodb sharding key的选择

mongodb优化基本方案

mongodb 中shell无法删除问题

mongodb避免的查询模式

mongodb评论回复的相关设计

mongodb建索引引起的问题

mongodb优化预读

mongodb预先分配数据文件

redis读写用法

redis重启后，相关文件加载顺序

mongodb 删除集合中的所有文档