MongoDB图数据库 mongodb 数据湖

Mongodb

一. mongodb的安装

1. 安装

解压

• tar-xvzf mongodb-linux.tgz

移动到/user/local/目录下

• sudo mv -r mongodb-linux/ /usr/local/mongodb

将可执行文件放到path中

• export path = /usr/local/mongodb/bin:$PATH

二. 数据库的基础操作

1. 关于database的命令

• 查看数据库

• show dbs
• show databases

• 切换数据库

• use (database_name)

• 查看当前所在数据库

• db

• 删除数据库

• db.dropDatabase() 删除当前数据库

• 不需要创建数据库

• 可以直接use test1 默认创建(但是没有数据显示不出来)

2. 关于集合的基础命令

mongodb没有表的概念

不手动创建集合：

向不存在的集合第一次加入数据时，集合会被创建出来

手动创建集合

db.createCollection(name,options)

db.createCollection('stu')

db.createCollection('sub',{capped: true,size:10})

参数 capped:	默认值为false 表示不涉及上线 值为true 表示设置上线
参数size：	当capped值为true时，需要指定此参数，表示上限大小，当文档达到上限时，会被之前的数据覆盖 单位为字节

查看所有集合

show collections

删除集合

db.集合名.drop() 即可删除某个集合

3. 数据类型

Object ID： ⽂档ID

String： 字符串， 最常⽤， 必须是有效的UTF-8

Boolean： 存储⼀个布尔值，必须要小写，相当于json。字典嵌套字典。true或false

Integer： 整数可以是32位或64位， 这取决于服务器

Double： 存储浮点值

Arrays： 数组或列表， 多个值存储到⼀个键

Object： ⽤于嵌⼊式的⽂档， 即⼀个值为⼀个⽂档

Null： 存储Null值

Timestamp： 时间戳， 表示从1970-1-1到现在的总秒数

Date： 存储当前⽇期或时间的UNIX时间格式

4. 注意点：

• 创建⽇期语句如下 ：参数的格式为YYYY-MM-DD

new Date('2017-12-20')

• 每个⽂档都有⼀个属性， 为_id， 保证每个⽂档的唯⼀性

• 可以⾃⼰去设置id插⼊⽂档，如果没有提供， 那么MongoDB为每个⽂档提供了⼀个独特的id， 类型为objectID

• objectID是⼀个12字节的⼗六进制数：

• 前4个字节为当前时间戳
• 接下来3个字节的机器ID
• 接下来的2个字节中MongoDB的服务进程id
• 最后3个字节是简单的增量值

三. 数据库的增删改

1. 插入

db.集合名称.insert(document)

db.stu.insert({name:'gj',gender:1})

db.stu.insert({_id:"20170101",name:'gj',gender:1})

• 插⼊⽂档时， 如果不指定_id参数， MongoDB会为⽂档分配⼀个唯⼀的ObjectId

• id相同会报错

• 如果不用insert 而用save 则不会 则会更新不同之处

2. 保存

db.集合名称.save(document)

重点：如果文档的id已经存在则修改， 如果⽂档的id不存在则添加

3. 检查查询

db.集合名称.find()

4. 更新

db.集合名称.update(<query> ,<update>,{multi: <boolean>})

• 参数query:查询条件

• 参数update:更新操作符

• 参数multi:可选， 默认是false，表示只更新找到的第⼀条记录， 值为true表示把满⾜条件的⽂档全部更新

db.stu.update({name:'hr'},{name:'mnc'}) 更新一条

• 直接改变一个集合的值

• 后者替换前者

db.stu.update({name:'hr'},{$set:{name:'hys'}}) 更新一条的name的值

• 后者才是更新某一个键值

如果有同名的值 例如：

db.stu.update({},{$set:{gender:0}},{multi:true}) 更新全部

注意："multi update only works with $ operators"

5. 删除

db.集合名称.remove(<query>,{justOne: <boolean>})

• 参数query:可选，删除的⽂档的条件

• 参数justOne:可选， 如果设为true或1， 则只删除⼀条， 默认false， 表示删除多条

四. 数据库高级查询

1. 数据查询

⽅法find()： 查询

db.集合名称.find({条件⽂档})

⽅法findOne()：查询，只返回第⼀个

db.集合名称.findOne({条件⽂档})

⽅法pretty()： 将结果格式化

db.集合名称.find({条件⽂档}).pretty()

2. 比较运算符

等于： 默认是等于判断， 没有运算符

⼩于：$lt (less than)

⼩于等于：$lte (less than equal)

⼤于：$gt (greater than)

⼤于等于：$gte

不等于：$ne

db.stu.find({age:{$gte:18}})

3. 逻辑运算符

and：

在json中写多个条件即可

• 查询年龄⼤于或等于18， 并且性别为true的学⽣

db.stu.find({age:{$gte:18},gender:true})

or:

使⽤$or， 值为数组， 数组中每个元素为json

db.stu.find({$or:[{age:18},{gender:false}]})

• 查询年龄⼤于18， 或性别为false的学⽣

db.stu.find({$or:[{age:{$gt:18}},{gender:false}]})

• 查询年龄⼤于18或性别为男⽣， 并且姓名是郭靖

db.stu.find({$or:[{age:{$gte:18}},{gender:true}],name:'gj'})

4. 范围运算符

使⽤"$in"， "$nin" 判断是否在某个范围内

查询年龄为18、 28的学⽣

db.stu.find({age:{$in:[18,28]}})

5. 支持正则表达式

使⽤//或$regex编写正则表达式

查询姓⻩的学⽣

db.stu.find({name:/^⻩/})

db.stu.find({name:{$regex:'^⻩'}})

6. limit和skip

• ⽅法limit()： ⽤于读取指定数量的⽂档

db.集合名称.find().limit(NUMBER)

查询2条学⽣信息

db.stu.find().limit(2)

• ⽅法skip()： ⽤于跳过指定数量的⽂档

db.集合名称.find().skip(NUMBER)

db.stu.find().skip(2)

• 同时使用

db.stu.find().limit(4).skip(5)

或

db.stu.find().skip(5).limit(4)

7. 自定义查询

使⽤$where后⾯写⼀个函数， 返回满⾜条件的数据

查询年龄⼤于30的学⽣

db.stu.find({
   $where:function() {
  return this.age>30;}

})

8. 投影

只想返回想要返回的字段

在查询到的返回结果中， 只选择必要的字段

db.集合名称.find({},{字段名称:1,...})

参数为字段与值， 值为1表示显示， 值为0不显

特殊： 对于_id列默认是显示的， 如果不显示需要明确设置为0

db.stu.find({},{_id:0,name:1,gender:1})

db.test.find({$where:function(){return this.age>18;}},{name:1,_id:0})

{ "name" : "xiaowang" }

{ "name" : "xiaozhang" }

{ "name" : "xiaozhang" }

9.排序

⽅法sort()， ⽤于对 集进⾏排序

db.集合名称.find().sort({字段:1,...})

参数1为升序排列

参数-1为降序排列

根据性别降序， 再根据年龄升序

db.stu.find().sort({gender:-1,age:1})

10. 统计个数

⽅法count()⽤于统计结果集中⽂档条数

db.集合名称.find({条件}).count()

db.集合名称.count({条件})

db.stu.find({gender:true}).count()

db.stu.count({age:{$gt:20},gender:true})

11. 消除重复 唯一性

⽅法distinct()对数据进⾏去重

db.集合名称.distinct('去重字段',{条件})

db.stu.distinct('hometown',{age:{$gt:18}})

五. 数据库的备份与恢复

1. mongodb的备份

备份的语法：

mongodump -h dbhost -d dbname -o dbdirectory

• -h： 服务器地址， 也可以指定端⼝号

• -d： 需要备份的数据库名称

• -o： 备份的数据存放位置， 此⽬录中存放着备份出来的数据

例如：

mongodump -h 192.168.196.128:27017 -d test1 -o ~/Desktop/test1bak

2. mongo的恢复

恢复语法：

mongorestore -h dbhost -d dbname --dir dbdirectory

• -h： 服务器地址

• -d： 需要恢复的数据库实例

• -dir： 备份数据所在位置

例如：

mongorestore -h 192.168.196.128:27017 -d test2 --dir ~/Desktop/test1bak/test1

六. 聚合与管道

1. 聚合aggregate

聚合(aggregate)是基于数据处理的聚合管道，每个文档通过一个由多个阶段(stage)组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。

db.集合名称.aggregate({管道:{表达式}})

2.常用管道

在mongodb中，⽂档处理完毕后， 通过管道进⾏下⼀次处理

常用管道如下：

• $group： 将集合中的⽂档分组， 可⽤于统计结果

• $group对应的字典有几个健 结果就有几个键
• 分组依据需要放到_id后
• 取不同的字段的值需要使用 gender：$age

• $match： 过滤数据， 只输出符合条件的⽂档
• $project： 修改输⼊⽂档的结构， 如重命名、 增加、 删除字段、 创建计算结果
• $sort： 将输⼊⽂档排序后输出
• $limit： 限制聚合管道返回的⽂档数
• $skip： 跳过指定数量的⽂档， 并返回余下的⽂档
• $unwind： 将数组类型的字段进⾏拆分

3. 表达式

处理输⼊⽂档并输出

语法：表达式:'$列名'

常⽤表达式:

• $sum： 计算总和， $sum:1 表示以⼀倍计数
• $avg： 计算平均值
• $min： 获取最⼩值
• $max： 获取最⼤值
• $push： 在结果⽂档中插⼊值到⼀个数组中
• $first： 根据资源⽂档的排序获取第⼀个⽂档数据
• $last： 根据资源⽂档的排序获取最后⼀个⽂档数据

七. 聚合之group

1. $group

按照姓名进行group分组

db.test.aggregate(

{

$group:{

_id: '$name',

count: {

        $sum: 1

    },

'avg_age': {

        $avg: '$age'

        }

        }

    }

    )

统计所有的平均值

db.test.aggregate({

$group: {

_id: '',

'avg_age': {

$avg: '$age'

}

}

})

2. Group by null

3. 透视数据

八. match

match是管道命令，能将结果交给后一个管道，但是find不可以

九. Project

十. $skip和$limit

十一. Unwind

将⽂档中的某⼀个数组类型字段拆分成多条， 每条包含数组中的⼀个值

语法：db.集合名称.aggregate({$unwind:'$字段名称'})

db.t2.insert({_id:1,item:'t-shirt',size:['S','M','L']})

db.t2.aggregate({$unwind:'$size'})

结果如下：

{ "_id" : 1, "item" : "t-shirt", "size" : "S" }

{ "_id" : 1, "item" : "t-shirt", "size" : "M" }

{ "_id" : 1, "item" : "t-shirt", "size" : "L" }

十二. 索引

索引：以提升查询速度

测试：插入10万条数据到数据库中

for(i=0;i<100000;i++){db.t12.insert({name:'test'+i,age:i})}

db.t1.find({name:'test10000'})

db.t1.find({name:'test10000'}).explain('executionStats')

建立索引之后对比：

• 语法：db.集合.ensureIndex({属性:1})，1表示升序， -1表示降序

• 具体操作：db.t1.ensureIndex({name:1})

db.t1.find({name:'test10000'}).explain('executionStats')

1. 索引重点

• 在默认情况下创建的索引均不是唯一索引。
• 创建唯一索引:

db.t1.ensureIndex({"name":1},{"unique":true})

• 创建唯一索引并消除重复：

db.t1.ensureIndex({"name":1},{"unique":true,"dropDups":true})

• 建立联合索引(什么时候需要联合索引)：

db.t1.ensureIndex({name:1,age:1})

• 查看当前集合的所有索引：

db.t1.getIndexes()

• 删除索引：

db.t1.dropIndex('索引名称')