新建Core Admin之后,分析Core Admin磁盘大小

solr 目录:/home/bill/solr-7.7.2/server/solr

[bill@server solr]$ pwd
/home/bill/solr-7.7.2/server/solr

显示solr目录中全部文件,test001是新创建的Core Admin

[bill@server solr]$ ll
total 4
drwxr-xr-x 4 m300381 usergrp 57 May 16 2019 configsets
-rw-r--r-- 1 m300381 usergrp 3018 May 16 2019 README.txt
-rw-r--r-- 1 m300381 usergrp 2180 May 16 2019 solr.xml
drwxr-xr-x 4 m300381 usergrp 53 Mar 5 03:30 test001
-rw-r--r-- 1 m300381 usergrp 975 May 16 2019 zoo.cfg
[bill@server test001]$ pwd
/home/bill/solr-7.7.2/server/solr/test001

solr目录下所有文件/文件夹大小详情,新创建test001的文件夹大小为336k。

[bill@server solr]$ du -h --max-depth=4 *
...
1020K configsets
4.0K README.txt
4.0K solr.xml
336K test001
4.0K zoo.cfg

查看test001文件夹构成详细:

[bill@server solr]$ du -h --max-depth=4 *
200K configsets/_default/conf/lang
328K configsets/_default/conf
328K configsets/_default
16K configsets/sample_techproducts_configs/conf/clustering/carrot2
16K configsets/sample_techproducts_configs/conf/clustering
204K configsets/sample_techproducts_configs/conf/lang
176K configsets/sample_techproducts_configs/conf/velocity
36K configsets/sample_techproducts_configs/conf/xslt
692K configsets/sample_techproducts_configs/conf
692K configsets/sample_techproducts_configs
1020K configsets
4.0K README.txt
4.0K solr.xml
200K test001/conf/lang
328K test001/conf
0 test001/data/snapshot_metadata
4.0K test001/data/index
0 test001/data/tlog
4.0K test001/data
336K test001
4.0K zoo.cfg

对以上信息进行分类汇总,得到以下小结。

[bill@server solr]$ du -h --max-depth=4 *
...
200K test001/conf/lang
328K test001/conf
0 test001/data/snapshot_metadata
4.0K test001/data/index
0 test001/data/tlog
4.0K test001/data
336K test001

插入数据集后,分析Core Admin磁盘大小

  • 插入数据集信息

名称

Size

Size on disk

数据总数

列名

dataset.txt

164MB(172,115,894 bytes)

164MB(172,118,016 bytes)

295,118

(id, region, dataset, more)

 

 

solr - data analysis_文件夹大小

插入之后,test001文件夹大小。test001从336k变为105M。

[bill@server solr]$ du -h --max-depth=1*
1020K ./configsets
105M ./test001
[bill@server test001]$ du -h --max-depth=5 *
200K conf/lang
312K conf
4.0K core.properties
0 data/snapshot_metadata
82M data/index
24M data/tlog
105M data

data目录是最大的目录,solr查询数据就是从data目录的index开始。

查看data/index目录详情:

[bill@server index]$ ll
total 83184
-rw-r--r-- 1 bill usergrp 15123 Mar 6 10:49 _0_1.liv
-rw-r--r-- 1 bill usergrp 10451972 Mar 6 10:49 _0.fdt
-rw-r--r-- 1 bill usergrp 17932 Mar 6 10:49 _0.fdx
-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _0.fnm
-rw-r--r-- 1 bill usergrp 945866 Mar 6 10:49 _0_Lucene50_0.doc
-rw-r--r-- 1 bill usergrp 2702220 Mar 6 10:49 _0_Lucene50_0.pos
-rw-r--r-- 1 bill usergrp 21353350 Mar 6 10:49 _0_Lucene50_0.tim
-rw-r--r-- 1 bill usergrp 105022 Mar 6 10:49 _0_Lucene50_0.tip
-rw-r--r-- 1 bill usergrp 1154391 Mar 6 10:49 _0_Lucene70_0.dvd
-rw-r--r-- 1 bill usergrp 644 Mar 6 10:49 _0_Lucene70_0.dvm
-rw-r--r-- 1 bill usergrp 120522 Mar 6 10:48 _0.nvd
-rw-r--r-- 1 bill usergrp 100 Mar 6 10:48 _0.nvm
-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _0.si
-rw-r--r-- 1 bill usergrp 9803949 Mar 6 10:49 _1.fdt
-rw-r--r-- 1 bill usergrp 14245 Mar 6 10:49 _1.fdx
-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _1.fnm
-rw-r--r-- 1 bill usergrp 633091 Mar 6 10:49 _1_Lucene50_0.doc
-rw-r--r-- 1 bill usergrp 2108878 Mar 6 10:49 _1_Lucene50_0.pos
-rw-r--r-- 1 bill usergrp 19678690 Mar 6 10:49 _1_Lucene50_0.tim
-rw-r--r-- 1 bill usergrp 89713 Mar 6 10:49 _1_Lucene50_0.tip
-rw-r--r-- 1 bill usergrp 1168394 Mar 6 10:49 _1_Lucene70_0.dvd
-rw-r--r-- 1 bill usergrp 644 Mar 6 10:49 _1_Lucene70_0.dvm
-rw-r--r-- 1 bill usergrp 130649 Mar 6 10:49 _1.nvd
-rw-r--r-- 1 bill usergrp 100 Mar 6 10:49 _1.nvm
-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _1.si
-rw-r--r-- 1 bill usergrp 744429 Mar 6 10:49 _2.fdt
-rw-r--r-- 1 bill usergrp 1109 Mar 6 10:49 _2.fdx
-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _2.fnm
-rw-r--r-- 1 bill usergrp 51480 Mar 6 10:49 _2_Lucene50_0.doc
-rw-r--r-- 1 bill usergrp 160589 Mar 6 10:49 _2_Lucene50_0.pos
-rw-r--r-- 1 bill usergrp 1440220 Mar 6 10:49 _2_Lucene50_0.tim
-rw-r--r-- 1 bill usergrp 7400 Mar 6 10:49 _2_Lucene50_0.tip
-rw-r--r-- 1 bill usergrp 84838 Mar 6 10:49 _2_Lucene70_0.dvd
-rw-r--r-- 1 bill usergrp 643 Mar 6 10:49 _2_Lucene70_0.dvm
-rw-r--r-- 1 bill usergrp 10090 Mar 6 10:49 _2.nvd
-rw-r--r-- 1 bill usergrp 100 Mar 6 10:49 _2.nvm
-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _2.si
-rw-r--r-- 1 bill usergrp 3194601 Mar 6 10:49 _3.fdt
-rw-r--r-- 1 bill usergrp 4349 Mar 6 10:49 _3.fdx
-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _3.fnm
-rw-r--r-- 1 bill usergrp 159434 Mar 6 10:49 _3_Lucene50_0.doc
-rw-r--r-- 1 bill usergrp 381113 Mar 6 10:49 _3_Lucene50_0.pos
-rw-r--r-- 1 bill usergrp 7909525 Mar 6 10:49 _3_Lucene50_0.tim
-rw-r--r-- 1 bill usergrp 30498 Mar 6 10:49 _3_Lucene50_0.tip
-rw-r--r-- 1 bill usergrp 292336 Mar 6 10:49 _3_Lucene70_0.dvd
-rw-r--r-- 1 bill usergrp 644 Mar 6 10:49 _3_Lucene70_0.dvm
-rw-r--r-- 1 bill usergrp 34093 Mar 6 10:49 _3.nvd
-rw-r--r-- 1 bill usergrp 100 Mar 6 10:49 _3.nvm
-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _3.si
-rw-r--r-- 1 bill usergrp 1512 Mar 6 10:49 _4.fdt
-rw-r--r-- 1 bill usergrp 84 Mar 6 10:49 _4.fdx
-rw-r--r-- 1 bill usergrp 740 Mar 6 10:49 _4.fnm
-rw-r--r-- 1 bill usergrp 287 Mar 6 10:49 _4_Lucene50_0.doc
-rw-r--r-- 1 bill usergrp 300 Mar 6 10:49 _4_Lucene50_0.pos
-rw-r--r-- 1 bill usergrp 3715 Mar 6 10:49 _4_Lucene50_0.tim
-rw-r--r-- 1 bill usergrp 174 Mar 6 10:49 _4_Lucene50_0.tip
-rw-r--r-- 1 bill usergrp 137 Mar 6 10:49 _4_Lucene70_0.dvd
-rw-r--r-- 1 bill usergrp 722 Mar 6 10:49 _4_Lucene70_0.dvm
-rw-r--r-- 1 bill usergrp 69 Mar 6 10:49 _4.nvd
-rw-r--r-- 1 bill usergrp 100 Mar 6 10:49 _4.nvm
-rw-r--r-- 1 bill usergrp 522 Mar 6 10:49 _4.si
-rw-r--r-- 1 bill usergrp 463 Mar 6 10:49 segments_4
-rw-r--r-- 1 bill usergrp 0 Mar 5 03:30 write.lock

solr是将数据库的数据通过一定的索引规则,转化成容易检索的本地文件,文件的后缀名为.fdt,然后我们通过solr去访问这些本地文件(这些都是由solr内部完成的)。