涔愯儢浠ｈ喘鍏嶄唬鐞嗙増

2015钳10奉09泣

VirtualBoxのファイルシステムを10擒庐くする ~ find试 ~

もう、あって碰たり涟というところまで炕譬してきた簿鳞茨董、みなさまは部をお蝗いでしょうか?

讳の件收ではVirtualBoxがよく蝗われています。

诺房弄な蝗い数としては、笆布のような炊じです。

ホストOSには、mac/windowsをつかう
ゲストOSには、Linuxを蝗う
鼎铜フォルダを蝗って、ホストとゲストでファイルを鼎铜する

その面でも孟蹋に脚妥なのが鼎铜フォルダ。

鼎铜フォルダとは、ホストOSのファイルシステムをゲストOSからマウントするための、VirtualBoxが捏丁している慌寥みです。

しかし守网な瓤烫、ファイルアクセスが润撅に觅いという兰をよく使きます。

findが姜わらないとか、git statusが觅すぎるとか...

この啼玛への滦忽を玫してみると、布淡のような湿がみつかります。

しかし、vboxsfそのものへの滦忽は艰られていないようです。

そこで、vboxsfと戮のファイルシステムとの刁瓢や悸刘の般いを拇べ、vboxsfを庐くしてみようと蛔いました。

そのいくつか疽拆していきたいと蛔います。

海搀艰り惧げるのは、findが觅い凤について。

浮沮した茨董

浮沮した茨董としては笆布の奶りです。

また、拇汉滦据にしたディレクトリは、ファイル眶３它、推翁は4GBとなっています。

茨董	ツ〖ル	version
VirualBox		4.3.28
VMWare Fusion		7.1.2
ホストOS		OS X Yosemite 10.10.2
ゲストOS		Debian 8.1 (Jessie)
	findutils	GNU findutils 4.4.2
	coreutils	GNU coreutils 8.23
	glibc	2.19
	linux kernel	3.16.0-4-amd64
	VBoxGuestAdditions	4.3.18
	VMwareTools	9.9.3

附据を澄千する

まずは、findコマンドが塑碰に觅いのか、戮のファイルシステムと孺秤してみることにしました。

孺秤滦据には、VMWareのホスト-ゲスト粗のファイル鼎铜で蝗われているvmhgfsを联びました。

これを联んだ妄统は、vboxsfと慌寥みが紊く击ていることからです。

vboxsfとvmhgfsそれぞれで、findコマンド悸乖したときのtime/straceの冯蔡を布に绩します。

timeの冯蔡を斧ると、澄かにvboxsfの数が觅くなっていることが澄千できます。

またstraceで、悸乖されているシステムコ〖ルを澄千してみると、vboxsfにおいて呵も箕粗のかかっているシステムコ〖ルはnewfstatatで、その悸乖搀眶がvmhgfsと络きく佰なる祸がわかります。

ここから、vboxsf/vmhgfsの部らかの般いによってfindコマンド柒で悸乖される借妄が佰なっていることがわかります。

parameter	vmhgfs	vboxsf
time(real)	0m7.205s	0m19.774s
time(sys)	0m5.740s	0m8.088s

// vboxsf
$ strace -c find .
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 76.59    0.509083          15     34145           newfstatat   <-ここ
 10.86    0.072196          73       993           openat
 10.24    0.068043          68      1005         6 open
  2.14    0.014249           0     34145           write
  0.14    0.000952           1       998           fstat
  0.03    0.000173           0      2013           getdents
  (臼维)

// vmhgfs
$ strace -c find .
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 94.99    3.207002        1593      2013           getdents
  2.36    0.079565          79      1005         6 open
  1.96    0.066032          66       993           openat
  0.38    0.012751          13       993           newfstatat   <-ここ
  0.19    0.006551           0     34145           write
  0.12    0.004198           2      1993           close
  0.00    0.000139           0       998           fstat
  (臼维)


コ〖ドを纳う
つぎに、なぜvboxsf/vmhgfsでnewfstatatの钙び叫し搀眶が佰なるのかを拇べてみました。
findのコ〖ド
コ〖ドを粕み渴めていった冯蔡、newfstatatを悸乖するか容かは、笆布で疯められている祸がわかりました。
// findutils-4.4.2/gnulib/lib/fts.c 1135-1140
            bool skip_stat = (ISSET(FTS_PHYSICAL)
                      && ISSET(FTS_NOSTAT)
                      && DT_IS_KNOWN(dp)
                      && ! DT_MUST_BE(dp, DT_DIR));
            p->fts_info = FTS_NSOK;
            fts_set_stat_required(p, !skip_stat);

dpはglibcの簇眶readdirを蝗って艰评したdirent 菇陇挛です。
dirent 菇陇挛は、ファイルパスとinode戎规をキャッシュしているもので、肩にパスからinode戎规への恃垂に蝗われています。
この冉年ではd_typeを澄千し、DT_UNKNOWN,DT_DIRであった眷圭に、statを悸乖することになっています。
また、gdbでvboxsf/vmhgfsでこの箕の猛を澄千してみると、vboxsfでは撅にdp->d_type=0 (DT_UNKNOWN)であるに滦して、vmhgfsではdp->d_type=4 (DT_DIR)、dp->d_type=8 (DT_REG)を手している祸がわかりました。
澄かに readdirの棱汤にも笆布のように淡されています。

d_type フィ〖ルドは Linux 笆嘲では 肩に BSD 废のシステムにだけ赂哼する. このフィ〖ルドを蝗うと その稿の瓢侯がファイルの硷侍により疯まる眷圭に lstat(2) を钙び叫すコストを闰けることができる. 怠墙浮汉マクロ BSDSOURCE が年盗された眷圭 glibc は d_type で手される猛として笆布のマクロ年眶を年盗する.

つまりこの啼玛は、vboxsfではd_typeを链てDT_UNKOWNで手しているために、statを途纷に悸乖する涩妥があり、その尸vmhgfsより觅くなっている祸が付傍であるといえます。
glibc / linux kernelのコ〖ド
鲁いて、なぜvboxsfでd_typeを链てDT_UNKOWNで手しているのか拇べてみました。
そのために、readdirがどのようにファイルシステムから攫鼠を艰评しているのかを纳う涩妥があります。
readdirは、glibc柒に年盗されており、笆布のようにsyscall getdentsを钙んでいることがわかります。
# glibc-2.19/sysdeps/posix/readdir.c
      bytes = __GETDENTS (dirp->fd, dirp->data, maxread);

また、getdentsは、linux kernel柒で年盗されており、その面からfile->f_op->iterateが钙び叫されています。
// linux/fs/readdir.c
    if (!IS_DEADDIR(inode)) {
        ctx->pos = file->f_pos;
        res = file->f_op->iterate(file, ctx);
        file->f_pos = ctx->pos;
        fsnotify_access(file);
        file_accessed(file);
    }

file->f_opはファイル拎侯を乖うメソッド凡で、ファイルシステムごとに年盗されています。
vboxsfのコ〖ド
file->f_opはファイルシステムに年盗されているので、ここからはvboxsfの悸刘をみていきます。
vboxsfにおいて、file->f_op->iterateは笆布のように年盗されています。
戮のファイルシステムでも、努碰にgrepすれば词帽に斧つけられるでしょう。
// VirtualBox-4.3.28/src/VBox/Additions/linux/sharedfolders/dirops.c
struct file_operations sf_dir_fops =
{
    .open    = sf_dir_open,
    .iterate = sf_dir_iterate,
    .release = sf_dir_release,
    .read    = generic_read_dir,
    .llseek  = generic_file_llseek
};

そして、vboxsfのsf_dir_iterateを纳っていくと、笆布の淡揭が斧つかりました。
// VirtualBox-4.3.28/src/VBox/Additions/linux/sharedfolders/dirops.c
        if (!dir_emit(ctx, d_name, strlen(d_name), fake_ino, DT_UNKNOWN))
        {
            LogFunc(("dir_emit failed\n"));
            return 0;
        }

dir_emitは、艰评したファイル叹とinode戎规をディレクトリエントリとして、判峡するための簇眶です。
このようにvboxsfでは、getdentsを悸乖した冯蔡として、inode戎规とファイル叹だけ手しており、d_typeには链てDT_UNKNOWNを手していることがわかりました。
そのため、vboxsfでホスト娄からdentryの硷梧を艰评し、d_typeとして手すことができれば、vboxsfでもfindを庐くすることができると雇えました。
vboxsfを饯赖する
赖しいd_typeを判峡するためには、ホスト娄でd_typeを艰评しなければなりません。
dentryを艰评するやり数を澄千すると、ゲスト娄で瓢いているvboxsfから、ホスト娄で瓢いているサ〖ビスに冯蔡を啼い圭わせていることがわかりました。
dentryを艰评しているホスト娄でのコ〖ドはmac/windowsそれぞれ笆布のようになっています。
// VirtualBox-4.3.28/src/VBox/Runtime/r3/posix/dir-posix.cpp
RTDECL(int) RTDirRead(PRTDIR pDir, PRTDIRENTRY pDirEntry, size_t *pcbDirEntry)
...
            pDirEntry->INodeId = pDir->Data.d_ino; /* may need #ifdefing later */
            pDirEntry->enmType = rtDirType(pDir->Data.d_type);
            pDirEntry->cbName  = (uint16_t)cchName;

// VirtualBox-4.3.28/src/VBox/Runtime/r3/win/direnum-win.cpp
RTDECL(int) RTDirRead(PRTDIR pDir, PRTDIRENTRY pDirEntry, size_t *pcbDirEntry)
...
    pDir->fDataUnread  = false;
    pDirEntry->INodeId = 0; /** @todo we can use the fileid here if we must (see GetFileInformationByHandle). */
    pDirEntry->enmType = pDir->Data.dwFileAttributes & FILE_ATTRIBUTE_DIRECTORY
                       ? RTDIRENTRYTYPE_DIRECTORY : RTDIRENTRYTYPE_FILE;
    pDirEntry->cbName  = (uint16_t)cchName;

これを斧ると、dentryの攫鼠を艰评する狠、d_type(pDirEntry->enmType)も办斤に艰评されていることがわかります。
ここから啼玛は、ゲスト娄まで猛を手しているけどそれを肋年していないだけであるようです。
そこでvboxsfで、こんな炊じでホスト娄から艰评したd_typeを手すように饯赖を乖いました。
冯蔡
この饯赖を乖った惧で、黎ほどと票屯にfindコマンドを悸乖したときのtime/straceの冯蔡を笆布に绩します。
笆布のように、newfstatatの钙び叫し搀眶が负っていることがわかります。
また、その尸悸乖箕粗も没くなっており、vmhgfsと票镍刨の庐刨になりました。



parameter
vmhgfs
vboxsf (before)
vboxsf (after)




time(real)
0m7.205s
0m19.774s
0m3.385s


time(sys)
0m5.740s
0m8.088s
0m0.860s



% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 55.75    0.090346          90      1005         6 open
 37.71    0.061110          62       993           openat
  4.58    0.007425           0     34145           write
  0.97    0.001571           2       993           newfstatat   <- ここ
  0.66    0.001071           1       998           fstat
  0.20    0.000326           0      1989           fchdir
  0.12    0.000194           0      2013           getdents
  0.00    0.000000           0         4           read
  (臼维)

まとめ
vboxsfで赖しいd_typeを手してやることで、findのようにd_typeを蝗って借妄を猴负しているコマンドを庐くすることができました。
またこの饯赖は、VirtualBox 5.0.2の饯赖に艰り哈まれました。

parameter	vmhgfs	vboxsf (before)	vboxsf (after)
time(real)	0m7.205s	0m19.774s	0m3.385s
time(sys)	0m5.740s	0m8.088s	0m0.860s


				
				kokukuma2 at 14:17áComments(0)áTrackBack(0)

このBlogのトップへá涟の淡祸á肌の淡祸


			

			
			
			
				トラックバックURL
				
				
				
					
					
				
				
				
			
			
			
			
			
			
			
			
			
			
			
			
			
			 

				この淡祸にコメントする
				
				
				
				
				
			
			 
				
				
				 
					叹涟: 
					
				
				 
					メ〖ル: 
					
				
				 
					URL: 
					
				
				 
					 
					攫鼠を淡脖: 
					
					删擦: 
					
					
					撮   
					
					辣

DSAS倡券荚の婶舶

VirtualBoxのファイルシステムを10擒庐くする ~ find试 ~

浮沮した茨董

附据を澄千する

コ〖ドを纳う

findのコ〖ド

glibc / linux kernelのコ〖ド

vboxsfのコ〖ド

vboxsfを饯赖する

冯蔡

まとめ

トラックバックURL

この淡祸にコメントする