削った後に研磨できる環境がないのであれば止めたほうが良いですね。 硬度があるため一度傷つけたら滑らかにするのが容易ではないでしょう。 削ったあとはザラザラ感が気になって、今度はそれを何とかしたいという思いになると思われます。