为啥kylin on spark的日志看不到,明明在运行时是能看到的,但是停止后就看不到了呢?
在看下/user/spark/applicationHistory路径下根本没有kylin on spark 的app的日志.
先屡一下思路,自己运行的正常的spark app停止后是可以看到日志的,但是kylin on spark 却看不到,说明这个不是yarn JobHistory Server的锅,也不是spark-history-server的锅,那基本上kylin自己的问题,再加上之前kylin是需要自己配置spark,以及mr信息的参数.
所以基本上定位到kylin的spark配置部分了.
咱们具体来探个究竟:
more conf/kylin.properties | grep spark-history
kylin.engine.spark-conf.spark.eventLog.dir=hdfs:///kylin/spark-history
kylin.engine.spark-conf.spark.history.fs.logDirectory=hdfs:///kylin/spark-history
修改默认的配置:
kylin.engine.spark-conf.spark.eventLog.dir=hdfs\:///user/spark/applicationHistory
kylin.engine.spark-conf.spark.history.fs.logDirectory=hdfs\:///user/spark/applicationHistory
点击上面的reload config,把之前的历史日志,移动到当前的路径下:
hive> dfs -mv /kylin/spark-history/* /user/spark/applicationHistory/ ;
到此为止即可.
