pache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化。背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的,就是来自于当时的demo。
软件功能
数据提取
数据发掘
数据分析
数据可视化展示以及合作
软件特色
Apache Spark 集成
Zeppelin 提供了内置的 Apache Spark 集成。你不需要单独构建一个模块、插件或者库。
Zeppelin的Spark集成提供了:
自动引入SparkContext 和 SQLContext
从本地文件系统或maven库载入运行时依赖的jar包。更多关于依赖载入器
可取消job 和 展示job进度
安装说明
1. 安装好npm和node
2. 进入zeppelin-web目录下,执行npm install。它会根据package.json的描述安装一些grunt的组件,安装bower,然后再目录下生产一个node_modules目录。
3. 执行bower –-allow-root install,会根据bower.json安装前段库依赖,有点类似于java的mvn。
4. 执行grunt --no-color –-force,会根据Gruntfile.js整理web文件。
第3、4步要注意,本来给定的bower和grunt文件中使用的"node/node"命令,因为使用maven自动安装时,会在当前目录下生成node目录,其中包含node命令。我们之前已经安装了nodejs命令,并新链接了命令node,所以这里需要将其修改为"node"。
5. 执行mvn install -DskipTests,把web项目打包,在target目录下会生成war
pom.xml在生成war包的时候,要参照dist\WEB-INF\web.xml文件,所以在执行该步骤之前,要明确zeppelin-web目录下由dist目录,才能最终生成正确的war包。
使用方法
数据可视化
一些基本的图表已经包含在Zeppelin中。可视化并不只限于SparkSQL查询,后端的任何语言的输出都可以被识别并可视化。
Bank
动态表格
Zeppelin 可以在你的笔记本中动态地创建一些输入格式。
协作
Notebook 的 URL 可以在协作者间分享。 Zeppelin 然后可以实时广播任何变化,就像在 Google docs 中一样。
发布
Zeppelin提供了一个URL用来仅仅展示结果,那个页面不包括Zeppelin的菜单和按钮。这样,你可以轻易地将其作为一个iframe集成到你的网站。
更新日志
后端 interpreter 支持
该版本支持以下新的 interpreter
Beam
Pig
Scio
Spark
ZEPPELIN-1643 - 从 interpreter 页面访问 spark web UI
ZEPPELIN-1815 - 支持 Spark 2.1
ZEPPELIN-1883 - 无法在 PySpark 中导入 spark 提交的包
Python
ZEPPELIN-1115 - interpreter for SQL over DataFrame
ZEPPELIN-1318 - 添加对在 python interpreter 中显示 png 图像的 matplotlib 的支持
ZEPPELIN-1345 - 创建一个自定义的 matplotlib 后端,本地支持在 Python interpreter 单元格中的内联绘制
ZEPPELIN-1655 - Python interpreter 中的动态表单不起作用
ZEPPELIN-1671 - Conda interpreter
ZEPPELIN-1683 - 在 docker 容器中运行 python 进程