pache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化。背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的,就是来自于当时的demo。



软件功能

  数据提取

  数据发掘

  数据分析

  数据可视化展示以及合作



软件特色

  Apache Spark 集成

  Zeppelin 提供了内置的 Apache Spark 集成。你不需要单独构建一个模块、插件或者库。

  Zeppelin的Spark集成提供了:

  自动引入SparkContext 和 SQLContext

  从本地文件系统或maven库载入运行时依赖的jar包。更多关于依赖载入器

  可取消job 和 展示job进度



安装说明

  1. 安装好npm和node

  2. 进入zeppelin-web目录下,执行npm install。它会根据package.json的描述安装一些grunt的组件,安装bower,然后再目录下生产一个node_modules目录。

  3. 执行bower –-allow-root install,会根据bower.json安装前段库依赖,有点类似于java的mvn。

  4. 执行grunt --no-color –-force,会根据Gruntfile.js整理web文件。

  第3、4步要注意,本来给定的bower和grunt文件中使用的"node/node"命令,因为使用maven自动安装时,会在当前目录下生成node目录,其中包含node命令。我们之前已经安装了nodejs命令,并新链接了命令node,所以这里需要将其修改为"node"。

  5. 执行mvn install -DskipTests,把web项目打包,在target目录下会生成war

  pom.xml在生成war包的时候,要参照dist\WEB-INF\web.xml文件,所以在执行该步骤之前,要明确zeppelin-web目录下由dist目录,才能最终生成正确的war包。



使用方法

  数据可视化

  一些基本的图表已经包含在Zeppelin中。可视化并不只限于SparkSQL查询,后端的任何语言的输出都可以被识别并可视化。

  Bank

spark可视化项目 spark可视化工具_ui

  动态表格

  Zeppelin 可以在你的笔记本中动态地创建一些输入格式。

spark可视化项目 spark可视化工具_spark可视化项目_02

  协作

  Notebook 的 URL 可以在协作者间分享。 Zeppelin 然后可以实时广播任何变化,就像在 Google docs 中一样。

spark可视化项目 spark可视化工具_大数据_03

  发布

  Zeppelin提供了一个URL用来仅仅展示结果,那个页面不包括Zeppelin的菜单和按钮。这样,你可以轻易地将其作为一个iframe集成到你的网站。

spark可视化项目 spark可视化工具_Python_04



更新日志

  后端 interpreter 支持

  该版本支持以下新的 interpreter

  Beam

  Pig

  Scio

  Spark

  ZEPPELIN-1643 - 从 interpreter 页面访问 spark web UI

  ZEPPELIN-1815 - 支持 Spark 2.1

  ZEPPELIN-1883 - 无法在 PySpark 中导入 spark 提交的包

  Python

  ZEPPELIN-1115 - interpreter for SQL over DataFrame

  ZEPPELIN-1318 - 添加对在 python interpreter 中显示 png 图像的 matplotlib 的支持

  ZEPPELIN-1345 - 创建一个自定义的 matplotlib 后端,本地支持在 Python interpreter 单元格中的内联绘制

  ZEPPELIN-1655 - Python interpreter 中的动态表单不起作用

  ZEPPELIN-1671 - Conda interpreter

  ZEPPELIN-1683 - 在 docker 容器中运行 python 进程