Linux安装Docker和Airflow
在本文中，我们将介绍如何在Linux系统上安装Docker和Airflow，并提供相关的代码示例。Docker是一个开源的容器化平台，它允许开发人员将应用程序与其依赖项打包成一个可移植的容器。Airflow是一个用于编排、调度和监控工作流的开源平台。
安装Docker
首先，我们需要安装Docker。以下是在Ubuntu系统上安装Docker的步骤：
- 更新系统软件包：
$ sudo apt-get update
- 安装Docker的依赖项：
$ sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
- 添加Docker官方的GPG密钥：
$ curl -fsSL | sudo apt-key add -
- 添加Docker的软件源：
$ sudo add-apt-repository "deb [arch=amd64] $(lsb_release -cs) stable"
- 更新软件包列表：
$ sudo apt-get update
- 安装Docker CE（社区版）：
$ sudo apt-get install docker-ce
- 验证Docker是否安装成功：
$ sudo docker run hello-world
如果一切正常，你将看到一条欢迎信息。
安装Airflow
接下来，我们将安装Airflow。以下是在Linux系统上安装Airflow的步骤：
- 安装Python pip工具：
$ sudo apt-get install python-pip
- 使用pip安装Airflow：
$ sudo pip install apache-airflow
- 初始化Airflow数据库：
$ airflow initdb
- 启动Airflow web服务：
$ airflow webserver -p 8080
现在，你可以通过浏览器访问http://localhost:8080来访问Airflow的Web界面。
Docker和Airflow的使用示例
下面是一个简单的使用Docker和Airflow的示例。假设我们有一个名为"hello_world"的Docker镜像，该镜像运行一个简单的Python脚本，输出"Hello, World!"。
首先，我们需要创建一个Dockerfile来构建我们的镜像。在项目的根目录下，创建一个名为Dockerfile的文件，并添加以下内容：
FROM python:3
COPY . /app
WORKDIR /app
RUN pip install -r requirements.txt
CMD [ "python", "./hello_world.py" ]
然后，我们需要创建一个名为"hello_world.py"的Python脚本，在脚本中添加以下内容：
print("Hello, World!")
接下来，我们需要创建一个名为"docker-compose.yml"的配置文件，用于定义我们的Docker服务。在文件中添加以下内容：
version: '3'
services:
hello_world:
build:
context: .
dockerfile: Dockerfile
ports:
- "5000:5000"
然后，我们可以使用以下命令来启动我们的Docker服务：
$ docker-compose up
现在，我们的Docker容器将在端口5000上运行，并输出"Hello, World!"。
最后，我们可以使用Airflow来调度和监控我们的任务。在Airflow的Web界面中，我们可以创建一个新的DAG（Directed Acyclic Graph），并定义我们的任务和依赖关系。
以下是一个简单的Airflow DAG示例：
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime
default_args = {
'owner': 'airflow',
'start_date': datetime(2021, 1, 1),
}
dag = DAG('hello_world_dag', default_args=default_args, schedule_interval='@once')
task1 = BashOperator(
task_id='docker_build',
bash_command='docker-compose build',
dag=dag
)
task2 = BashOperator(
task_id='docker_up',
bash_command='docker-compose up',
dag=dag
)
task1 >> task2
在上面的示例中，我们创建了一个名为"hello_world_dag"的DAG，其中包含两个任务：docker_build和docker_up。任务docker_build用于构建D
