Python

linux日常运维python脚本 运维常用python脚本_python

 

Python 是一种简单易学、高效且功能强大的编程语言，它拥有丰富的第三方库和工具，让运维工作更加轻松和高效。下面我们将介绍 Python 在运维中的常见应用。

自动化脚本

Python 在运维领域中最常见的应用就是编写自动化脚本，它可以帮助我们完成各种繁琐的任务，如系统配置、部署、监控和维护等。以下是一个简单的 Python 自动化脚本示例：



pythonCopy code

#!/usr/bin/env python # -*- coding: utf-8 -*- import os # 执行系统命令 os.system("ls -l")

在这个示例中，我们使用 Python 的 os 模块执行了一个简单的系统命令 ls -l。

系统管理工具

Python 还可以用于编写各种系统管理工具，例如监控系统性能、配置管理、日志分析等。以下是一个使用 Python 监控系统 CPU 使用率的示例：



pythonCopy code

#!/usr/bin/env python # -*- coding: utf-8 -*- import psutil # 获取 CPU 使用率 cpu_percent = psutil.cpu_percent(interval=1) # 打印 CPU 使用率 print("CPU 使用率: %s%%" % cpu_percent)

在这个示例中，我们使用了 psutil 模块来获取系统 CPU 使用率，并将其打印输出。

数据处理和分析

Python 还可以用于处理和分析大量的数据，例如日志、配置文件、数据库等。以下是一个使用 Python 分析 Nginx 日志的示例：



pythonCopy code

#!/usr/bin/env python # -*- coding: utf-8 -*- import re # 打开日志文件 with open("access.log", "r") as f: # 读取日志内容 logs = f.read() # 使用正则表达式匹配 IP 地址 ips = re.findall(r"\d+\.\d+\.\d+\.\d+", logs) # 统计 IP 数量 count = len(set(ips)) # 打印结果 print("IP 数量为：%s" % count)

在这个示例中，我们使用了 Python 的正则表

达式模块 re 来匹配 Nginx 日志中的 IP 地址，并统计其数量。

Go

linux日常运维python脚本 运维常用python脚本_linux日常运维python脚本_02

 

Go 语言

Go 是 Google 开发的一种静态类型、编译型、并发型、高效的开源编程语言。它的主要设计目标是兼具静态语言的安全性和高效性以及动态语言的开发效率。Go 语言在运维领域中得到了广泛的应用，例如构建网络服务、工具和自动化脚本等。

  1. 网络编程

Go 语言内置了对并发编程的支持，使其在网络编程中表现出色。Go 标准库中的 net 包提供了对 TCP、UDP、HTTP、WebSocket 等协议的支持。通过使用这些包，可以快速轻松地构建高性能的网络服务。下面是一个简单的 TCP 服务器例子：



goCopy code

package main import ( "fmt" "net" ) func handleConn(conn net.Conn) { defer conn.Close() for { // 读取客户端请求 req := make([]byte, 1024) n, err := conn.Read(req) if err != nil { fmt.Println("Error reading:", err.Error()) return } // 处理客户端请求 resp := []byte("Hello, " + string(req[:n])) _, err = conn.Write(resp) if err != nil { fmt.Println("Error writing:", err.Error()) return } } } func main() { ln, err := net.Listen("tcp", ":8080") if err != nil { fmt.Println("Error listening:", err.Error()) return } defer ln.Close() fmt.Println("Listening on :8080...") for { conn, err := ln.Accept() if err != nil { fmt.Println("Error accepting:", err.Error()) continue } go handleConn(conn) } }
  1. 并发编程

Go 语言天生支持并发编程，提供了轻量级线程的概念，称为 goroutine。与传统的线程相比，goroutine 更加轻量级，可以在一个操作系统线程中同时运行多个 goroutine，从而提高程序的并发性能。在运维中，goroutine 可以用于异步处理任务、同时执行多个操作等。下面是一个简单的 goroutine 例子：



goCopy code

package main import ( "fmt" "time" ) func main() { go func() { for i := 0; i < 5; i++ { fmt.Println("goroutine:", i) time.Sleep(time.Second) } }() for i := 0; i < 5; i++ { fmt.Println("main:", i) time.Sleep(time.Second) } }
  1. 命令行工具开发

Go 语言标准库提供了很多用于开发命令行工具的包，例如 flag 包用于解析命令行参数，os/exec 包用于执行外部命令等。在运维中，我们经常需要编写一些自动化脚本或命令行

  1. 开发 Web 应用程序

Java 可以使用多种框架来开发 Web 应用程序，如 Spring、Struts、JSF 等。这些框架提供了一组工具和库，可以加快 Web 应用程序的开发和部署，并提供更好的性能和可靠性。

以下是一个使用 Spring 框架编写的 Hello World Web 应用程序的示例：



javaCopy code

import org.springframework.stereotype.Controller; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.ResponseBody; @Controller public class HelloWorldController { @RequestMapping("/") @ResponseBody public String helloWorld() { return "Hello World!"; } }
  1. 开发企业应用程序

Java 提供了 Java Enterprise Edition（Java EE）平台，用于开发企业应用程序。Java EE 提供了许多组件，如 EJB（Enterprise JavaBeans）、JMS（Java Message Service）和 JPA（Java Persistence API），用于构建分布式系统。

以下是一个使用 EJB 编写的 Hello World 企业应用程序的示例：



javaCopy code

import javax.ejb.Stateless; @Stateless public class HelloWorldBean implements HelloWorld { public String sayHello() { return "Hello World!"; } }
  1. 开发大型分布式系统

Java 提供了许多工具和库，用于开发大型分布式系统。例如，Hadoop 是一个用于处理大规模数据的框架，而 ZooKeeper 是一个用于协调分布式应用程序的库。

以下是一个使用 Hadoop 框架编写的 Word Count 示例：



javaCopy code

import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context

一些常用的 Python 库和模块包括：

  • requests: 用于 HTTP 请求和响应的库，可用于爬虫、API 访问等。
  • NumPy: 数值计算库，用于进行高性能的数学计算和矩阵运算。
  • Pandas: 数据分析和处理库，用于读取和处理结构化数据。
  • Matplotlib: 绘制图表和可视化数据的库。
  • SciPy: 数学、科学和工程计算的库，提供各种数学算法和函数。
  • Scikit-learn: 机器学习库，包括各种分类、回归和聚类算法。
  • TensorFlow: 由 Google 开发的深度学习框架，用于训练和部署机器学习模型。
  • Flask: 轻量级 Web 应用框架，用于开发简单的 Web 应用程序。
  • Django: 全功能 Web 应用框架，用于开发复杂的 Web 应用程序。

接下来，我们将举例说明 Python 在运维中的一些应用。

 

1. 自动化运维

Python 可以轻松地实现自动化运维，例如通过编写脚本自动部署服务器、配置和管理应用程序等。以下是一个使用 Paramiko 模块连接远程服务器并执行命令的示例：



pythonCopy code

import paramiko # 创建 SSH 客户端 client = paramiko.SSHClient() # 添加本地主机公钥到远程主机 client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) # 连接远程主机 client.connect(hostname='192.168.1.100', port=22, username='username', password='password') # 执行命令 stdin, stdout, stderr = client.exec_command('ls -l') # 输出命令结果 print(stdout.read().decode()) # 关闭连接 client.close()

2. 日志分析

Python 的数据处理和分析能力使其成为处理大量日志的有用工具。例如，我们可以使用 Python 和 Pandas 库来分析 Web 服务器日志文件，并提取访问量和热门页面等信息。以下是一个使用 Pandas 读取和分析 CSV 文件的示例：



pythonCopy code

import pandas as pd # 读取 CSV 文件 df = pd.read_csv('access.log', sep=' ', header=None, names=['ip', 'date', 'time', 'request', 'status', 'size']) # 计算访问量 total_requests = len(df) # 统计请求状态码分布 status_counts = df['status'].value_counts() # 打印热门页面 print(df['request'].value_counts().head(10))