Python运维脚本,python脚本开发教程

　　Python可以在很大程度上取代shell脚本。一般作者使用shell进行单行命令，Python直接用于复杂的多行操作。本文总结了Python中一些实用的脚本操作，有需要的可以参考一下。

目录

1. 执行外部程序或命令

　　我们有下面的C语言程序cal.c(编译为。out file)，它负责输入两个命令行参数并打印它们的总和。这个程序需要用Python调用C语言程序，检查程序是否正常返回(正常返回会返回0)。

　　# includestdio.h

　　#includestdlib.h

　　int main(int argc，char* argv[]){

　　int a=atoi(argv[1])；

　　int b=atoi(argv[2])；

　　int c=a b；

　　printf(%d %d=%d\n ，a，b，c)；

　　返回0；

　　}

　　然后，我们可以使用子流程模块的run函数来生成一个子流程：

　　RES=subprocess . run([ Python-Lang/cal . out ， 1 ， 2])

　　打印(结果返回代码)

　　您可以看到控制台打印出了进程的返回值0:

　　1 2=3

　　0

　　当然，如果中途杀了程序。比如我们把下面的while.c程序写成下面的无限循环(编译为。文件外):

　　# includestdio.h

　　#includestdlib.h

　　int main(int argc，char* argv[]){

　　while(1)；

　　返回0；

　　}

　　我们还使用run函数来接收它的返回值：

　　RES=subprocess . run( Python-Lang/while . out )

　　打印(结果返回代码)

　　但是，我们使用shell命令来终止正在运行的程序：

　　(base)Orion-Orion @ MacBook-Pro Python-Lang % PS-a grep while

　　11829 ttys 001 0:17.49 Python-Lang/while . out

　　11891 ttys005 0:00.00 grep而

　　(基础)Orion-Orion @ MacBook-Pro Python-Lang % kill 11829

　　可以看出，控制台打印输出的进程返回值是-15(因为-N的负值表示子进程被信号N终止，kill命令的默认信号是15，会终止进程)3360。

　　-15

　　如果程序陷入死循环，无法正常终止，我们总不能永远等下去吧？此时，我们可以设置超时机制并捕捉异常：

　　尝试：

　　RES=subprocess . run([ Python-Lang/while . out ]，capture_output=True，timeout=5)

　　除了子流程。超时过期为e:

　　打印(e)

　　异常结果将被打印出来：

　　命令“[Python-Lang/while.out]”在5秒后超时

　　有时候你需要得到程序的输出结果。此时，您可以添加capture_output参数，然后访问返回对象的stdout属性：

　　rush:py;">res = subprocess.run(["netstat", "-a"], capture_output=True)

　　out_bytes = res.stdout

　　输出结果是以字节串返回的，如果想以文本形式解读，可以再增加一个解码步骤：

out_text = out_bytes.decode("utf-8")
　　print(out_text)
　　

　　可以看到已正常获取文本形式的输出结果：

...
kctl 0 0 33 6 com.apple.netsrc
kctl 0 0 34 6 com.apple.netsrc
kctl 0 0 1 7 com.apple.network.statistics
kctl 0 0 2 7 com.apple.network.statistics
kctl 0 0 3 7 com.apple.network.statistics
(base) orion-orion@MacBook-Pro Learn-Python %

　　

　　一般来说，命令的执行不需要依赖底层shell的支持（如sh，bash等），我们提供的字符串列表会直接传递给底层的系统调用，如os.execve()。如果希望命令通过shell来执行，只需要给定参数shell=True并将命令以简单的字符串形式提供即可。比如我们想让Python执行一个涉及管道、I/O重定向或其它复杂的Shell命令时，我们就可以这样写：

out_bytes = subprocess.run("ps -awc -l> out", shell=True)
　　

2. 文件和目录操作（命名、删除、拷贝、移动等）

　　我们想要和文件名称和路径打交道时，为了保证获得最佳的移植性（尤其是需要同时运行与Unix和Windows上时），最好使用os.path中的函数。例如：

import os
　　file_name = "/Users/orion-orion/Documents/LocalCode/Learn-Python/Python-Lang/test.txt"
　　print(os.path.basename(file_name)) 
　　# test.txt
　　print(os.path.dirname(file_name))
　　# /Users/orion-orion/Documents/LocalCode/Learn-Python/Python-Lang
　　print(os.path.split(file_name))
　　# (/Users/orion-orion/Documents/LocalCode/Learn-Python/Python-Lang, test.txt)
　　print(os.path.join("/new/dir", os.path.basename(file_name)))
　　# /new/dir/test.txt
　　print(os.path.expanduser("~/Documents"))
　　# /Users/orion-orion/Documents
　　

　　其中os.path.expanduser当用户或$HOME未知时, 将不做任何操作。如我们这里的$HOME就为/Users/orion-orion：

(base) orion-orion@MacBook-Pro ~ % echo $HOME
　　/Users/orion-orion
　　

　　如果要删除文件，请用os.remove（在删除前注意先判断文件是否存在）：

file_name = "Python-Lang/test.txt"
　　if os.path.exists(file_name):
　　 os.remove(file_name)
　　

　　接下来我们看如何拷贝文件。当然最直接的方法是调用Shell命令：

os.system("cp Python-Lang/test.txt Python-Lang/test2.txt")
　　

　　当然这不够优雅。如果不像通过调用shell命令来实现，可以使用shutil模块，该模块提供了一系列对文件和文件集合的高阶操作，其中就包括文件拷贝和移动/重命名。这些函数的参数都是字符串，用来提供文件或目录的名称。以下是示例：

src = "Python-Lang/test.txt"
　　dst = "Python-Lang/test2.txt"
　　# 对应cp src dst (拷贝文件，存在则覆盖)
　　shutil.copy(src, dst) 
　　src = "Python-Lang/sub_dir"
　　dst = "Python-Lang/sub_dir2"
　　# 对应cp -R src dst (拷贝整个目录树)
　　shutil.copytree(src, dst)
　　src = "Python-Lang/test.txt"
　　dst = "Python-Lang/sub_dir/test2.txt"
　　# 对应mv src dst (移动文件，可选择是否重命名)
　　shutil.move(src, dst)
　　

　　可以看到，正如注释所言，这些函数的语义和Unix命令类似。如果你对Unix下的文件拷贝/移动等操作不熟悉，可以参见Linuxshell进行文件解压,复制和移动详解

　　默认情况下，如果源文件是一个符号链接，那么目标文件将会是该链接所指向的文件的拷贝。如果只想拷贝符号链接本身，可以提供关键字参数follow_symlinks:

shutil.copy(src, dst, follow_symlinks=True)
　　

　　如果想在拷贝的目录中保留符号链接，可以这么做：

shutil.copytree(src, dst, symlinks=True)
　　

　　有时在拷贝整个目录时需要对特定的文件和目录进行忽略，如.pyc这种中间过程字节码。我们可以为copytree提供一个ignore函数，该函数已目录名和文件名做为输入参数，返回一列要忽略的名称做为结果（此处用到字符串对象的.endswith方法，该方法用于获取文件类型）：

def ignore_pyc_files(dirname, filenames):
　　 return [name for name in filenames if name.endswith(pyc)] 
　　shutil.copytree(src, dst, ignore=ignore_pyc_files)
　　

　　不过由于忽略文件名这种模式非常常见，已经有一个实用函数ignore_patterns()提供给我们使用了（相关模式使用方法类似.gitignore）：

shutil.copytree(src, dst, ignore=shutil.ignore_patterns("*~", "*.pyc"))
　　

　　注：此处的"*~"模式匹配是文本编辑器（如Vi）产生的以"~"结尾的中间文件。

　　忽略文件名还常常用在os.listdir()中。比如我们在数据密集型（如机器学习）应用中，需要遍历data目录下的所有数据集文件并加载，但是需要排除.开头的隐藏文件，如.git，否则会出错，此时可采用下列写法：

import os
　　import os
　　filenames = [filename for filename in os.listdir("Python-Lang/data") if not filename.startswith(".")] #注意，os.listdir返回的是不带路径的文件名
　　

　　让我们回到copytree()。用copytree()来拷贝目录时，一个比较棘手的问题是错误处理。比如在拷贝的过程中遇到已经损坏的符号链接，或者由于权限问题导致有些文件无法访问等。对于这种情况，所有遇到的异常会收集到一个列表中并将其归组为一个单独的异常，在操作结束时抛出。示例如下：

import shutil
　　src = "Python-Lang/sub_dir"
　　dst = "Python-Lang/sub_dir2"
　　try:
　　 shutil.copytree(src, dst)
　　except shutil.Error as e:
　　 for src, dst, msg in e.args[0]:
　　 print(src, dst, msg)
　　

　　如果提供了ignore_dangling_symlinks=True，那么copytree将会忽略悬垂的符号链接。

　　更多关于shutil的使用(如记录日志、文件权限等)可参见shutil文档[4]。

　　接下来我们看如何使用os.walk()函数遍历层级目录以搜索文件。只需要将顶层目录提供给它即可。比如下列函数用来查找一个特定的文件名，并将所有匹配结果的绝对路径打印出来：

import os
　　def findfile(start, name):
　　 for relpath, dirs, files in os.walk(start):
　　 if name in files:
　　 # print(relpath)
　　 full_path = os.path.abspath(os.path.join(relpath, name))
　　 print(full_path)
　　start = "."
　　name = "test.txt"
　　findfile(start, name)
　　

　　可以看到，os.walk可为为我们遍历目录层级，且对于进入的每个目录层级它都返回一个三元组，包含：正在检视的目录的相对路径（相对脚本执行路径），正在检视的目录中包含的所有目录名列表，正在捡视的目录中包含的所有文件名列表。这里的os.path.abspath接受一个可能是相对的路径并将其组成绝对路径的形式。

　　我们还能够附加地让脚本完成更复杂的功能，如下面这个函数可打印出所有最近有修改过的文件：

import os
　　import time
　　def modified_within(start, seconds):
　　 now = time.time()
　　 for relpath, dirs, files in os.walk(start):
　　 for name in files:
　　 full_path = os.path.join(relpath, name)
　　 mtime = os.path.getmtime(full_path)
　　 if mtime > (now - seconds):
　　 print(full_path)
　　start = "."
　　seconds = 60
　　modified_within(start, 60)
　　

3. 创建和解包归档文件

　　如果仅仅是想创建或解包归档文件，可以直接使用shutil模块中的高层函数：

import shutil
　　shutil.make_archive(base_name="data", format="zip", root_dir="Python-Lang/data")
　　shutil.unpack_archive("data.zip")
　　

　　其中第二个参数format为期望输出的格式。要获取所支持的归档格式列表，可以使用get_archive_formats()函数：

print(shutil.get_archive_formats())
　　# [(bztar, "bzip2ed tar-file"), (gztar, "gziped tar-file"), (tar, uncompressed tar file), (xztar, "xzed tar-file"), (zip, ZIP file)]
　　

　　Python也提供了诸如tarfile、zipfile、gzip等模块来处理归档格式的底层细节。比如我们想要创建然后解包.zip归档文件，可以这样写：

import zipfile
　　with zipfile.ZipFile(Python-Lang/data.zip, w) as zout:
　　 zout.write(filename=Python-Lang/data/test1.txt, arcname="test1.txt")
　　 zout.write(filename=Python-Lang/data/test2.txt, arcname="test2.txt")
　　with zipfile.ZipFile(Python-Lang/data.zip, r) as zin:
　　 zin.extractall(Python-Lang/data2) #没有则自动创建data2目录

参考

　　[1]https://docs.python.org/3/library/subprocess.html

　　[2]https://stackoverflow.com/questions/28708531/what-does-do-in-a-gitignore-file

　　[3]https://stackoverflow.com/questions/7099290/how-to-ignore-hidden-files-using-os-listdir

　　[4]https://docs.python.org/3/library/shutil.html

　　到此这篇关于利用Python编写的实用运维脚本分享的文章就介绍到这了,更多相关Python运维脚本内容请搜索盛行IT软件开发工作室以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT软件开发工作室！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。