Python可以在很大程度上取代shell脚本。一般作者使用shell进行单行命令,Python直接用于复杂的多行操作。本文总结了Python中一些实用的脚本操作,有需要的可以参考一下。
:
目录
1.执行外部程序或命令。文件和目录操作(命名、删除、复制、移动等。) 3.创建并解压缩归档文件。参考Python可以在很大程度上替代shell脚本。一般作者使用shell进行单行命令,Python直接用于复杂的多行操作。本文总结了Python的一些实用脚本操作。
1. 执行外部程序或命令
我们有下面的C语言程序cal.c(编译为。out file),它负责输入两个命令行参数并打印它们的总和。这个程序需要用Python调用C语言程序,检查程序是否正常返回(正常返回会返回0)。
# includestdio.h
#includestdlib.h
int main(int argc,char* argv[]){
int a=atoi(argv[1]);
int b=atoi(argv[2]);
int c=a b;
printf('%d %d=%d\n ',a,b,c);
返回0;
}
然后,我们可以使用子流程模块的run函数来生成一个子流程:
RES=subprocess . run([' Python-Lang/cal . out ',' 1 ',' 2'])
打印(结果返回代码)
您可以看到控制台打印出了进程的返回值0:
1 2=3
0
当然,如果中途杀了程序。比如我们把下面的while.c程序写成下面的无限循环(编译为。文件外):
# includestdio.h
#includestdlib.h
int main(int argc,char* argv[]){
while(1);
返回0;
}
我们还使用run函数来接收它的返回值:
RES=subprocess . run(' Python-Lang/while . out ')
打印(结果返回代码)
但是,我们使用shell命令来终止正在运行的程序:
(base)Orion-Orion @ MacBook-Pro Python-Lang % PS-a | grep while
11829 ttys 001 0:17.49 Python-Lang/while . out
11891 ttys005 0:00.00 grep而
(基础)Orion-Orion @ MacBook-Pro Python-Lang % kill 11829
可以看到控制台打印输出的进程返回值是-15(因为-N的负值表示子进程被信号N终止,而kill命令的默认信号是15,会终止进程):
-15
如果程序陷入死循环,无法正常终止,我们总不能永远等下去吧?此时,我们可以设置超时机制并捕捉异常:
尝试:
RES=subprocess . run([' Python-Lang/while . out '],capture_output=True,timeout=5)
除了子流程。超时过期时间为e:
打印(e)
异常结果将被打印出来:
命令“['Python-Lang/while.out']”在5秒后超时
有时候你需要得到程序的输出结果。此时,您可以添加capture_output参数,然后访问返回对象的stdout属性:
res=subprocess.run(['netstat ','-a'],capture_output=True)
out_bytes=res.stdout
输出以字节字符串的形式返回。如果您想将其解释为文本,您可以添加另一个解码步骤:
out _ text=out _ bytes . decode(' utf-8 ')
打印(输出文本)
您可以看到文本形式的输出结果已经正常获得:
.
kctl 0 0 33 6 com.apple.netsrc
kctl 0 0 34 6 com.apple.netsrc
kctl 0 0 1 7 com . apple . network . statistics
kctl 0 0 2 7 com . apple . network . statistics
kctl 0 0 3 7 com . apple . network . statistics
(base)Orion-Orion @ MacBook-Pro Learn-Python %
一般来说,命令的执行不需要依赖底层shell的支持(如sh、bash等。),而我们提供的字符串列表会直接传递给底层系统调用,比如os.execve()。如果希望通过shell执行命令,只需给出参数shell=True,并以简单字符串的形式提供命令。例如,当我们希望Python执行一个涉及管道、I/O重定向或其他复杂事情的Shell命令时,我们可以这样写:
out _ bytes=subprocess . run(' PS-a | WC-l out ',shell=True)
2. 文件和目录操作(命名、删除、拷贝、移动等)
当我们要处理文件名和路径时,为了保证最好的可移植性(尤其是同时运行在Unix和Windows上时),最好使用os.path中的函数,例如:
导入操作系统
file _ name='/Users/Orion-Orion/Documents/local code/Learn-Python/Python-Lang/test . txt '
print(os.path.basename(文件名))
# test.txt
print(os.path.dirname(文件名))
#/Users/Orion-Orion/Documents/local code/Learn-Python/Python-Lang
print(os.path.split(文件名))
#('/Users/Orion-Orion/Documents/local code/Learn-Python/Python-Lang ',' test.txt ')
print(os.path.join('/new/dir ',os.path.basename(文件名)))
# /new/dir/test.txt
print(OS . path . expand user(' ~/Documents '))
#/用户/Orion-Orion/文档
其中,当用户或$HOME未知时,os.path.expanduser将不执行任何操作。例如,我们这里的$HOME是/Users/orion-orion:
(base)Orion-Orion @ MacBook-Pro ~ % echo $ HOME
/用户/猎户座-猎户座
如果要删除文件,请使用os.remove(删除前注意判断文件是否存在):
file _ name=' Python-Lang/test . txt '
如果os.path .存在(文件名):
os.remove(文件名)
接下来,我们来看看如何复制文件。当然,最直接的方法是调用Shell命令:
OS . system(' CP Python-Lang/test . txt Python-Lang/test 2 . txt ')
当然,这还不够优雅。您可以使用shutil模块,而不是调用shell命令,shutil模块提供了对文件和文件集合的一系列高级操作,包括文件复制和移动/重命名。这些函数的参数是字符串,用于提供文件或目录的名称。下面是一个例子:
src='Python-Lang/test.txt '
dst='Python-Lang/test2.txt '
#对应于cp src dst(复制文件,如果存在则覆盖它)
shutil.copy(夏令时,夏令时)
src='Python-Lang/sub_dir '
dst='Python-Lang/sub_dir2 '
#对应于cp -R src dst(复制整个目录树)
shutil.copytree(src,dst)
src='Python-Lang/test.txt '
dst=' Python-Lang/sub _ dir/test 2 . txt '
#对应mv src dst(移动文件,可以选择是否重命名)
shutil.move(src,dst)
如您所见,正如评论所说,这些函数的语义类似于Unix命令的语义。如果对Unix下的文件复制/移动不熟悉,可以参考Linuxshell对文件解压、复制和移动的详细说明。
默认情况下,如果源文件是一个符号链接,目标文件将是该链接指向的文件的副本。如果您只想复制符号链接本身,可以提供关键字参数follow_symlinks:
shutil.copy(src,dst,follow_symlinks=True)
如果要在复制的目录中保留符号链接,可以这样做:
shutil.copytree(src,dst,symlinks=True)
有时候,在复制整个目录时,需要忽略特定的文件和目录,例如。pyc,一个中间进程字节码。我们可以为copytree提供一个ignore函数,它将目录名和文件名作为输入参数,并返回一个要忽略的名称列表作为结果(这里是。使用string对象的endswith方法,用于获取文件类型):
def ignore_pyc_files(目录名,文件名):
return[name for name in filenames if name . ends with(' pyc ')]
shutil.copytree(src,dst,ignore=ignore_pyc_files)
然而,由于忽略文件名的模式非常普遍,因此提供了一个实用函数ignore_patterns()供我们使用(相关模式类似于。gitignore):
shutil.copytree(src,dst,ignore=Shu til . ignore _ patterns(' * ~ ',' *。pyc '))
注意:' * ~ '模式匹配这里是一个由文本编辑器(比如Vi)生成的以' ~ '结尾的中间文件。
os.listdir()中也经常使用忽略文件名。例如,在数据密集型(如机器学习)应用中,我们需要遍历数据目录中的所有数据集文件并加载它们,但我们需要排除以开头的隐藏文件。比如。git,否则我们会出错。这时,我们可以用下面的写法:
导入操作系统
导入操作系统
filenames=[filename for filename in OS . listdir(' python-lang/data ')如果不是filename .以('.'开头)] #注意os.listdir返回一个没有路径的文件名。
让我们回到copytree()。当使用copytree()复制一个目录时,一个棘手的问题是错误处理。比如在复制的过程中,遇到一些损坏的符号链接,或者由于权限问题导致一些文件无法访问。在这种情况下,所有遇到的异常都将被收集在一个列表中,并组合成一个单独的异常,该异常将在操作结束时抛出。例子如下:
导入技能
src='Python-Lang/sub_dir '
dst='Python-Lang/sub_dir2 '
尝试:
shutil.copytree(src,dst)
除了舒蒂尔。错误为e:
对于e.args[0]中的src、dst、msg:
打印(src、dst、msg)
如果ignore_dangling_symlinks=True,那么copytree将忽略悬挂符号链接。
了解更多关于shutil的使用信息(如日志记录、文件权限等。),请参考shutil文档[4]。
接下来,让我们看看如何使用os.walk()函数遍历分层目录来搜索文件。给它提供顶级目录就行了。例如,以下函数用于查找特定的文件名,并打印出所有匹配结果的绝对路径:
导入操作系统
def findfile(开始,名称):
对于操作系统中的relpath、dir、文件,walk(start):
如果名称在文件中:
#打印(relpath)
full _ path=OS . path . ABS path(OS . path . join(relpath,name))
打印(完整路径)
start=' . '
name='test.txt '
findfile(开始,名称)
如你所见,os.walk可以为我们遍历目录层次结构,它为每个输入的目录层次结构返回一个三元组,包括:被查看目录的相对路径(相对脚本执行路径),被查看目录中包含的所有目录名的列表,被查看目录中包含的所有文件名的列表。Os.path.abspath这里接受一个可能的相对路径,并将其形成一个绝对路径。
此外,我们还可以让脚本执行更复杂的功能,比如下面的函数打印出所有最近修改的文件:
导入操作系统
导入时间
def modified_within(开始,秒):
now=time.time()
对于操作系统中的relpath、dir、文件,walk(start):
对于文件中的名称:
full_path=os.path.join(relpath,name)
mtime=OS . path . getmtime(full _ path)
if mtime(现在-秒):
打印(完整路径)
start=' . '
秒=60
修改_范围内(开始,60)
3. 创建和解包归档文件
如果您只想创建或解压缩归档文件,可以直接使用shutil模块中的高级功能:
导入技能
shutil . make _ archive(base _ name=' data ',format='zip ',root_dir='Python-Lang/data ')
shutil . unpack _ archive(' data . zip ')
第二个参数format是预期输出的格式。要获得受支持的存档格式列表,可以使用get_archive_formats()函数:
print(shutil . get _ archive _ formats())
# [('bztar ',' bzip2'ed tar-file '),(' gztar ',' gzip'ed tar-file '),(' tar ',' uncompressed tar file '),(' xztar ',' xz'ed tar-file '),(' zip ',' ZIP file')]
Python还提供了tarfile、zipfile、gzip等模块。来处理归档格式的底层细节。例如,如果我们想要创建并解压缩一个. zip存档文件,我们可以这样写:
导入zip文件
用zipfile。ZipFile('Python-Lang/data.zip ',' w') as zout:
zout.write(文件名='Python-Lang/data/test1.txt ',arcname='test1.txt ')
zout.write(文件名='Python-Lang/data/test2.txt ',arcname='test2.txt ')
用zipfile。ZipFile('Python-Lang/data.zip ',' r') as zin:
Zin . extract all(' python-lang/data2 ')#如果没有,将自动创建data 2目录。
参考
[1]https://docs . python . org/3/library/subprocess . html
[2]https://stack overflow . com/questions/28708531/what-do-in-a-git ignore-file
[3]https://stack overflow . com/questions/7099290/how-to-ignore-hidden-files-using-OS-listdir
[4]https://docs . python . org/3/library/shutil . html
关于分享Python写的实用运维脚本的这篇文章到此为止。关于Python运维脚本的更多信息,请搜索我们之前的文章或者继续浏览下面的相关文章。希望你以后能支持我们!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。