python func for shell operation

python

收集一篇python中shell操作解释地比较全面的文章,我主要需要用到shel中的cp命令和rm命令

===========华丽丽分割线,转载内容如下============

os.chkdir(path)  转换到目录path 下。

os.system('md a')  可以直接创建目录。

os.name字符串指示你正在使用的平台。比如对于Windows,它是'nt',而对于Linux/Unix用户,它是'posix'。
● os.getcwd()函数得到当前工作目录,即当前Python脚本工作的目录路径。
● os.getenv()和os.putenv()函数分别用来读取和设置环境变量。
● os.listdir()返回指定目录下的所有文件和目录名。
● os.remove()函数用来删除一个文件。
● os.system()函数用来运行shell命令。
● os.linesep字符串给出当前平台使用的行终止符。例如,Windows使用'\r\n',Linux使用'\n'而Mac使用'\r'。
● os.path.split()函数返回一个路径的目录名和文件名。
>>> os.path.split('/home/swaroop/byte/code/poem.txt')
('/home/swaroop/byte/code', 'poem.txt')
● os.path.isfile()和os.path.isdir()函数分别检验给出的路径是一个文件还是目录。类似地,os.path.exists()函数用来检验给出的路径是否真地存在。

 文件重定向

       已有PY文件new1.py ,在命令行下输入:new1>new.txt 可以将new1运行的结果输出到文件new.txt,这称为流重定向。
 

python可以做shell脚本吗? 首先介绍一个函数:

os.system(command)
这个函数可以调用shell运行命令行command并且返回它的返回值。试一下在python的解释器里输入os.system(”ls -l”),就可以看到”ls”列出了当前目录下的文件。可以说,通过这个函数,python就拥有了shell的所有能力。呵呵。。不过,通常这条命令不 需要用到。因为shell常用的那些命令在python中通常有对应而且同样简洁的写法。

shell中最常用的是ls命令,python对应的写法是:os.listdir(dirname),这个函数返回字符串列表,里面是所有的文件名,不过不包含”.”和”..”。如果要遍历整个目录的话就会比较复杂一点。我们等下再说吧。先在解释器里试一下:
>>> os.listdir(”/”)
[’tmp’, ‘misc’, ‘opt’, ‘root’, ‘.autorelabel’, ’sbin’, ’srv’, ‘.autofsck’, ‘mnt’, ‘usr’, ‘var’, ‘etc’, ’selinux’, ‘lib’, ‘net’, ‘lost+found’, ’sys’, ‘media’, ‘dev’, ‘proc’, ‘boot’, ‘home’, ‘bin’]
就像这样,接下去所有命令都可以在python的解释器里直接运行观看结果。

对应于cp命令的是:shutil.copy(src,dest),这个函数有两个参数,参数src是指源文件的名字,参数dest则是目标文件或 者目标目录的名字。 如果dest是一个目录名,就会在那个目录下创建一个相同名字的文件。与shutil.copy函数相类似的是 shutil.copy2(src,dest),不过copy2还会复制最后存取时间和最后更新时间。

不过,shell的cp命令还可以复制目录,python的shutil.copy却不行,第一个参数只能是一个文件。这怎么办?其 实,python还有个shutil.copytree(src,dst[,symlinks]) 。参数多了一个symlinks,它是一个布尔值,如果是True的话就创建符号链接。

移动或者重命名文件和目录呢?估计被聪明的朋友猜到了,shutil.move(src,dst),呵呵。。与mv命令类似,如果src和dst在 同一个文件系统上,shutil.move只是简单改一下名字,如果src和dst在不同的文件系统上,shutil.move会先把src复制到 dst,然后删除src文件。看到现在,大多数朋友应该已经对python的能力有点眉目了,接下来我就列个表,介绍一下其它的函数:

os.chdir(dirname)
把当前工作目录切换到dirname下

os.getcwd()
返回当前的工作目录路径

os.chroot(dirname)
把dirname作为进程的根目录。和*nix下的chroot命令类似

os.chmod(path,mode)
更改path的权限位。mode可以是以下值(使用or)的组合:

os.S_ISUID

os.S_ISGID

os.S_ENFMT

os.S_ISVTX

os.S_IREAD

os.S_IWRITE

os.S_IEXEC

os.S_IRWXU

os.S_IRUSR

os.S_IWUSR

os.S_IXUSR

os.S_IRWXG

os.S_IRGRP

os.S_IWGRP

os.S_IXGRP

os.S_IRWXO

os.S_IROTH

os.S_IWOTH

os.S_IXOTH

 具体它们是什么含义,就不仔细说了,基本上就是R代表读,W代表写,X代表执行权限。USR代表用户,GRP代表组,OTH代表其它。

os.chown(path,uid,gid)
改变文件的属主。uid和gid为-1的时候不改变原来的属主。

os.link(src,dst)
创建硬连接

os.mkdir(path,[mode])
创建目录。mode的意义参见os.chmod(),默认是0777

os.makedirs(path,[mode])
和os.mkdir()类似,不过会先创建不存在的父目录。

os.readlink(path)
返回path这个符号链接所指向的路径

os.remove(path)
删除文件,不能用于删除目录

os.rmdir(path)
删除文件夹,不能用于删除文件

removedirs(path)
递归移除目录。类似于rmdir()的工作,除了如果子目录被成功地删除,removedirs()尝试接连地删除每个在path中提及的父目录,直到一个错误被挂起(这个错误被忽略,因为它通常意味父目录不为空。)例如,"os.removedirs(‘foo/bar/baz')"将首先删除"'foo/bar/baz'"目录,然后如果 "'foo/bar'"和"'foo'"为空删除它们。如果子目录不能被成功地删除挂起OSError。1.5.2版本中的新方法。

rename(src, dst)
重命名文件或目录src为dst。如果dst是一个目录,OSError将被挂起。在Unix上,如果dst存在并且是一个文件,如果用户有权限它将被默默地删除。在一些Unix风格的系统上如果src和dst是不同的文件系统,这个操作可能失败。如果成功,重命名将是一个基本的操作(这是一个POSIX要求)。在Windows上,如果dst已经存在,甚至如果它是一个文件,OSError将被挂起;当dst命名一个已存在的文件时没有办法执行基本的重命名。

renames(old, new)
递归重命名目录或文件函数。类似于rename()的工作,除了所有中间层目录的创建第一次试图需要有效的新的路径名。重命名后,目录符合老的名称最右边路径部分将被用removedirs()删除。1.5.2版本中的新方法。

注意:如果你缺乏需要删除子目录或文件的权限,使用新的目录结构重命名时这个函数会失败。

readlink(path)
返回一个代表符号连接点指向的路径的字符串。结果可以是绝对或相对路径名的其中之一;如果是相对,它可以用os.path.join(os.path.dirname(path), result)转换成一个绝对路径。可用:Macintosh, Unix。

stat(path)
在给定的路径上执行stat()系统调用。返回值是一个对象,它的属性对应stat的结构数,即:st_mode(保护块),st_ino(索引节点数), st_dev(设备),st_nlink(硬连接数),st_uid(所有者的用户ID),st_gid(所有者的组ID),st_size(文件大小,用字节),st_atime(当前访问的时间),st_mtime(当前内容修改的时间),st_ctime(平台依赖,在Unix上当前元数据改变的时间,在Windows上创建的时间):

>>> import os

>>> statinfo = os.stat('somefile.txt')

>>> statinfo

(33188, 422511L, 769L, 1, 1032, 100, 926L, 1105022698,1105022732, 1105022732)

>>> statinfo.st_size

926L

os.symlink(src,dst)
创建符号链接

tempnam([dir[, prefix]])
为创建一个临时文件合理的返回一个唯一的路径名。这将是一个绝对路径路径,以dir目录中可能的目录项命名,或是一个通常的临时文件的位置,如果dir被忽略或为None。如果给定和不为None,prefix被用来给文件名提供一个简短的前缀。应用负责使用由tempnam()返回的路径恰当地创建和管理文件;不提供自动清除。在Unix上,环境变量TMPDIR覆盖dir,在Windows上TMP被使用。这个函数的指定行为依赖于C库的执行;some aspects are underspecified in system documentation.注意:tempnam()的用法是危险的对于符号连接攻击;考虑用tmpfile()(14.1.2节)替代。可用: Macintosh, Unix, Windows。

tmpnam()
为创建一个临时文件合理的返回一个唯一的路径名。这将是一个绝对路径路径,以一个通常的临时文件的位置中可能的目录项命名,应用负责使用由tempnam ()返回的路径恰当地创建和管理文件;不提供自动清除。注意:tempnam()的用法是危险的对于符号连接攻击;考虑用tmpfile() (14.1.2节)替代。可用:Macintosh, Unix, Windows。这个函数大概在Windows上不被使用,不过:微软tmpnam()的实现一直创建在当前驱动的根目录中创建一个名字,它通常是一个临时文件粗略的位置(依赖于特权,你甚至用这个名称不能打开一个文件)。

TMP_MAX
再使用这些名称之前tmpnam()将生成的唯一的名称的最大数目。

unlink(path)
删除文件path。同remove()相同;unlink()名称是它的传统的Unix名称。可用:Macintosh, Unix, Windows。

utime(path, times)
设置由path指定的文件的访问和修改时间。如果times是None,那么文件的访问和修改时间被设置为当前的时间。否则,times必须是一个二元组数,它的被用来设置访问和修改时间的格式分别是(atime, mtime)。目录能否由path指定依赖于操作系统是否作为一个文件执行目录(如,Windows就不是)。注意你这儿设置的精确的时间不能通过后来的 stat()调用返回,依赖于正式的你的操作系统纪录的访问和修改时间;参见stat()。2.0版本中的改变:增加times为None的支持。可用: Macintosh, Unix, Windows。

walk(top[, topdown=True [, onerror=None]]),它os.listdir()明显的区别就是,它能进行纵深遍历,os.listdir()只能遍历当前目录里的所有子目录和文件。
在目录树中walk()生成文件名,通过由上而下或右下而上遍历树。这个树中每个目录的根在目录top(包含top自身),它给出一个三元组(dirpath, dirnames, filenames)。

dirpath 是一个目录的路径字符串。dirnames是一个dirpath的子目录的名称的列表(排除'.'和'..')。filenames是一个dirpath 中没有目录的文件的名称的列表。注意列表中的名称包含无路径的组件。获取dirpath中文件和目录的完整路径(以top开始),用 os.path.join(dirpath, name)。

如果可选参数topdown为true或没有指定,它的子目录三倍生成之前三倍的目录被生成(目录的生成从上而下)。如果topdown为false,三倍的目录被生成在它的子目录三倍生成之后(目录生成由下而上)。

当topdown 为true,调用者能修改dirnames列表的原状(可能用del或slice任务),walk()仅将递归名称仍然在dirnames中的子目录;这能被用来删除查找,利用指定的顺序访问,或者重新walk()之前告诉walk()关于调用者创建或重命名的目录。当topdown为false时修改 dirnames是无效的,因为在自底向上的模式中dirnames中的目录在dirpath生成之前被生成。

os.listdir()调用缺省的错误被忽略。如果可选参数onerror被指定,它应该是一个函数;它将被调用用一个参数,一个OSError实例。它能用walk继续报告错误,或忽略walk挂起异常。注意文件名是可用的作为异常对象的文件名属性。

注意:如果你传递一个相对的路径名,在重新开始和walk()之间不改变当前的工作目录。walk()从不改变当前的目录,并且假定它的调用者也不改变。

注意:在支持符号连接的系统上,连接到出现在dirnames列表中的子目录,但是walk()将不访问它们(当跟随符号连接时避免无穷大的循环是困难的)。访问连接的目录,你能用os.path.islink(path)来识别它们,并且各自直接调用walk(path)。

这个例子显示开始目录下的每个目录中非目录的文件的字节数,除了不查找任意CVS子目录下的:

import os

from os.path import join, getsize

for root, dirs, files in os.walk('python/Lib/email'):

print root, "consumes",

print sum(getsize(join(root, name)) for name in files),

print "bytes in", len(files), "non-directory files"

if 'CVS' in dirs:

dirs.remove('CVS') # don't visit CVS directories

 下面的例子中,从下到上遍历树等于:rmdir()目录为空之前不允许删除目录:

# Delete everything reachable from the directory named in 'top',

# assuming there are no symbolic links.

# CAUTION: This is dangerous! For example, if top == '/', it

# could delete all your disk files.

import os

for root, dirs, files in os.walk(top, topdown=False):

for name in files:

os.remove(os.path.join(root, name))

for name in dirs:

os.rmdir(os.path.join(root, name))

New in version 2.3.

 shutil.rmtree(path[,ignore_errors[,onerror]])
删除文件夹

介绍了这么多,其实只要查一下os和shutil两个模块的文档就有了,呵呵。。真正编写shell脚本的时候还需要注意:

1.环境变量。python的环境变量保存在os.environ这个字典里,可以用普通字典的方法修改它,使用system启动其它程序的时候会自动被继承。比如:
os.environ[”fish”]=”nothing”
不过也要注意,环境变量的值只能是字符串。和shell有些不同的是,python没有export环境变量这个概念。为什么没有呢?因为python没有必要有:-)

2.os.path这个模块里包含了很多关于路径名处理的函数。在shell里路径名处理好像不是很重要,但是在python里经常需要用到。最常用的两个是分离和合并目录名和文件名:

os.path.split(path) -> (dirname,basename)
这个函数会把一个路径分离为两部分,比如:os.path.split(”/foo/bar.dat”)会返回(”/foo”,”bar.dat”)

os.path.join(dirname,basename)
这个函数会把目录名和文件名组合成一个完整的路径名,比如:os.path.join(”/foo”,”bar.dat”)会返回”/foo /bar.dat”。这个函数和os.path.split()刚好相反。

还有这些函数:

os.path.commonprefix(list)
返回list中,所有path共有的最长的路径。
如:
>>> os.path.commonprefix(['/home/td','/home/td/ff','/home/td/fff'])
'/home/td'

os.path.lexists(path)
与os.path.exists(path)的不同是如果有损坏的链接会返回True

os.path.basename('/foo/bar.dat')

>>>bar.dat

os.path.dirname('/foo/bar.dat')

>>>/foo

os.path.realpath(path)
返回path的真实路径,去除符号链接
os.path.relpath(path[, start])
返回一个“相关路径”,当前目录或者可选的start
Return a relative filepath to path either from the current directory or from an optional start point.
如:
>>> os.path.relpath('/home/jimin','/usr/lib/')
'http://www.cnblogs.com/home/jimin'
os.path.samefile(path1, path2)
如果path1与path2是相同的文件或目录,返回真
os.path.sameopenfile(fp1, fp2)
如果fp1和fp2指向的是同一个文件,返回True
os.path.samestat(stat1, stat2)
如果 stat tuple stat1和stat2指向同一个文件,返回真。stat tuple结构是由fstat()、lstat()、stat()产生的

os.path.abspath(path)
把path转成绝对路径,相当于normpath(join(os.getcwd(), path))

os.path.expanduser(path)
把path中包含的”~”和”~user”转换成用户目录

os.path.expandvars(path)
接受环境变理的扩展,path中可以使用环境变量
如:
>>> os.path.expandvars('$PATH')
'/usr/lib64/qt-3.3/bin:/usr/kerberos/bin:/usr/lib64/ccache:/usr/local/bin:/usr/bin:/bin:/usr/local         
/sbin:/usr/sbin:/sbin:/home/jimin/bin'
>>> os.path.expandvars('$HOME')
'/home/jimin'

os.path.expandvars(path)
根据环境变量的值替换path中包含的”$name”和”${name}”,比如环境变量FISH=nothing,那 os.path.expandvars(”$FISH/abc”)会返回”nothing/abc”

os.path.normpath(path)
去掉path中包含的”.”和”..”

os.path.splitext(path)
把path分离成基本名和扩展名。比如:os.path.splitext(”/foo/bar.tar.bz2″)返回(’/foo /bar.tar’, ‘.bz2′)。要注意它和os.path.split()的区别

3.在os模块有一个很好用的函数叫os.stat()没有介绍,因为os.path模块里包含了一组和它具有同样功能的函数,但是名字更好记一点。

os.path.exists(path)
判断文件或者目录是否存在

os.path.isfile(path)
判断path所指向的是否是一个普通文件,而不是目录

os.path.isdir(path)
判断path所指向的是否是一个目录,而不是普通文件

os.path.islink(path)
判断path所指向的是否是一个符号链接

os.path.ismount(path)
判断path所指向的是否是一个挂接点(mount point)

os.path.getatime(path)
返回path所指向的文件或者目录的最后存取时间。

os.path.getmtime(path)
返回path所指向的文件或者目录的最后修改时间

os.path.getctime(path)
返回path所指向的文件的创建时间

os.path.getsize(path)
返回path所指向的文件的大小

4.应用python编写shell脚本经常要用到os,shutil,glob(正则表达式的文件名),tempfile(临时文 件),pwd(操作/etc/passwd文件),grp(操作/etc/group文件),commands(取得一个命令的输出)。前面两个已经基本 上介绍完了,后面几个很简单,看一下文档就可以了。

5.sys.argv是一个列表,保存了python程序的命令行参数。其中sys.argv[0]是程序本身的名字。

不能光说不练,接下来我们就编写一个用于复制文件的简单脚本。前两天叫我写脚本的同事有个几万个文件的目录,他想复制这些文件到其它的目录,又不能 直接复制目录本身。他试了一下”cp src/* dest/”结果报了一个命令行太长的错误,让我帮他写一个脚本。操起python来:

import sys,os.path,shutil

for f in os.listdir(sys.argv[1]):

shutil.copy(os.path.join(sys.argv[1],f),sys.argv[2])

 再试一下linuxapp版里的帖子——把一个文件夹下的所有文件重命名成10001~10999。可以这样写:

import os.path,sys

dirname=sys.argv[1]

i=10001

for f in os.listdir(dirname):

src=os.path.join(dirname,f)

if os.path.isdir(src):

continue

os.rename(src,str(i))

i+=1

以上是 python func for shell operation 的全部内容, 来源链接: utcz.com/z/386793.html

回到顶部