使用python依次读取文件中的所有csv格式的数据

python

使用python依次读取文件中的所有csv格式的数据:

#coding=gbk

import pandas as pd

import os

path = r'D:\ml_datasets\PHM\c6'

def get_file(): #创建一个空列表

files =os.listdir(path)

files.sort() #排序

list= []

for file in files:

if not os.path.isdir(path +file): #判断该文件是否是一个文件夹

f_name = str(file)

# print(f_name)

tr = '\\' #多增加一个斜杠

filename = path + tr + f_name

list.append(filename)

return list

list = get_file()

print('\\')

print(list[:6])

data = pd.read_csv(list[2])

print(data.head())

接下里就可以对 list 进行循环读取每个文件了。

输出为:

#输出为:

# \

# ['D:\\ml_datasets\\PHM\\c6\\c_6_001.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_002.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_003.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_004.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_005.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_006.csv']

# -0.031 -1.071 0.361 -0.113 -0.124 -0.132 -0.005

# 0 0.030 -0.995 0.354 0.098 0.071 0.088 -0.005

# 1 0.141 -0.903 0.422 -0.040 -0.078 -0.059 -0.005

# 2 0.223 -0.822 0.419 -0.153 -0.161 -0.172 -0.004

# 3 0.354 -0.699 0.461 0.045 0.039 0.035 -0.005

# 4 0.408 -0.606 0.444 -0.031 -0.047 -0.035 -0.005

对于一些文件名为数字开头的,可能不会依次输出每个文件,可以使用sort() 方法:

path = 'D:\ml_datasets\PHM\c6_new_train'

path_list=os.listdir(path)

for filename in path_list:

print(os.path.join(path,filename))

# D:\ml_datasets\PHM\c6_new_train\1.csv

# D:\ml_datasets\PHM\c6_new_train\12.csv

# D:\ml_datasets\PHM\c6_new_train\121.csv

# D:\ml_datasets\PHM\c6_new_train\123.csv

# D:\ml_datasets\PHM\c6_new_train\2.csv

# D:\ml_datasets\PHM\c6_new_train\3.csv

# D:\ml_datasets\PHM\c6_new_train\4.csv

# D:\ml_datasets\PHM\c6_new_train\6.csv

path_list.sort(key=lambda x:int(x[:-4])) #对读取的路径进行排序

for filename in path_list:

print(os.path.join(path,filename))

# D:\ml_datasets\PHM\c6_new_train\1.csv

# D:\ml_datasets\PHM\c6_new_train\2.csv

# D:\ml_datasets\PHM\c6_new_train\3.csv

# D:\ml_datasets\PHM\c6_new_train\4.csv

# D:\ml_datasets\PHM\c6_new_train\6.csv

# D:\ml_datasets\PHM\c6_new_train\12.csv

# D:\ml_datasets\PHM\c6_new_train\121.csv

# D:\ml_datasets\PHM\c6_new_train\123.csv

#coding=gbk

'''

Created on 2018年12月1日

@author: Administrator

'''

#python 文件和目录操作方法

import os

# 1.得到当前工作目录,即当前Python脚本工作的目录路径: os.getcwd()

# 2.返回指定目录下的所有文件和目录名:os.listdir()

# 3.函数用来删除一个文件:os.remove()

# 4.删除多个目录:os.removedirs(r“c:\python”)

# 5.检验给出的路径是否是一个文件:os.path.isfile()

# 6.检验给出的路径是否是一个目录:os.path.isdir()

# 7.判断是否是绝对路径:os.path.isabs()

# 8.检验给出的路径是否真地存:os.path.exists()

# 9.返回一个路径的目录名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果:('/home/swaroop/byte/code', 'poem.txt')

# 10.分离扩展名:os.path.splitext()

file_name = r'D:\liteide'

print(os.getcwd()) # 获取当前工作目录

print(os.listdir(file_name)) # 返回指定目录下的所有文件和目录名, ['bin', 'CONTRIBUTORS', 'LGPL_EXCEPTION.TXT', 'lib', 'LICENSE.LGPL', 'README.md', 'share', 'test_remove.txt']

# os.remove(r'D:\liteide\test_remove.txt') #删除指定文件

# print(os.listdir(path))

print(os.path.isfile(file_name)) # False

print(os.path.isdir(file_name)) #True 是一个目录

print(os.path.isabs(file_name)) #True 绝对路径

# 9.返回一个路径的目录名和文件名:os.path.split()

print(os.path.split(r'D:\liteide\LGPL_EXCEPTION.TXT')) # ('D:\\liteide', 'LGPL_EXCEPTION.TXT')

print(os.path.splitext(r'D:\liteide\LGPL_EXCEPTION.TXT')) #('D:\\liteide\\LGPL_EXCEPTION', '.TXT')

# 11.获取路径名:os.path.dirname()

print(os.path.dirname(file_name)) # D:\

# 12.获取文件名:os.path.basename()

print(os.path.basename(file_name)) # liteide

# 13.运行shell命令: os.system()

print(os.system('cd D:\python1')) #0,返回0 ,表示可以使用

# 14.读取和设置环境变量:os.getenv() 与os.putenv()

# 15.给出当前平台使用的行终止符:os.linesep Windows使用'\r\n',Linux使用'\n'而Mac使用'\r'

print(os.linesep)

# 16.指示你正在使用的平台:os.name 对于Windows,它是'nt',而对于Linux/Unix用户,它是'posix'

print(os.name) #nt

# 17.重命名:os.rename(old, new)

# print(os.rename(r'D:\liteide\old_name', r'D:\liteide\new_name')) #修改文件夹的名字

# 18.创建多级目录:os.makedirs(r“c:\python\test”)

# print(os.makedirs(r'D:\liteide\hello_makedirs')) #创建了一个文件夹

# 19.创建单个目录:os.mkdir(“test”)

# print(os.mkdir(r'D:\liteide\hah'))

# 20.获取文件属性:os.stat(file)

print(os.stat(file_name))

# 21.修改文件权限与时间戳:os.chmod(file)

# 22.终止当前进程:os.exit()

# 23.获取文件大小:os.path.getsize(filename)

print(os.path.getsize(file_name)) # 4096


def test_file():

file=r'D:\liteide\test.txt'

with open(file, mode='r+', encoding='utf-8') as f:

for line in f.readlines(200): #还可以设置读取的大小

print(line)

f.writelines('append somthing')

f.flush()

w:以写方式打开,

a:以追加模式打开 (从 EOF 开始, 必要时创建新文件)

r+:以读写模式打开

w+:以读写模式打开 (参见 w )

a+:以读写模式打开 (参见 a )

rb:以二进制读模式打开

wb:以二进制写模式打开 (参见 w )

ab:以二进制追加模式打开 (参见 a )

rb+:以二进制读写模式打开 (参见 r+ )

wb+:以二进制读写模式打开 (参见 w+ )

ab+:以二进制读写模式打开 (参见 a+ )

fp.read([size])                     #size为读取的长度,以byte为单位
fp.readline([size])                 #读一行,如果定义了size,有可能返回的只是一行的一部分
fp.readlines([size])                #把文件每一行作为一个list的一个成员,并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数,size是表示读取内容的总长,也就是说可能只读到文件的一部分。
fp.write(str)                       #把str写到文件中,write()并不会在str后加上一个换行符
fp.writelines(seq)                  #把seq的内容全部写到文件中(多行一次性写入)。这个函数也只是忠实地写入,不会在每行后面加上任何东西。
fp.close()                          #关闭文件。python会在一个文件不用后自动关闭文件,不过这一功能没有保证,最好还是养成自己关闭的习惯。  如果一个文件在关闭后还对其进行操作会产生ValueError
fp.flush()                          #把缓冲区的内容写入硬盘
fp.fileno()                         #返回一个长整型的”文件标签“
fp.isatty()                         #文件是否是一个终端设备文件(unix系统中的)
fp.tell()                           #返回文件操作标记的当前位置,以文件的开头为原点
fp.next()                           #返回下一行,并将文件操作标记位移到下一行。把一个file用于for … in file这样的语句时,就是调用next()函数来实现遍历的。
fp.seek(offset[,whence])            #将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的,一般为正数。但如果提供了whence参数就不一定了,whence可以为0表示从头开始计算,1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意,如果文件以a或a+的模式打开,每次进行写操作时,文件操作标记会自动返回到文件末尾。
fp.truncate([size])                 #把文件裁成规定的大小,默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大,依据系统的不同可能是不改变文件,也可能是用0把文件补到相应的大小,也可能是以一些随机的内容加上去。

3.目录操作方法

import shutil   

# 目录操作方法

# 1.创建目录

# os.mkdir("file")

# os.mkdir(r'D:\liteide\mkdir_file')

# 2.复制文件:

# shutil.copyfile("oldfile","newfile") #oldfile和newfile都只能是文件

# shutil.copy("oldfile","newfile") #oldfile只能是文件夹,newfile可以是文件,也可以是目标目录

# 3.复制文件夹:

# 4.shutil.copytree("olddir","newdir") #olddir和newdir都只能是目录,且newdir必须不存在

# 5.重命名文件(目录)

# os.rename("oldname","newname") #文件或目录都是使用这条命令

# 6.移动文件(目录)

# shutil.move("oldpos","newpos")

# 7.删除文件

# os.remove("file")

# 8.删除目录

# os.rmdir("dir") #只能删除空目录

# shutil.rmtree("dir") #空目录、有内容的目录都可以删

# shutil.rmtree(r'D:\liteide\mkdir_file')

# shutil.rmtree(r'D:\liteide\hello_makedirs')

# 9.转换目录

# os.chdir("path") #换路径

s = ['h', 'j', 'k']

t = '.'.join(s)

print(t) # h.j.k

print(t.split('.')) # ['h', 'j', 'k']

以上是 使用python依次读取文件中的所有csv格式的数据 的全部内容, 来源链接: utcz.com/z/387008.html

回到顶部