Python怎么读取csv文件,python怎么读取csv文件学生名单

　　Python读写csv文件

　　前言

　　逗号分隔值(CSV)，有时也称为字符分隔值，因为分隔字符可能不是逗号，其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列，不包含必须解释为二进制数字的数据。CSV文件由任意数量的记录组成，记录之间用某种换行符隔开；每个记录由字段组成，字段之间的分隔符是其他字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。

　　特点

　　读取的数据一般是字符型，如果是数字，需要手动转换成数字。

　　以行为单位读取数据。

　　列由半角逗号或制表符分隔，通常是半角逗号。

　　一般每行开头没有空格，第一行是属性列，数据列用分隔符隔开，行与行之间没有空行。

　　行与行之间没有空行是非常重要的。如果数据集中有空白行或者行尾有空格，读取数据时一般会出错，导致【列表索引越界】错误。PS:我已经被这个错误坑过很多次了！

　　使用python I/O写入和读取CSV文件

　　使用PythonI/O写入csv文件

　　下面是从作者源码下载 birthweight.dat 低出生体重的dat文件，处理后保存为csv文件的代码。

　　导入csv

　　导入操作系统

　　将numpy作为np导入

　　随机导入

　　导入请求

　　#数据文件的名称

　　#数据集名称

　　出生体重文件=出生体重. csv

　　#如果当前目录中不存在文件，则下载数据并创建数据文件

　　#如果当前文件夹中没有birth_weight.csv数据集，则下载dat文件并生成csv文件。

　　如果不是os.path.exists(出生体重文件):

　　 birth Data _ URL= https://github.com/nfmcclure/tensor flow _ cookbook/raw/master/01 _ Introduction/07 _ Working _ with _ Data _ Sources/birth weight _ Data/birth weight . dat

　　birth_file=requests.get(出生数据url)

　　birth _ data=birth _ file . text . split( \ r \ n )

　　# split split函数，取一行作为split函数。在windows中，换行符是“\r\n”，每一行后面都有一个“\r\n”符号。

　　birth_header=birth_data[0]。拆分( \t )

　　#每一列的标题，第一行标注的，是birth_data的第一个数据。并使用选项卡作为分区。

　　birth _ data=[[float(x)for x in y . split( \ t )if len(x)=1]for y in birth _ data[1:]if len(y)=1]

　　print(np.array(birth_data)。形状)

　　# (189, 9)

　　#这是列表数据表单，不是数字数组。您不能使用np，shape函数，但是我们可以使用np.array函数将list对象转换为numpy数组，然后使用shape属性查看它。

　　with open(birth_weight_file， w ，newline=) as f:

　　# with open(birth_weight_file， w )为f:

　　writer=csv.writer(f)

　　writer . writerows([birth _ header])

　　writer.writerows(birth_data)

　　f.close()

　　常见错误list index out of range

　　最需要说的是open (birth _ weight _ file， w ，newline= )为f:的语句。写入csv文件。如果不添加参数newline= ，将使用空格作为换行符，但用open(birth_weight_file， w )

　　quot;) as f: 语句。则生成的表格中会出现空行。

　　不仅仅是用python I/O进行csv数据的读写时，利用其余方法读写csv数据，或者从网上下载好csv数据集后都需要查看其每行后有没有空格，或者有没有多余的空行。避免不必要的错误~影响数据分析时的判断。

　　使用PythonI/O读取csv文件

　　使用python I/O方法进行读取时即是新建一个List 列表然后按照先行后列的顺序(类似C语言中的二维数组)将数据存进空的List对象中，如果需要将其转化为numpy 数组也可以使用np.array(List name)进行对象之间的转化。

birth_data = []
　　with open(birth_weight_file) as csvfile:
　　 csv_reader = csv.reader(csvfile) # 使用csv.reader读取csvfile中的文件
　　 birth_header = next(csv_reader) # 读取第一行每一列的标题
　　 for row in csv_reader: # 将csv 文件中的数据保存到birth_data中
　　 birth_data.append(row)
　　birth_data = [[float(x) for x in row] for row in birth_data] # 将数据从string形式转换为float形式
　　birth_data = np.array(birth_data) # 将list数组转化成array数组便于查看数据结构
　　birth_header = np.array(birth_header)
　　print(birth_data.shape) # 利用.shape查看结构。
　　print(birth_header.shape)
　　#
　　# (189, 9)
　　# (9,)

import pandas as pd
　　csv_data = pd.read_csv('birth_weight.csv') # 读取训练数据
　　print(csv_data.shape) # (189, 9)
　　N = 5
　　csv_batch_data = csv_data.tail(N) # 取后5条数据
　　print(csv_batch_data.shape) # (5, 9)
　　train_batch_data = csv_batch_data[list(range(3, 6))] # 取这20条数据的3到5列值(索引从0开始)
　　print(train_batch_data)
　　# RACE SMOKE PTL
　　# 184 0.0 0.0 0.0
　　# 185 0.0 0.0 1.0
　　# 186 0.0 1.0 0.0
　　# 187 0.0 0.0 0.0
　　# 188 0.0 0.0 1.0

　　本人在平时一般都是使用Tensorflow处理各类数据，所以对于使用Tensorflow读取数据在此不过多的进行解释，下面贴上一段代码。

'''使用Tensorflow读取csv数据'''
　　filename = 'birth_weight.csv'
　　file_queue = tf.train.string_input_producer([filename]) # 设置文件名队列，这样做能够批量读取文件夹中的文件
　　reader = tf.TextLineReader(skip_header_lines=1) # 使用tensorflow文本行阅读器，并且设置忽略第一行
　　key, value = reader.read(file_queue)
　　defaults = [[0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.]] # 设置列属性的数据格式
　　LOW, AGE, LWT, RACE, SMOKE, PTL, HT, UI, BWT = tf.decode_csv(value, defaults)
　　# 将读取的数据编码为我们设置的默认格式
　　vertor_example = tf.stack([AGE, LWT, RACE, SMOKE, PTL, HT, UI]) # 读取得到的中间7列属性为训练特征
　　vertor_label = tf.stack([BWT]) # 读取得到的BWT值表示训练标签
　　# 用于给取出的数据添加上batch_size维度，以批处理的方式读出数据。可以设置批处理数据大小，是否重复读取数据，容量大小，队列末尾大小，读取线程等属性。
　　example_batch, label_batch = tf.train.shuffle_batch([vertor_example, vertor_label], batch_size=10, capacity=100, min_after_dequeue=10)
　　# 初始化Session
　　with tf.Session() as sess:
　　 coord = tf.train.Coordinator() # 线程管理器
　　 threads = tf.train.start_queue_runners(coord=coord)
　　 print(sess.run(tf.shape(example_batch))) # [10 7]
　　 print(sess.run(tf.shape(label_batch))) # [10 1]
　　 print(sess.run(example_batch)[3]) # [ 19. 91. 0. 1. 1. 0. 1.]
　　 coord.request_stop()
　　 coord.join(threads)
　　'''
　　对于使用所有Tensorflow的I/O操作来说开启和关闭线程管理器都是必要的操作
　　with tf.Session() as sess:
　　 coord = tf.train.Coordinator() # 线程管理器
　　 threads = tf.train.start_queue_runners(coord=coord)
　　 # Your code here~
　　 coord.request_stop()
　　 coord.join(threads)
　　'''

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。