dataset的使用,什么叫DataSet?它由什么组成?
参考文章：
TensorFlow读取数据的新方式：数据集API介绍
TensorFlow使用数据集来读取和构建数据。
数据集中的[tensorflow]迭代器
一.基本概念
1.资料组
简单来说，数据集可以看作是同类型“元素”的有序列表，其中单个“元素”可以是向量、字符串、图片，甚至是元组或字典。Dataset有三个重要的子类：TextLineDataset、TFRecordDataset和FixedLengthRecordDataset。
2.迭代程序
迭代器可以看作是数据集迭代器的对应实例，用于从数据集检索数据。
常见的迭代器包括一次性迭代器、可初始化迭代器和可重新初始化迭代器。
可馈送迭代器
3…急切模式和非急切模式
Eager模式，主要从动态图的角度出发，使用起来更加灵活。
请参考：急切执行。
第二，数据集创建
1.创建1的简单方法。资料组
#range():
dataset=TF . data . dataset . range(5)
# from _张量_切片():
dataset=TF . data . dataset . from _ tensor _ slices(NP . array([1.0，2.0，3.0，4.0，5.0])
from_Tensor_slices的真正作用是对传入张量的第一维进行切片，生成相应的数据集，例如：
dataset=TF . data . dataset . from _ tensor _ slices(NP . random . uniform(size=(5，2)))
传入的数值是一个矩阵，它的形状是(5，2)。TF . data . dataset . from _ tensor _ slices将拆分其形状的第一维。最终生成的数据集之一包含五个元素，每个元素的形状为(2，2)，即每个元素是矩阵的一行。
在实践中，我们可能还希望数据集中的每个元素具有更复杂的形式，比如每个元素在Python中是一个元组，在Python中是一个字典。
我们可以把每个元素都变成一个字典：
数据集=TF . data . dataset . from _ tensor _ slices(
{
“a”:NP . array([1.0，2.0，3.0，4.0，5.0])，
“b”:NP . random . uniform(size=(5，2))
}
)
此时，函数将分别拆分“A”中的值和“B”中的值。最后，数据集中的一个元素的形式是{“A”:1.0，“B”:[0.9，0.1]}。
在图像识别问题中，一个元素可以是{“image”:image _ tensor，“label”:label _ tensor }的形式，这样处理起来更方便。同样，也可以通过使用TF . data . dataset . from _ tensor _ slices创建一个数据集，其中每个元素都是一个元组。
数据集=TF . data . dataset . from _ tensor _ slices(
(np.array([1.0，2.0，3.0，4.0，5.0])，np.random.uniform(size=(5，2)))
)
2.从TFRecord文件创建
dataset=TF . data . tfrecorddataset(文件名)
文件名可以是TFRecord文件或文件列表。
当然，要解析来自filename的数据，需要构造一个解析器函数(对应于原始的TFRecords文件结构)。
示例代码：
def parser(record):features=TF . parse _ single _ example(record，features={ index: tf。FixedLenFeature([]，tf.int64)， col1: tf。FixedLenFeature([]，tf.int64)， col2: tf。FixedLenFeature([]，tf.int64) })返回features[index]，features[col1]，Features[ col 2 ]training _ filenames=[ file-0 . TF records ， file-1.tfrecords ， file-2 . TF records ]dataset=TF . data . tfrecorddataset(training _ filenames)dataset=dataset . map(
1.一次一次
单迭代器不支持动态数据集和参数化。
导入tensorflow为tf dataset=TF . data . dataset . range(5)iterator=dataset . make _ one _ shot _ iterator()带TF。session()as sess:for I in range(5):try:print(sess . run(iterator . get _ next()))except TF . errors . outofrangeerror:print( errors。outofrangererror )# #输出：0，1，2，3，4 2.initializable_iterator
我们都知道张量流中有一种饲养机制，它允许我们在程序运行时再真正决定我们需要的数据，很遗憾，单次的迭代程序不能满足这要的要求。它的创建方式是：
迭代器=数据集。make _ initializable _ iterator()
在每次重新初始化的时候都需要调用：
迭代器=数据集。make _ initializable _ iterator()
def initial able _ test():numbers=TF。占位符(TF。int 64，shape=[])dataset=TF。数据。数据集。范围(数字)迭代器=数据集。带有TF的make _ initializable _ iterator().session()as sess:for I in range(5):try:print(sess。运行(迭代器。get _ next()))除了TF。错误。outofrangeerror:print( errors .outofrangererror’)这里的迭代程序的数据来源不变，还是原来的数据集，只是可以参数化的使用原来的数据集，如指定输出数据的数量。
3 .重新初始化迭代器
当需要一个迭代程序从不同的资料组对象中读取数值，张量流提供了一个迭代器，但要求是不同数据源的结构一致（利用来自_结构来统一数据源的结构)。
示例代码：
def re initiable _ iterator _ test():training _ data=TF。数据。数据集。范围(10)validation _ data=TF。数据。数据集。range(5)迭代器=TF。数据。迭代器。from _ structure(培训_数据。输出类型，训练数据。output _ shapes)train _ op=iterator。make _ initializer(training _ data)validation _ op=iterator。make _ initializer(validation _ data)next _ element=iterator。带有TF的get _ next()。session()as sess:sess。run(train _ op)for _ in范围(8):print(sess。run(next _ element))sess。对范围(3)中的_运行(validation _ op):打印(sess。run(next _ element))4 .可馈送迭代器
可以看到，feedableiterator可以看作是一个转换器，它可以将不同的数据集的不同的管道迭代程序连在一起，随心所欲的切换数据的源。这一点，它和重新初始化_迭代器相似，但是，不同之处在于——feedableiterator在不同的迭代程序切换的时候，可以做到不从头开始。
从具体实现来看，它是通过一个线类型的处理实现的，需要注意的一点是，string_handle()方法返回的是一个张量，只有运行一个张量才会返回线类型的把手。不然，程序会报错。
先来看一下发件人字符串句柄()官网API:
#根据给定句柄创建一个新的未初始化的迭代器@静态方法from _ string _ handle(string _ handle，output_types，output_shapes=None，output_classes=None)参数：字符串句柄：一个标量tf .tf.string类型的张量，其计算结果为Iterator.string_handle()方法生成的句柄。对应于此数据集元素的每个组件的类型对象. tf的嵌套结构。与此数据集元素的每个组件对应的张量形状对象。如果省略，每个组件将有一个不受约束的形状)Python。类型对象的嵌套结构，对应于这个迭代器的元素的每个组件。如果省略，则假设每个分量都属于tf。张量类型。示例代码：
def feeding _ iterator _ test():train _ data=TF。数据。数据集。range(100，200，5)val _ data=TF。数据。数据集。范围(0，100，10).重复(2)handle=TF。占位符(TF。string，shape=[])iterator=TF。数据。迭代器。from _ string _ handle(句柄，训练数据.输出类型，训练数据。output _ shapes)next _ element=iterator。get _ next()train _ op=train _ data。make _ one _ shot _ iterator()validation _ op=val _ data。带TF的make _ initializable _ iterator()。session()as sess:train _ iterator _ handle=sess。run(train _ op . string _ handle())val _ iterator _ handle=sess。run(validation _ op . string _ handle())sess。run(validation _ op . initializer)for _ in range(5):for _ in range(2):print(sess。run(next_element，feed _ dict={ handle:train _ iterator _ handle })print(======)for _ in range(3):print(sess。运行(下一个元素，下一个元素四、其他
主要总结了非渴望的模式下迭代程序和资料组的常规用法，相关的其他用法之后再做详细补充。
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。