python 命令行参数解析,python函数的5种参数详解

  python 命令行参数解析,python函数的5种参数详解

  本文为您带来了一些关于Python的知识,包括解析参数的三种方法。第一种选择是使用argparse,这是一个流行的Python模块,专门用于命令行解析。另一种方法是读取JSON文件,我们可以把所有的超级参数放在那里;第三种也是鲜为人知的方法是使用YAML文件。下面就来看看吧,希望对你有帮助。

  【相关推荐:Python3视频教程】

  我们今天分享的主要目的是通过使用Python中的命令行和配置文件来提高代码的效率。

  我们走吧!

  我们在练习机器学习中参数调整的过程时,有三种方式可以选择。第一种选择是使用argparse,这是一个流行的Python模块,专门用于命令行解析;另一种方法是读取JSON文件,我们可以把所有的超级参数放在那里;第三种也是鲜为人知的方法是使用YAML文件!好奇?我们开始吧!

  00-1010在下面的代码中,我会使用Visual Studio代码,这是一个非常高效的集成Python开发环境。这个工具的美妙之处在于,它通过安装扩展来支持每一种编程语言,集成了终端并允许同时处理大量的Python脚本和Jupyter笔记本。

  数据集,使用Kaggle上的共享单车数据集

  

先决条件

  如上图所示,我们有一个标准的结构来组织我们的小项目:

  包含我们的数据集的名为train.py文件的文件夹用于指定具有超级参数的options.py文件。首先,我们可以创建一个文件train.py,在这个文件中,我们有一个导入数据的基本程序,在训练数据上训练模型,并在测试集上评估它们:

  进口熊猫作为pd

  将numpy作为np导入

  从sklearn.ensemble导入RandomForestRegressor

  从sklearn.model_selection导入训练_测试_拆分

  来自sklearn .预处理导入标准缩放器

  从sklearn.metrics导入均方误差,平均绝对误差

  从选项导入train_options

  df=pd.read_csv(data\hour.csv )

  print(df.head())

  opt=train_options()

  X=df.drop([instant , dteday , atemp , casual , registered , cnt],axis=1)。价值观念

  y=df[cnt]。价值观念

  X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2)

  if opt.normalize==True:

  scaler=StandardScaler()

  X=scaler.fit_transform(X)

  RF=RandomForestRegressor(n _ estimators=opt . n _ estimators,max_features=opt.max_features,max_depth=opt.max_depth)

  model=rf.fit(X_train,y_train)

  y_pred=模型.预测(X _测试)

  rmse=np.sqrt(均方误差(y预测,y测试))

  mae=均值_绝对_误差(y _预测,y _测试)

  打印( rmse: ,rmse)

  Print(mae: ,mae)在代码中,我们还导入了options.py文件中包含的train_options函数。后一个文件是一个Python文件,从中我们可以更改train.py中考虑的超参数:

  导入argparse

  定义列车选项():

  parser=argparse。ArgumentParser()

  parser . add _ argument(-normalize ,default=True,type=bool,help=最大深度)

  parser . add _ argument(-n _ estimates ,默认值=100,type=int,help=估计数

  tors')

   parser.add_argument("--max_features", default=6, type=int, help='maximum of features',)

   parser.add_argument("--max_depth", default=5, type=int,help='maximum depth')

   opt = parser.parse_args()

   return opt在这个例子中,我们使用了 argparse 库,它在解析命令行参数时非常流行。首先,我们初始化解析器,然后,我们可以添加我们想要访问的参数。

  这是运行代码的示例:

  

python train.py

要更改超参数的默认值,有两种方法。第一个选项是在 options.py 文件中设置不同的默认值。另一种选择是从命令行传递超参数值:

  

python train.py --n_estimators 200
我们需要指定要更改的超参数的名称和相应的值。

  

python train.py --n_estimators 200 --max_depth 7

使用 JSON 文件


和前面一样,我们可以保持类似的文件结构。在这种情况下,我们将 options.py 文件替换为 JSON 文件。换句话说,我们想在 JSON 文件中指定超参数的值并将它们传递给 train.py 文件。与 argparse 库相比,JSON 文件可以是一种快速且直观的替代方案,它利用键值对来存储数据。下面我们创建一个 options.json 文件,其中包含我们稍后需要传递给其他代码的数据。

  

{

  "normalize":true,

  "n_estimators":100,

  "max_features":6,

  "max_depth":5

  }

如上所见,它与 Python 字典非常相似。但是与字典不同的是,它包含文本/字符串格式的数据。此外,还有一些语法略有不同的常见数据类型。例如,布尔值是 false/true,而 Python 识别 False/True。JSON 中其他可能的值是数组,它们用方括号表示为 Python 列表。

  在 Python 中使用 JSON 数据的美妙之处在于,它可以通过 load 方法转换成 Python 字典:

  

f = open("options.json", "rb")

  parameters = json.load(f)

要访问特定项目,我们只需要在方括号内引用它的键名:

  

if parameters["normalize"] == True:

   scaler = StandardScaler()

   X = scaler.fit_transform(X)

  rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42)

  model = rf.fit(X_train,y_train)

  y_pred = model.predict(X_test)

使用 YAML 文件


最后一种选择是利用 YAML 的潜力。与 JSON 文件一样,我们将 Python 代码中的 YAML 文件作为字典读取,以访问超参数的值。YAML 是一种人类可读的数据表示语言,其中层次结构使用双空格字符表示,而不是像 JSON 文件中的括号。下面我们展示 options.yaml 文件将包含的内容:

  

normalize: True 

  n_estimators: 100

  max_features: 6

  max_depth: 5

在 train.py 中,我们打开 options.yaml 文件,该文件将始终使用 load 方法转换为 Python 字典,这一次是从 yaml 库中导入的:

  

import yaml

  f = open('options.yaml','rb')

  parameters = yaml.load(f, Loader=yaml.FullLoader)

和前面一样,我们可以使用字典所需的语法访问超参数的值。

  

最后的想法

配置文件的编译速度非常快,而 argparse 则需要为我们要添加的每个参数编写一行代码。

  所以我们应该根据自己的不同情况来选择最为合适的方式

  例如,如果我们需要为参数添加注释,JSON 是不合适的,因为它不允许注释,而 YAML 和 argparse 可能非常适合。

  【相关推荐:Python3视频教程 】以上就是Python解析参数的三种方法详解的详细内容,更多请关注盛行IT软件开发工作室其它相关文章!

  

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: