python数据采集代码,python读取日志

  python数据采集代码,python读取日志

  本文主要介绍python日志收集。在使用Python进行自动化测试的实际过程中,两种方案都可以使用,而且两种方案都相当方便。对于idea 1,代码可以进一步封装,有需要的朋友可以参考一下。

  00-1010 I、日志概述1、日志功能2、日志级别3、日志格式4、日志位置2、日志模块1、简介2、文档3、日志首次使用:简单配置和使用1、使用2、参数描述3在basicConfig()部分,示例1:日志打印到控制台4、示例2:日志保存到文件4、日志的第二种使用方式:日志流处理流程1、四个日志组件简介2、Logger 3、Handler处理器3.1、StreamHandler3.2、FileHandler4、Filter filter 5、示例:将日志输出到控制台,并将它们保存到文件5。日志练习1、测试场景2、简单配置代码示例3、抛出问题4、解决思路5、思路1:用python代码实现日志配置示例6、思路2:日志格式配置示例6.1、logger.conf文件6.2、读取配置文件、创建logger logger6.3、调用示例7、总结通常,前期调试代码时,我们会用在IDE控制台打印一些信息来判断操作。但是在整个自动化测试项目运行的过程中,用print打印信息来获取运行状态显然是不可行的。

  这时候就需要收集日志,每次运行后查看日志,得到项目的运行状态。那我们怎么拿到日志呢?

  

目录

  

一,日志概述

  在项目开发或测试过程中,一旦项目运行出现问题,记录日志信息就显得尤为重要。主要通过日志定位问题,就像侦探根据留在现场的线索推断案件一样。

  

1,日志作用

  在代码运行的过程中,会出现不同的情况,比如调试信息、警告信息、错误报告等。所以在收集日志的时候,需要对这些日志进行不同级别的管理,这样才能更准确的定位问题。日志通常分为以下几类(按严重性升序排列):级别

  何时使用

  调试信息也是最详细的日志信息。信息证明事情正在按预期进行。WARNING表示已经发生了一些事情,或者在不久的将来会发生一些事情(比如磁盘已满),软件还在正常工作。错误由于更严重的问题,软件无法再执行某些工作。严重错误表示软件无法再运行。日志级别排序为:严重错误。

   WARNING > INFO > DEBUG

  日志采集时设置低级别的日志,能采集到更高级别的日志,但不能采集到更低级别的日志。

  例如:设置的日志级别为info级别,就只能采集到info、warning、error、critical级别的日志,不能采集到debug级别的日志。设置的日志级别为debug级别的话则能采集到所有级别的日志。默认设置级别为WARNING。

  

  • 在自动化测试项目中,通常在一般情况时使用info日志,预计报错则使用error日志。

  

  

3,日志格式

  将日志格式化是为了提高日志的可阅读性,比如:时间+模块+行数+日志级别+日志具体信息的日志格式。如果输出的日志信息杂乱无章,就不利于问题的定位。如下所示就是日志格式化输出,非常便于阅读查看。

  

2020-09-30 10:45:05,119 logging_test.py[line:7] DEBUG this is debug message.
2020-09-30 10:45:05,119 logging_test.py[line:9] INFO this is info message.
2020-09-30 10:45:05,119 logging_test.py[line:11] WARNING this is warning message.
2020-09-30 10:45:05,120 logging_test.py[line:13] ERROR this is error message.
2020-09-30 10:45:05,120 logging_test.py[line:15] CRITICAL this is critical message.

  

  

  

4,日志位置

  通常,在一个项目中会有很多的日志采集点,日志采集点的设置必须结合业务来确定。

  比如在执行修改登录密码用例前插入开始执行修改登录密码用例...的日志信息。再比如在登录代码执行前可以插入准备登录...日志信息。

  如果在登录完成后,再设置登录的提示日志就会给人造成误解,无法判断到底是登录之前的问题还是登录之后的问题,因此日志采集点的位置很重要。

  

  

二,logging模块

  

  

1,简介

  logging为python自带的日志模块,提供了通用的日志系统,包括不同的日志级别。logging可使用不同的方式记录日志,如使用文件,HTTP GET/POST,SMTP,Socket等方式记录。通常情况下,我们使用文件记录日志信息,文件格式一般为.txt或.log文件。

  

  

2,文档

  详细内容可查看logging模块官方文档,使用时需要导入:

  

import logging

  

  

三,logging第一种使用方法:简单配置使用

  

  

1,使用方法

  logging.basicConfig(**kwargs)

  

  

2,basicConfig()部分参数说明

  filename指定日志名称或完整路径,如:E:/app-ui-autotest/log/log.txt

  filemode指定打开文件的模式(如果文件打开模式未指定,则默认为'a')

  常见的文件读写方式:

  

  • w 以写的方式打开
  • W 清空后写入(文件已存在)
  • r 以读的方式打开
  • a 以追加模式打开(即在文件原有的数据后面添加)

  format指定日志输出格式

  level将根记录器级别设置为指定级别

  

  

3,示例1:日志打印至控制台

  

# -*- coding:utf-8 -*-

  # @author: 给你一页白纸

  import logging

  logging.basicConfig(filename=./log.txt, level=logging.DEBUG,

   format=%(asctime)s %(filename)s[line:%(lineno)d]

   %(levelname)s %(message)s)

  logging.debug(This is debug message)

  logging.info(This is info message)

  logging.warning(This is warning message)

  logging.error(This is error message)

  logging.critical(This is critical message)

  控制台输出结果:

  

2020-09-30 10:45:05,119 logging_test.py[line:7] DEBUG This is debug message.
2020-09-30 10:45:05,119 logging_test.py[line:9] INFO This is info message.
2020-09-30 10:45:05,119 logging_test.py[line:11] WARNING This is warning message.
2020-09-30 10:45:05,120 logging_test.py[line:13] ERROR This is error message.
2020-09-30 10:45:05,120 logging_test.py[line:15] CRITICAL This is critical message.

  

  

  

4,示例2:日志保存至文件

  

logging.basicConfig(filename=log.txt, level=logging.INFO, 

  format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s)

  logging.debug(This is debug message)

  logging.info(This is info message)

  logging.warning(This is warning message)

  logging.error(This is error message)

  logging.critical(This is critical message)

  输出格式:

  

2020-09-30 10:45:05,119 logging_test.py[line:9] INFO This is info message.
2020-09-30 10:45:05,119 logging_test.py[line:11] WARNING This is warning message.
2020-09-30 10:45:05,120 logging_test.py[line:13] ERROR This is error message.
2020-09-30 10:45:05,120 logging_test.py[line:15] CRITICAL This is critical message.

  

  注意:

  

  • 相较于控制台打印日志,文件保存日志的区别在于basicConfig()方法中加入了filename参数(即文件的完整路径)。
  • 保存日志至文件示例中,因为参数level=logging.INFO,所以DEBUG级别的日志未输出

  

  

四,logging的第二种使用方式:日志流处理流程

  

  

1,logging四大组件介绍

  logging模块包括Logger,Handler,Filter,Formatter四个部分。

  

  • Logger 记录器,用于设置日志采集。
  • Handler 处理器,将日志记录发送至合适的路径。
  • Filter 过滤器,提供了更好的粒度控制,它可以决定输出哪些日志记录。
  • Formatter 格式化器,指明了最终输出中日志的格式。

  

  

2,Logger 记录器

  使用日志流采集日志时,须先创建Logger实例,即创建一个记录器(如果没有显式的进行创建,则默认创建一个root logger,并应用默认的日志级别WARNING,Handler和Formatter),然后做以下三件事:

  

  • 为程序提供记录日志的接口
  • 根据过滤器设置的级别对日志进行过滤
  • 将过滤后的日志根据级别分发给不同handler

  

  

3,Handler 处理器

  Handler处理器作用是,将日志记录发送至合适的路径。如发送至文件或控制台,此时需要使用两个处理器,用于输出控制台的处理器,另一个是用于输出文件的处理器。通过 addHandler() 方法添加处理器 。常用的处理器类型有以下两种:

  

  

3.1,StreamHandler

  

  • 将日志信息发送至sys.stdout、sys.stderr或任何类似文件流对象,如在Pycharm IDE上显示的日志信息。
  • 构造函数为:StreamHandler(strm)。参数strm是一个文件对象,默认是sys.stderr。

  

  

3.2,FileHandler

  

  • 将日志记录输出发送至磁盘文件。 它继承了StreamHandler的输出功能,不过FileHandler会帮你打开这个文件,用于向一个文件输出日志信息。
  • 构造函数为:FileHandler(filename, mode)。参数filename为文件名(文件完整路径),参数mode为文件打开方式,默认为'a'即在文末追加。

  自动化测试使用这两种类型就够了,其他还有RotatingFileHandler、TimedRotatingFileHandler、NullHandler等处理器,有兴趣可以查找资料了解。

  

  

4,Filter 过滤器

  顾名思义是用于过滤,Handlers 与 Loggers 使用 Filters 可以完成比级别更复杂的过滤。不多做介绍,有兴趣可以查找资料了解。

  

  

5,Formatter 格式化器

  Formatter用于设置日志的格式与内容,默认的时间格式为%Y-%m-%d %H:%M:%S,更多格式如下:

  格式

  描述

  %(levelno)s打印日志级别的数值%(levelname)s打印日志级别的名称%(pathname)s打印当前执行程序的路径%(filename)s打印当前执行程序的名称%(funcName)s打印日志的当前函数%(lineno)d打印日志的当前行号%(asctime)s打印日志的时间%(thread)d打印线程ID%(threadName)s打印线程名称%(process)d打印进程ID%(message)s打印日志信息

  

  

6,使用示例:将日志输出至控制台,同时保存至文件

  根据logging的模块化来编写代码,思路参考如下。

  目录结构

  

  logging_test.py

  

# -*- coding:utf-8 -*-

  # @author: 给你一页白纸

  import logging

  # 第一步,创建日志记录器

  # 1,创建一个日志记录器logger

  logger = logging.getLogger()

  # 2,设置日志记录器的日志级别,这里的日志级别是日志记录器能记录到的最低级别,区别于后面Handler里setLevel的日志级别

  logger.setLevel(logging.DEBUG)

  # 第二步,创建日志处理器Handler。这里创建一个Handler,用于将日志写入文件

  # 3,创建一个Handler,用于写入日志文件,日志文件的路径自行定义

  logFile = ./log.txt

  fh = logging.FileHandler(logFile, mode=a, encoding=utf-8)

  # 4,设置保存至文件的日志等级

  fh.setLevel(logging.INFO)

  # 第三步,定义Handler的输出格式

  # 5,日志输出格式定义如下

  format= logging.Formatter(%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s)

  # 6,设置 写入日志文件的Handler 的日志格式

  fh.setFormatter(format)

  # 第四步,将Handler添加至日志记录器logger里

  logger.addHandler(fh)

  # 同样的,创建一个Handler用于控制台输出日志

  ch = logging.StreamHandler()

  ch.setLevel(logging.INFO)

  ch.setFormatter(format)

  logger.addHandler(ch)

  # 输出日志

  logger.info("This is info message")

  logger.warning("This is warning message")

  logger.error("This is error message")

  logger.critical("This is critical message")

  Pycharm运行logging_test.py模块,log.txt以及Pycharm控制台得到如下结果:

  

2020-10-07 15:54:04,752 test.py[line:3] INFO This is info message
2020-10-07 15:54:04,752 test.py[line:4] WARNING This is warning message
2020-10-07 15:54:04,752 test.py[line:5] ERROR This is error message
2020-10-07 15:54:04,752 test.py[line:6] CRITICAL This is critical message

  

  

  

五,logging 实战

  

  

1,测试场景

  给登录今日头条app的操作添加日志采集。

  

  

2,简单配置代码示例

  

# -*- coding:utf-8 -*-

  # @author: 给你一页白纸

  import logging

  from appium import webdriver

  logging.basicConfig(filename=./testLog.log, level=logging.INFO,

   format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s)

  def android_driver():

   desired_caps = {

   "platformName": "Android",

   "platformVersion": "10",

   "deviceName": "PCT_AL10",

   "appPackage": "com.ss.android.article.news",

   "appActivity": ".activity.MainActivity",

   "unicodeKeyboard": True,

   "resetKeyboard": True,

   "noReset": True,

   }

   logging.info("启动今日头条APP...")

   driver = webdriver.Remote(http://127.0.0.1:4723/wd/hub, desired_caps)

   return driver

  def login_opera(driver):

   登录今日头条操作

   logging.info("开始登陆今日头条APP...")

   try:

   driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】

   driver.find_element_by_id("android:id/button1").click() # 点击权限管理-确定按钮

   driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录

   driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮

   driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。”

   driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录

   driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236") # 输入账号

   driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172") # 输入密码

   driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录

   except Exception as e:

   logging.error("登录错误,原因为:{}".format(e))

   else:

   logging.info("登陆成功...")

  driver = android_driver()

  login_opera(driver)

  登录成功则日志输出如下:

  

2020-09-30 18:20:05,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-09-30 18:20:10,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-09-30 18:21:07,120 logging_test.py[line:41] INFO 登陆成功...

  

  

  

3,抛出问题

  上面示例代码成功地获取了日志信息,但这种写法只能作用于当前模块。而一个自动化测试项目往往有多个模块,如果在每个需要获取日志的模块都使用这样的方式,显然是不方便维护的。那么我们需要怎么解决呢?

  

  

4,解决思路

  使用日志流处理流程。提供以下两种思路:

  思路1:使用python代码实现日志配置。先创建日志记录器,并设置好Handler与日志格式,如上面的logging_test.py模块构造logger,其他模块采集日志时直接调用。

  思路2:将日志的格式、输出路径等参数抽离出来放置在专门的配置文件里,如logging.conf,使用专门的模块处理,使用时直接在模块调用即可。

  

  

5,思路1:使用python代码实现日志配置示例

  目录结构

  

  test.py中需要采集日志时,从logging_test.py导入logger即可。也可以将logging_test.py里的代码进行进一步的封装,再调用,这里仅仅只是示例。
logging_test.py

  

# -*- coding:utf-8 -*-

  # @author: 给你一页白纸

  import logging

  # 创建日志记录器

  logger = logging.getLogger()

  logger.setLevel(logging.DEBUG)

  # 设置日志输出格式

  format= logging.Formatter(%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s)

  # 创建一个Handler用于将日志写入文件

  logFile = ./log.txt

  fh = logging.FileHandler(logFile, mode=a, encoding=utf-8)

  fh.setLevel(logging.INFO)

  fh.setFormatter(format)

  logger.addHandler(fh)

  # 同样的,创建一个Handler用于控制台输出日志

  ch = logging.StreamHandler()

  ch.setLevel(logging.INFO)

  ch.setFormatter(format)

  logger.addHandler(ch)

  test.py

  

# -*- coding:utf-8 -*-

  # @author: 给你一页白纸

  from appium import webdriver

  from log.logging_test import logger

  def android_driver():

   desired_caps = {

   "platformName": "Android",

   "platformVersion": "10",

   "deviceName": "PCT_AL10",

   "appPackage": "com.ss.android.article.news",

   "appActivity": ".activity.MainActivity",

   "unicodeKeyboard": True,

   "resetKeyboard": True,

   "noReset": True,

   }

   logger.info("启动今日头条APP...")

   driver = webdriver.Remote(http://127.0.0.1:4723/wd/hub, desired_caps)

   return driver

  def login_opera(driver):

   登录今日头条操作

   logger.info("开始登陆今日头条APP...")

   try:

   driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】

   driver.find_element_by_id("android:id/button1").click() # 点击权限管理-确定按钮

   driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录

   driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮

   driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。”

   driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录

   driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236") # 输入账号

   driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172") # 输入密码

   driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录

   except Exception as e:

   logger.error("登录错误,原因为:{}".format(e))

   else:

   logger.info("登陆成功...")

  driver = android_driver()

  login_opera(driver)

  运行test.py,结果如下:

  

2020-10-07 18:45:05,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-10-07 18:45:11,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-10-07 18:45:20,120 logging_test.py[line:41] INFO 登陆成功...

  

  

  

6,思路2:日志格式配置示例

  

  

6.1,logger.conf文件

  

[loggers] # loggers日志器对象列表,必须包含

  keys=root, exampleLogger # 一定要包含root这个值,当使用无参函数logging.getLogger()时,默认返回root这个logger,其他自定义logger可以通过logging.getLogger("exampleLogger")方式进行调用

  [handlers] # handlers处理器对象列表,必须包含

  keys=consoleHandler, fileHandler # 定义声明handlers信息

  [formatters] # formatters格式对象列表,必须包含

  keys=form01,form02

  [logger_root] # 对loggers中声明的logger进行逐个配置,且要一一对应,在所有的logger中,必须制定lebel和handlers这两个选项。对于非roothandler,还需要添加一些额外的option,如qualname、propagate等。handlers可以指定多个,中间用逗号隔开,比如handlers=fileHandler,consoleHandler,同时制定使用控制台和文件输出日志

  level=DEBUG

  handlers=consoleHandler, fileHandler

  [logger_exampleLogger] # 配置日志处理器exampleLogger:设置日志级别、日志输出指定的处理器配置文件,如consoleHandler,fileHandler

  level=DEBUG

  handlers=consoleHandler, fileHandler

  qualname=exampleLogger # qualname 表示它在logger层级中的名字,在应用代码中通过这个名字制定所使用的handler

  propagate=0 # 可选项,其默认是为1,表示消息将会传递给高层次logger的handler

  [handler_consoleHandler] # 日志处理器consoleHandler的配置文件

  class=StreamHandler # 定控制台输出。将日志消息发送到输出到Stream,如std.out, std.err或任何file-like对象

  level=DEBUG # 日志级别

  formatter=form01 # 输出格式

  args=(sys.stdout,)

  [handler_fileHandler] # 日志处理器fileHandler的配置文件

  class=FileHandler # 将日志输出至磁盘文件

  level=DEBUG # 日志级别

  formatter=form02 # 输出格式

  args=(./log.txt, a, UTF-8) # 参数如未设置绝对路径,则默认生成在执行文件log.py的工作目录。指定日志文件的打开模式,默认为a

  [formatter_form01] # 格式配置1

  format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s

  [formatter_form02] # 格式配置2

  format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s

  注意:

  

  • 为了说明配置结构,这里的配置文件 logger.conf 里加了中文注释,实际使用时需要将注释去掉或改写成英文注释,否则会报编码错误。
  • 配置文件中包含三大主要模块:loggers,handlers,formatters。这三个主要模块包含的内容都是通过keys进行指定,然后通过logger_key、handler_key、formatter_key对里面的key进行具体的设置。
  • 配置handlers中的handler_consoleHandler的参数:指定日志输出到控制台、级别、输出格式、参数。
  • 配置handlers中的handler_fileHandlers的参数:指定将日志输出至磁盘文件、设置日志级别、输出格式、参数等。
  • 配置日志输出格式formatter_xxx,可配置多个,如:form01,form02。

  

  

6.2,读取配置文件,创建日志记录器logger

  baseLog.py

  

# -*- coding:utf-8 -*-

  # @author: 给你一页白纸

  import logging.config

  CON_LOG=./logger.conf # 配置文件路径

  logging.config.fileConfig(CON_LOG) # 读取日志配置文件

  logger = logging.getLogger(exampleLogger) # 创建一个日志器logger

  

  

6.3,调用示例

  目录结构如下

  

  test.py

  

# -*- coding:utf-8 -*-

  # @author: 给你一页白纸

  from appium import webdriver

  from log.baseLog import logger

  def android_driver():

   desired_caps = {

   "platformName": "Android",

   "platformVersion": "10",

   "deviceName": "PCT_AL10",

   "appPackage": "com.ss.android.article.news",

   "appActivity": ".activity.MainActivity",

   "unicodeKeyboard": True,

   "resetKeyboard": True,

   "noReset": True,

   }

   logger.info("启动今日头条APP...")

   driver = webdriver.Remote(http://127.0.0.1:4723/wd/hub, desired_caps)

   return driver

  def login_opera(driver):

   登录今日头条操作

   logger.info("开始登陆今日头条APP...")

   try:

   driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】

   driver.find_element_by_id("android:id/button1").click() # 点击权限管理-确定按钮

   driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录

   driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮

   driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。”

   driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录

   driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236") # 输入账号

   driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172") # 输入密码

   driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录

   except Exception as e:

   logger.error("登录错误,原因为:{}".format(e))

   else:

   logger.info("登陆成功...")

  driver = android_driver()

  login_opera(driver)

  控制台、log.txt输出结果如下:

  

2020-10-07 19:30:35,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-10-07 19:30:40,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-10-07 19:31:12,120 logging_test.py[line:41] INFO 登陆成功...

  

  

  

7,总结

  在实际使用python做自动化测试过程中两种解决思路都可以使用,且都挺方便。其中对于思路1,还可以将代码进行更进一步的封装。

  到此这篇关于Python日志采集(详细)的文章就介绍到这了,更多相关Python日志采集内容请搜索盛行IT软件开发工作室以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT软件开发工作室!

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: