python怎么处理json数据,python创建json文件并写入

  python怎么处理json数据,python创建json文件并写入

  本文主要介绍python处理大型json文件的方法。本文通过示例代码向您详细介绍,对您的学习或工作有一定的参考价值。有需要的朋友可以参考一下。

  如图,要处理的数据是一个json数组,而且非常大。

  下图显示了计算机配置。用json.load()方法加载上面的json文件,电脑直接卡死。

  解决方案:

  先用python进行预处理,即如果一个完整的json数据加载很慢,那么就单独加载,一次加载一个json对象,然后用json.dumps()方法存储在txt中,方便读取。当然也可以存储在内存里,看情况而定。

  算法思路:因为json是一种结构化数据,{}是成对存在的。因为json文件是逐行读入的,所以根据{}的个数来判断是否读取了一个完整的json对象。如果它是完整的,则使用json.dumps()方法将其存储在txt中。

  GetUsefullData(temp line,id)这个方法是提取你需要的数据。

  def jsonProcess(文件名,舍入):

  id=1

  用open(文件名, r ,编码=utf-8 )作为f,open(./tempData/tempFile str(round)。txt , w )作为临时文件:

  line=f.readline()

  line=f.readline()

  temp=

  khNum=0

  id=1

  而行:

  #打印(行)

  if line.find({ )!=-1:

  khNum=1

  if line.find(} )!=-1:

  khNum -=1

  如果khNum==0:

  line=line.replace(,,)

  data=getUsefullData(临时行,id)

  id=1

  if len(数据)1:

  #打印(数据)

  尝试:

  tempfile . write(JSON . dumps(data) n )

  “JSON . decoder . jsondecodererror”:除外

  破裂

  temp=

  line=f.readline()

  继续

  温度=线

  line=f.readline()

  阅读方法:

  带开(’./tempData/tempFile str(round)。txt )作为f:

  dataList=f.readlines()

  #解析保存的列表

  对于dataList:中的数据

  data=json.loads(数据)

  关于python处理大型json文件的方法,本文就到这里。有关python处理大型json文件的更多信息,请搜索流行的IT软件开发工作室以前的文章或继续浏览下面的相关文章。希望大家以后多多支持热门IT软件开发工作室!

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: