python怎么处理json数据,python创建json文件并写入
本文主要介绍python处理大型json文件的方法。本文通过示例代码向您详细介绍,对您的学习或工作有一定的参考价值。有需要的朋友可以参考一下。
如图,要处理的数据是一个json数组,而且非常大。
下图显示了计算机配置。用json.load()方法加载上面的json文件,电脑直接卡死。
解决方案:
先用python进行预处理,即如果一个完整的json数据加载很慢,那么就单独加载,一次加载一个json对象,然后用json.dumps()方法存储在txt中,方便读取。当然也可以存储在内存里,看情况而定。
算法思路:因为json是一种结构化数据,{}是成对存在的。因为json文件是逐行读入的,所以根据{}的个数来判断是否读取了一个完整的json对象。如果它是完整的,则使用json.dumps()方法将其存储在txt中。
GetUsefullData(temp line,id)这个方法是提取你需要的数据。
def jsonProcess(文件名,舍入):
id=1
用open(文件名, r ,编码=utf-8 )作为f,open(./tempData/tempFile str(round)。txt , w )作为临时文件:
line=f.readline()
line=f.readline()
temp=
khNum=0
id=1
而行:
#打印(行)
if line.find({ )!=-1:
khNum=1
if line.find(} )!=-1:
khNum -=1
如果khNum==0:
line=line.replace(,,)
data=getUsefullData(临时行,id)
id=1
if len(数据)1:
#打印(数据)
尝试:
tempfile . write(JSON . dumps(data) n )
“JSON . decoder . jsondecodererror”:除外
破裂
temp=
line=f.readline()
继续
温度=线
line=f.readline()
阅读方法:
带开(’./tempData/tempFile str(round)。txt )作为f:
dataList=f.readlines()
#解析保存的列表
对于dataList:中的数据
data=json.loads(数据)
关于python处理大型json文件的方法,本文就到这里。有关python处理大型json文件的更多信息,请搜索流行的IT软件开发工作室以前的文章或继续浏览下面的相关文章。希望大家以后多多支持热门IT软件开发工作室!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。