大数据智能加工系统进度报告模板,大数据智能加工系统进度报告怎么做
核心技术:烧瓶框架熊猫文件上传数据字典查看进度报告:主要实现了用户登录、文件上传、数据字典查看功能。
核心代码:文件导入#文件导入
@app.route(/import_data ,methods=[POST , GET])
定义导入数据():
flag=0;
_ file=请求。文件。get( file )#接收前端发送过来的文件,获取文件对象
type=the_file.filename.split( . )[1] #根据文件名获取文件类型
打印(类型)#输出文件类型
#根据文件类型调用对应函数保存文件
if(type==csv 或type==txt ):
_ file。保存( score _ table/ the _ file。文件名)#保存文件到指定路径(分数_表格路径下)
flag=connectsql。read _ CSV(文件。文件名)#导入文件到数据库
elif(type==xlsx 或type==xls ):
_ file。保存( excel _ example/这个_文件。文件名)#保存文件到指定路径(excel _示例路径下)
flag=连接SQL。read _ example(_ file。文件名)
elif(type==docx ):
_ file。保存( word _ data/这个_文件。文件名)#保存文件到指定路径(word_data路径下)
否则:
_ file。保存( test _ data/这个_文件。文件名)#保存文件到指定路径(测试数据路径下)
if(flag==1):
返回jsonify({code: 0, msg : , data: }) #code代表操作状态,味精是描述信息,数据是请求的业务数据。
否则:
返回jsonify({code: -1, msg : , data: })查询已导入文件@app.route(/get_table_list )
def get_table_list():
数据=[]
data=dictionary.get_table_data()
data_re=[]
对于数据中的表名、数据库名、行、数据时间:
#时间strftime()函数接收以时间元组,并返回以可读字符串表示的当地时间, %Y-%m-%d %H:%M:%S 返回时间类型:2021-11-05, 10:24:28
数据时间字符串=数据时间。strftime( % Y-% M-% d % H:% M:% S )
#append()方法用于在列表末尾添加新的对象,该方法无返回值,但是会修改原来的列表
数据回复。追加({ 表名:表名,数据库名:数据库名,行数:行,创建时间:数据时间字符串})
计数=长度(数据)
打印(数据)
返回jsonify({code: 0, msg : , count: count, data:data_re})查看数据字典@ app。路线(/get _ look _ dictionary )
def get_look_dictionary():
表名=请求。价值观。get(表名)
数据库名称=request.values.get(数据库名称)
表_数据,表_单元=字典。获取_字典(表名,数据库名)
data_re=[]
计数=长度(表数据)
对于范围内的索引(len(表数据)):
打印(表_数据[索引][4],表_单元[索引])
数据回复。追加({ key _ English :table _ data[index][0], key _ China :table _ data[index][1], key_type:table_data[index][2],
key _ long :table _ data[索引][3], key _ null :table _ data[索引][4], key _ unit :table _ unit[索引]})
返回jsonify({code: 0, msg : , count: count, data: data_re})读取样表生成数据字典定义读取示例(路径):
标志=1
conn,cursor=get_conn_mysql()连接数据库
#将超过转换为战斗支援车文件
数据=PD。read _ excel( excel _ example/路径, Sheet1) #使用熊猫读取超过文件
data.fillna( ,inplace=True) #fillna——缺失值替代,原地=真直接修改原对象,原地=假创建副本,修改副本
打印(数据)
csv_name=path.split( . )))[0] #split()——指定分隔符对字符串进行切片,以.进行分割
# 编写表创建语句(字段类型就设为字符串)
# 表名
table_name=path.split( . )[0]
sql=如果不存在则创建表csv_name (
# 获取键值创建表` bigwork_data`.`table_test `(
# 循环加入键值
keys_china=
keys=
key_china=data.keys()
j=0
对于data.values.tolist()[1]中的我:
SQL=SQL I VARCHAR(45)NOT NULL DEFAULT # comment key _ China[j] ,
j=j 1;
keys=keys i ,
keys_china=keys_china[0:-1]
keys=keys[0:-1]
creat _ SQL=SQL[0:-1])ENGINE=InnoDB DEFAULT CHARACTER SET=utf8 COLLATE=utf8 _ bin;
打印(创建sql)
# 获取%s
s=, .join([ % s for _ in range(len(data。列))])
# 获取价值观念
keys _ unit=data。价值观。to list()[0];
值=[]
价值观。追加(数据。价值观。要列出()[0])
对于data.values.tolist()[2:]中的我:
values.append(i)
打印(值)
# 组装插入语句
insert_sql=insert into {}({})值({})。格式(表名,关键字,s)
打印(插入sql)
# 创建表
尝试:
游标. execute(创建sql)
除了:
traceback.print_exc()
标志=0
打印(表创建失败)
# # 插入数据
尝试:
对于我加入值:
cursor.execute(insert_sql,I)
打印(插入sql)
打印(一)
conn.commit()
除了:
traceback.print_exc()
标志=0
打印(写入错误)
close_conn_mysql(游标,连接)
返回读取超过文件def read_excel(路径):
conn,cursor=get_conn_mysql()连接数据库
#将超过转换为战斗支援车文件
数据=PD。read _ excel( excel _ data/路径,工作表1 )
csv_name=path.split( . )))[0]
# 编写表创建语句(字段类型就设为字符串)
# 表名
table_name=path.split( . )[0]
sql=创建表csv_name (
# 获取键值创建表` bigwork_data`.`table_test `(
# 循环加入键值
keys=
对于data.keys()中的我:
sql=sql i VARCHAR(45) NOT NULL,
keys=keys i ,
keys=keys[0:-1]
creat _ SQL=SQL[0:-1])ENGINE=InnoDB DEFAULT CHARACTER SET=utf8 COLLATE=utf8 _ bin;
# 获取%s
s=, .join([ % s for _ in range(len(data。列))])
# 获取价值观念
values=data.values.tolist()
打印(值)
# 组装插入语句
insert_sql=insert into {}({})值({})。格式(表名,关键字,s)
打印(插入sql)
打印(创建sql)
打印(按键);
打印(值)
close_conn_mysql(游标,连接)读取战斗支援车文件def read_csv(路径):
conn,cursor=get_conn_mysql()
标志=1
data=pd.read_csv(score_table/路径)
data.fillna( ,inplace=True)
#编写表创建语句(字段类型就设为字符串)
#表名
table_name=path.split( . )[0]
SQL= CREATE TABLE IF NOT EXISTS TABLE _ name (
# 获取键值创建表` bigwork_data`.`table_test `(
# 循环加入键值
keys_china=
keys=
key_china=data.keys()
j=0
对于data.values.tolist()[1]中的我:
SQL=SQL I VARCHAR(45)NOT NULL DEFAULT # comment key _ China[j] ,
j=j 1;
keys=keys i ,
keys_china=keys_china[0:-1]
keys=keys[0:-1]
creat _ SQL=SQL[0:-1])ENGINE=InnoDB DEFAULT CHARACTER SET=utf8 COLLATE=utf8 _ bin;
打印(创建sql)
# 获取%s
s=, .join([ % s for _ in range(len(data。列))])
# 获取价值观念
keys _ unit=data。价值观。to list()[0];
值=[]
价值观。追加(数据。价值观。要列出()[0])
对于data.values.tolist()[2:]中的我:
values.append(i)
打印(值)
# 组装插入语句
insert_sql=insert into {}({})值({})。格式(表名,关键字,s)
打印(插入sql)
# 创建表
尝试:
游标. execute(创建sql)
除了:
traceback.print_exc()
标志=0
打印(表创建失败)
# # 插入数据
尝试:
对于我加入值:
cursor.execute(insert_sql,I)
打印(插入sql)
打印(一)
conn.commit()
除了:
traceback.print_exc()
标志=0
打印(写入错误)
close_conn_mysql(游标,连接)
返回获取表的数据字典def get_dictionary(name_table,database_name):
sql=select列名,列注释,数据类型,字符最大长度,列默认值\
来自 information_schema.columns
其中,表名=表名 ,表模式= 数据库名
res=query_mysql(sql)
SQL= select * from name _ table limit 1
res2=query_mysql(sql)
打印(分辨率)
打印(结果2)
return res,res2[0]
及格获取表信息def get_table_data():
sql=SELECT表名,表模式,表行,创建时间\
来自信息模式.表格\
其中TABLE _ SCHEMA= bigdata
res=query_mysql(sql)
打印(分辨率)
返回资源
及格运行结果:
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。