大佬们帮看下这个py代码哪里有问题

搬瓦工机场JMS
  1. #!/usr/bin/env python
  2. # -*- coding:utf-8 -*-
  3. import hashlib
  4. import sqlite3
  5. dict_set = set()
  6. dict_md5 = {}
  7. def read_file(file):
  8.     print(‘Reading file …’)
  9.     with open(file, ‘r’, encoding=’utf-8′) as fr:
  10.         for line in fr:
  11.             dict_set.add(line.strip())
  12.     msg = ‘There are {} lines in total…’.format(dict_set.__len__())
  13.     print(msg)
  14. def md5():
  15.     print(‘Calculating MD5…’)
  16.     print(dict_set.__len__())
  17.     for k in dict_set:
  18.         pwd_md5 = hashlib.md5()
  19.         pwd_md5.update(k.encode(‘utf-8’))
  20.         v = pwd_md5.hexdigest()
  21.         dict_md5[k] = v
  22. def insert2db():
  23.     print(‘Write to database…’)
  24.     conn = sqlite3.connect(‘md5.db’)
  25.     cursor = conn.cursor()
  26.     i = 1
  27.     for k, v in dict_md5.items():
  28.         print(k, ‘-‘, v)
  29.         try:
  30.             sql = "INSERT INTO MD5 (ID,PASSWD,PASSWD_MD5)\
  31.                 VALUES (‘{}’, ‘{}’, ‘{}’);".format(i, k, v)
  32.             print(sql)
  33.             cursor.execute(sql)
  34.             i += 1
  35.         except:
  36.             pass
  37.     cursor.close()
  38.     conn.commit()
  39.     conn.close()
  40. if __name__ == ‘__main__’:
  41.     read_file(‘./dict/dict.txt’)
  42.     # read_file(‘./dict/top10W.txt’)
  43.     md5()
  44.     insert2db()
  45.     pass

复制代码

通过这个代码,应该可以正向计算得出MD5值,而且应该可以生成md5.db的数据库,现在问题是后台记录看到可以生成MD5,但无法写入db数据库,是为什么?
北京网友:我好像进错帖子,字母我都认识,在一起就不认识了
广东网友:1. 贴代码请用 gist
2. 你在 commit 之前就把 cursor 关了,估计是这个原因。一般 cursor 放着不管也没问题。
陕西网友:
是不是得先创建表?

  1. cursor.execute(”’CREATE TABLE MD5
  2.        (ID INT PRIMARY KEY     NOT NULL,
  3.        PASSWD           TEXT    NOT NULL,
  4.        PASSWD_MD5       TEXT     NOT NULL);”’)

复制代码

commit 应该在 for 循环里面

dict_set = set()
dict_md5 = {}

dict_md5 的 keys 的数据结构就是一个 set(3.6 之后你可以当做有序的 set),字典的 key 值不能重复,因此可以缩减一些没必要的操作

SQLite 的主键声明为 INTEGER PRIMARY KEY 是自增的,因此不需要单独计算 ID 字段的值

河南网友:大佬可以将修改后的完整代码发下嘛,谢谢~
天津网友:直接删掉cursor就行了嘛?
内蒙古网友:dddddd
西藏网友:https://gist.github.com/JamCh01/3d2d5a00538efd89f2054b3d885abde9
陕西网友:谢谢大佬,我回去跑程序看看
澳门网友:删掉试了下,还是不行,无法生成
江西网友:删掉试了下,还是不行,无法生成
甘肃网友:另外大佬能不能再帮忙改善下代码,让python每次一行行读,一口气读整个txt文件6GB+的系统直接gg了,内存耗尽。。。
贵州网友:你没创建表吧?在34行后加一句

  1. cursor.execute(‘create table md5 (ID,PASSWD,PASSWD_MD5)’)

复制代码试一下?
山西网友:根据上个大佬的方法现在数据库成功生成了,然后发现一个小问题,python长时间读取大文件后系统内存不足,能不能让py分段读取同一个大文件?比如10GB的txt?
贵州网友:你试试看?重新写了份
https://gist.github.com/gougou6423/cf25822d4d0c1756b43b58f7d6076881
湖北网友:试了下,貌似不错,不过可以适当优化下嘛,比如每次读取几十或者几百行,提高下效率,现在速度略微偏慢了一点,等了蛮久
浙江网友:或者能不能修改什么参数设置读取量,现在读取写入速度有点慢了,每秒才1MB写入,1个200多GB的数据库得几天几夜才能生成。。。硬盘的写入设置在30MB/s可以嘛?不清楚这个速度下每秒读取多少行
上海网友:另外顺带问下,可以多线程CPU进行嘛,现在单线程CPU感觉利用不充分,有点浪费
安徽网友:写入后只有600多MB,貌似自行中断了,db数据库不完整,原先完整的应该是800多MB,600多MB的数据库查不到任何md5。。。
贵州网友:
https://gist.github.com/gougou6423/cf25822d4d0c1756b43b58f7d6076881
我这只有3-500k的数据进行测试,是正常的
你先弄少量数据试下呗
多线程稍微有点麻烦,同时写数据库可能会阻塞
你要把那个数据库文件先删了,重新建,因为主键设置了自增
青海网友:
https://gist.github.com/gougou6423/cf25822d4d0c1756b43b58f7d6076881
我这只有3-500k的数据进行测试,是正常的
你先弄少量数据试下呗
多线程稍微有点麻烦,同时写数据库可能会阻塞
你要把那个数据库文件先删了,重新建,因为主键设置了自增
陕西网友:另外确实,大一点的文件的话,大佬你这个代码生成不完整就中断了
江苏网友:
算md5的部分加上了多进程,效果不是很明显,sqlite只能单进程写,优化后写入大概20M左右,自测1G的字典需要6分钟的样子。改进后的代码
https://gist.github.com/gougou6423/cf25822d4d0c1756b43b58f7d6076881
这种数据量sqlite怕不是很合适,推荐换mysql吧
广东网友:好的,我回去试试,还能再多写入一些嘛?我那个字典估计至少有600g。。 。
辽宁网友:python 的多线程不是虚的么 实际上只有一个线程
湖南网友:大佬,有个问题,这个代码生成的数据库无法查询md5,感觉少了或者生成的内容有问题
福建网友:不认为多线程会有什么优化,那位朋友的代码在 hash 计算用了多进程,但是你的数据库是 sqlite,本就不要谈及性能
无论你开多少线程,只要访问同一张表都会锁住,实际都是顺序执行
至于大文件 IO 会造成内存问题,加个分段读即可

未经允许不得转载:美国VPS_搬瓦工CN2 GIA VPS » 大佬们帮看下这个py代码哪里有问题

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏