Mysql百万数据去重

搬瓦工机场JMS

采集了200W条数据,字段有id,title等,入库时title没设置唯一,怎么能快速基于title去重,去重后我要设置title唯一,才敢再采集入库
贵州网友:新建一个表,加主键,导过去,忽略失败。
天津网友:用个redis做缓存,一边读,一边判断,再写到一个新库里得了。200万,用不了多久。
湖南网友:才200万,导出来设置唯一索引再导入进去就行了
甘肃网友:简单粗暴有效的做法
澳门网友:给跪了,,,但是不做好备份,出错就gg
贵州网友:解决问题就是要这样
内蒙古网友:我又不动原数据,出错怎么就gg了呢
新疆网友:

  1. use database;
  2. drop table  tablename;
  3. commit;

复制代码

黑龙江网友:
命令要写全啊。

  1. use database;
  2. drop table  tablename;
  3. commit;
  4. # run away

复制代码

吉林网友:
命令要写全啊。

  1. use database;
  2. drop table  tablename;
  3. commit;
  4. # run away

复制代码

西藏网友:不是我写的。
广西网友:不好意思,在问一下。用什么语句导呢?insert into B select * from A;遇到重复就报错停止了
北京网友:自己查到了,用insert ignore into B select * from A;可以

未经允许不得转载:美国VPS_搬瓦工CN2 GIA VPS » Mysql百万数据去重

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏