Mysql大批量并发更新-陶醉

数据更新或新增后数据经常自动回滚，造成mysql死锁。

本次遇到这个情况，主要是每天有20w条Update，需要在8个小时内完成，用的是python Mysqldb

目前是多线程，结果并发量过大，造成各种问题。记几个关键：

一、优化sql语句

能insert，尽量别update；

大量update，最好使用executemany，而不是execute；

executemany，一次可提交多条数据，那么使用线程，等待线程结束后一起提交，减少update数量；

不过这个过程时间要比execute长，于是产生了lock time问题。

二、优化mysql性能

ERROR HY000: Lock wait timeout exceeded; try restarting transaction

1、锁等待超时。

是当前事务在等待其它事务释放锁资源造成的。可以找出锁资源竞争的表和语句，优化你的SQL，创建索引等，如果还是不行，可以适当减少并发线程数。

2、innodb_lock_wait_timeout是Innodb放弃行级锁的超时时间

设置方法参考：

http://dev.mysql.com/doc/innodb-plugin/1.0/en/innodb-other-changes-innodb_lock_wait_timeout.html

mysql> set innodb_lock_wait_timeout=900;
Query OK, 0 rows affected (0.00 sec)

mysql> select @@innodb_lock_wait_timeout;
+----------------------------+
| @@innodb_lock_wait_timeout |
+----------------------------+
|                        900 |
+----------------------------+
1 row in set (0.00 sec)

转载随意~：陶醉 » Mysql大批量并发更新