mysql 大批量插入解决方案 _mysql

文章插图

使用场景：
测试时需要插入100w甚至1000w,1亿以上的数据，跑sql脚本循环插入或者程序遍历插入非常慢。
//DELIMITERDROP PROCEDURE if EXISTS createAmountCount;create PROCEDURE createAmountCount()BEGINDECLARE i int;set i=0;drop table if exists person ;create table person( id int not null auto_increment, name varchar(40) not null, age int, primary key(id) )engine=innodb charset=gb2312;while i<10000 DOinsert into person (name, age) values(CONCAT('usercode',i));set i=i+1;end while;END;//DELIMITERCALL createAmountCount();解决思路：

写入文件
文件导入到MySQL中

实现举例(以100w为例)
1. 使用sql 生成100w数据到txt文件中。
public static void main(String[] args) throws IOException { // TODO Auto-generated method stub BufferedWriter writer = new BufferedWriter(new FileWriter(new File("D:/driver/data.txt"), true)); for(int i=0;i<1000000;i++){ if(i%10==0){ writer.write("赵"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); }if(i%10==1){ writer.write("钱"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); } if(i%10==2){ writer.write("孙"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); }if(i%10==3){ writer.write("李"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); } if(i%10==4){ writer.write("郑"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); }if(i%10==5){ writer.write("吴"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); } if(i%10==6){ writer.write("周"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); }if(i%10==7){ writer.write("王"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); } if(i%10==8){ writer.write("张"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); }if(i%10==9){ writer.write("刘"+(i/10)+"t"+ (int)(Math.random()*100)+"n"); } } writer.close(); }2. 数据库中将数据导入表中：
create table person( id int not null auto_increment, name varchar(40) not null, age int, primary key(id) )engine=innodb charset=gb2312;load data local infile 'D:/driver/data.txt' into table person(name,age);select count(*) from person;耗费时间：
[SQL]load data local infile 'D:/driver/data.txt' into table person(name,age);受影响的行: 1000000时间: 10.067s本方案的缺点：
1.权限。非admin用户没有导入。
2. 写文件代码。对测试人员来说，写文件不仅仅限于JAVA，可以使用任何语言实现之。

【mysql 大批量插入解决方案】