日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷(xiāo)解決方案
大數(shù)據(jù)量下MySQL插入方法的性能比較

不管是日常業(yè)務(wù)數(shù)據(jù)處理中，還是數(shù)據(jù)庫(kù)的導(dǎo)入導(dǎo)出，都可能遇到需要處理大量數(shù)據(jù)的插入。插入的方式和數(shù)據(jù)庫(kù)引擎都會(huì)對(duì)插入速度造成影響，這篇文章旨在從理論和實(shí)踐上對(duì)各種方法進(jìn)行分析和比較，方便以后應(yīng)用中插入方法的選擇。

插入分析

MySQL中插入一個(gè)記錄需要的時(shí)間由下列因素組成，其中的數(shù)字表示大約比例：

  • 連接：（3）
  • 發(fā)送查詢給服務(wù)器：（2）
  • 分析查詢：（2）
  • 插入記錄：（1x記錄大小）
  • 插入索引：（1x索引）
  • 關(guān)閉：（1）

如果我們每插入一條都執(zhí)行一個(gè)SQL語(yǔ)句，那么我們需要執(zhí)行除了連接和關(guān)閉之外的所有步驟N次，這樣是非常耗時(shí)的，優(yōu)化的方式有一下幾種：

  1. 在每個(gè)insert語(yǔ)句中寫(xiě)入多行，批量插入
  2. 將所有查詢語(yǔ)句寫(xiě)入事務(wù)中
  3. 利用Load Data導(dǎo)入數(shù)據(jù)

每種方式執(zhí)行的性能如下。

Innodb引擎

InnoDB 給 MySQL 提供了具有事務(wù)(commit)、回滾(rollback)和崩潰修復(fù)能力(crash recovery capabilities)的事務(wù)安全(transaction-safe (ACID compliant))型表。InnoDB 提供了行鎖(locking on row level)以及外鍵約束(FOREIGN KEY constraints)。

InnoDB 的設(shè)計(jì)目標(biāo)是處理大容量數(shù)據(jù)庫(kù)系統(tǒng)，它的 CPU 利用率是其它基于磁盤(pán)的關(guān)系數(shù)據(jù)庫(kù)引擎所不能比的。在技術(shù)上，InnoDB 是一套放在 MySQL 后臺(tái)的完整數(shù)據(jù)庫(kù)系統(tǒng)，InnoDB 在主內(nèi)存中建立其專用的緩沖池用于高速緩沖數(shù)據(jù)和索引。

測(cè)試環(huán)境

Macbook Air 12mid apache2.2.26 php5.5.10 mysql5.6.16

總數(shù)100W條數(shù)據(jù)

插入完后數(shù)據(jù)庫(kù)大小38.6MB（無(wú)索引），46.8（有索引）

  • 無(wú)索引單條插入 總耗時(shí)：229s 峰值內(nèi)存：246KB
  • 有索引單條插入 總耗時(shí)：242s 峰值內(nèi)存：246KB
  • 無(wú)索引批量插入 總耗時(shí)：10s 峰值內(nèi)存：8643KB
  • 有索引批量插入 總耗時(shí)：16s 峰值內(nèi)存：8643KB
  • 無(wú)索引事務(wù)插入 總耗時(shí)：78s 峰值內(nèi)存：246KB
  • 有索引事務(wù)插入 總耗時(shí)：82s 峰值內(nèi)存：246KB
  • 無(wú)索引Load Data插入 總耗時(shí)：12s 峰值內(nèi)存：246KB
  • 有索引Load Data插入 總耗時(shí)：11s 峰值內(nèi)存：246KB

MyIASM引擎

MyISAM 是MySQL缺省存貯引擎。設(shè)計(jì)簡(jiǎn)單，支持全文搜索。

測(cè)試環(huán)境

Macbook Air 12mid apache2.2.26 php5.5.10 mysql5.6.16

總數(shù)100W條數(shù)據(jù)

插入完后數(shù)據(jù)庫(kù)大小19.1MB（無(wú)索引），38.6（有索引）

  • 無(wú)索引單條插入 總耗時(shí)：82s 峰值內(nèi)存：246KB
  • 有索引單條插入 總耗時(shí)：86s 峰值內(nèi)存：246KB
  • 無(wú)索引批量插入 總耗時(shí)：3s 峰值內(nèi)存：8643KB
  • 有索引批量插入 總耗時(shí)：7s 峰值內(nèi)存：8643KB
  • 無(wú)索引Load Data插入 總耗時(shí)：6s 峰值內(nèi)存：246KB
  • 有索引Load Data插入 總耗時(shí)：8s 峰值內(nèi)存：246KB

總結(jié)

我測(cè)試的數(shù)據(jù)量不是很大，不過(guò)可以大概了解這幾種插入方式對(duì)于速度的影響，最快的必然是Load Data方式。這種方式相對(duì)比較麻煩，因?yàn)樯婕暗搅藢?xiě)文件，但是可以兼顧內(nèi)存和速度。

測(cè)試代碼

 
 
 
 
    
  
  
  
  
  1.   
  
  
  
  2. $dsn = 'mysql:host=localhost;dbname=test'; 
    3.   
  
  
  
  3. $db = new PDO($dsn,'root','',array(PDO::ATTR_PERSISTENT => true)); 
    4.   
  
  
  
  4. //刪除上次的插入數(shù)據(jù) 
    5.   
  
  
  
  5. $db->query('delete from `test`'); 
    6.   
  
  
  
  6. //開(kāi)始計(jì)時(shí) 
    7.   
  
  
  
  7. $start_time = time(); 
    8.   
  
  
  
  8. $sum = 1000000; 
    9.   
  
  
  
  9. // 測(cè)試選項(xiàng) 
    10.   
  
  
  
  10. $num = 1; 
    11.   
  
  
  
  11.  
    12.   
  
  
  
  12. if ($num == 1){ 
    13.   
  
  
  
  13. // 單條插入 
    14.   
  
  
  
  14. for($i = 0; $i < $sum; $i++){ 
    15.   
  
  
  
  15. $db->query("insert into `test` (`id`,`name`) values ($i,'tsetssdf')"); 
    16.   
  
  
  
  16. } 
    17.   
  
  
  
  17. } elseif ($num == 2) { 
    18.   
  
  
  
  18. // 批量插入，為了不超過(guò)max_allowed_packet，選擇每10萬(wàn)插入一次 
    19.   
  
  
  
  19. for ($i = 0; $i < $sum; $i++) { 
    20.   
  
  
  
  20. if ($i == $sum - 1) { //***一次 
    21.   
  
  
  
  21. if ($i%100000 == 0){ 
    22.   
  
  
  
  22. $values = "($i, 'testtest')"; 
    23.   
  
  
  
  23. $db->query("insert into `test` (`id`, `name`) values $values"); 
    24.   
  
  
  
  24. } else { 
    25.   
  
  
  
  25. $values .= ",($i, 'testtest')"; 
    26.   
  
  
  
  26. $db->query("insert into `test` (`id`, `name`) values $values"); 
    27.   
  
  
  
  27. } 
    28.   
  
  
  
  28. break; 
    29.   
  
  
  
  29. } 
    30.   
  
  
  
  30. if ($i%100000 == 0) { //平常只有在這個(gè)情況下才插入 
    31.   
  
  
  
  31. if ($i == 0){ 
    32.   
  
  
  
  32. $values = "($i, 'testtest')"; 
    33.   
  
  
  
  33. } else { 
    34.   
  
  
  
  34. $db->query("insert into `test` (`id`, `name`) values $values"); 
    35.   
  
  
  
  35. $values = "($i, 'testtest')"; 
    36.   
  
  
  
  36. } 
    37.   
  
  
  
  37. } else { 
    38.   
  
  
  
  38. $values .= ",($i, 'testtest')"; 
    39.   
  
  
  
  39. } 
    40.   
  
  
  
  40. } 
    41.   
  
  
  
  41. } elseif ($num == 3) { 
    42.   
  
  
  
  42. // 事務(wù)插入 
    43.   
  
  
  
  43. $db->beginTransaction(); 
    44.   
  
  
  
  44. for($i = 0; $i < $sum; $i++){ 
    45.   
  
  
  
  45. $db->query("insert into `test` (`id`,`name`) values ($i,'tsetssdf')"); 
    46.   
  
  
  
  46. } 
    47.   
  
  
  
  47. $db->commit(); 
    48.   
  
  
  
  48. } elseif ($num == 4) { 
    49.   
  
  
  
  49. // 文件load data 
    50.   
  
  
  
  50. $filename = dirname(__FILE__).'/test.sql'; 
    51.   
  
  
  
  51. $fp = fopen($filename, 'w'); 
    52.   
  
  
  
  52. for($i = 0; $i < $sum; $i++){ 
    53.   
  
  
  
  53. fputs($fp, "$i,'testtest'\r\n"); 
    54.   
  
  
  
  54. } 
    55.   
  
  
  
  55. $db->exec("load data infile '$filename' into table test fields terminated by ','"); 
    56.   
  
  
  
  56. } 
    57.   
  
  
  
  57.  
    58.   
  
  
  
  58. $end_time = time(); 
    59.   
  
  
  
  59. echo "總耗時(shí)", ($end_time - $start_time), "秒\n"; 
    60.   
  
  
  
  60. echo "峰值內(nèi)存", round(memory_get_peak_usage()/1000), "KB\n"; 
    61.   
  
  
  
  61.  
    62.   
  
  
  
  62. ?> 
    63.

以上就是MySQL大量數(shù)據(jù)插入各種方法性能分析與比較，希望能幫到你。

博文出處：http://yansu.org/2014/04/16/insert-large-number-of-data-in-mysql.html


分享名稱：大數(shù)據(jù)量下MySQL插入方法的性能比較
文章路徑：http://www.5511xx.com/article/cogecej.html