建站
咨詢
售后
建站咨詢
新聞中心
以下的文章主要介紹的是Oracle數(shù)據(jù)庫(kù),sql loader快速的生成大量的相關(guān)數(shù)據(jù)的實(shí)際操作步驟，以下就是對(duì)其生成大量相關(guān)測(cè)試數(shù)據(jù)的具體思路的詳細(xì)描述。以下就是對(duì)其相關(guān)內(nèi)容的具體描述。
創(chuàng)新互聯(lián)建站堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的江干網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！
一，用plsql developer 生成csv 文件
二，用>>輸出重定向，追加到一個(gè)cvs 文件里。
三，再用sql loader 快速載入。
在plsql developer 執(zhí)行
Sql代碼
SELECT object_id,object_name FROM dba_objects;
右鍵plsql developer 導(dǎo)出csv 格式 1.csv。在linux 上執(zhí)行下面的腳本
C代碼
#!/bin/bash
for((i=1;i<200;i=i+1))
do
cat 1.csv >> 2.csv;
echo $i;
done
這樣 50000 * 200 差不到就有一千萬(wàn)的數(shù)據(jù)了。我測(cè)試的 11047500 392M
可以用:
Linux代碼
wc -l 2.csv
查看csv 里有多少條數(shù)據(jù)。現(xiàn)在測(cè)試數(shù)據(jù)有了。我們來試一下sql loader 的載入效果吧。
創(chuàng)建sqlloader 控制文件如下,保存為1.ctl
Sqlldr ctl代碼
load data
infile '2.csv'
into table my_objects
fields terminated by ','optionally enclosed by '"'
(object_id,
object_name
);
控制文件簡(jiǎn)要說明：
-- INFILE 'n.csv' 導(dǎo)入多個(gè)文件
-- INFILE * 要導(dǎo)入的內(nèi)容就在control文件里 下面的BEGINDATA后面就是導(dǎo)入的內(nèi)容
--BADFILE '1.bad' 指定壞文件地址
--apend into table my_objects 追加
-- INSERT 裝載空表 如果原先的表有數(shù)據(jù) sqlloader會(huì)停止 默認(rèn)值
-- REPLACE 原先的表有數(shù)據(jù) 原先的數(shù)據(jù)會(huì)全部刪除
-- TRUNCATE 指定的內(nèi)容和replace的相同 會(huì)用truncate語(yǔ)句刪除現(xiàn)存數(shù)據(jù)
--可以指定位置加載
--(object_id position(1:3) char,object_name position(5:7) char)
--分別指定分隔符
--(object_id char terminated by ",", object_name char terminated by ",")
--執(zhí)行sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true
--30秒可以載入200萬(wàn)的測(cè)試數(shù)據(jù) 79MB
--sqlldr userid＝/ control＝result1.ctl direct＝true parallel＝true
--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true
--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true
--當(dāng)加載大量數(shù)據(jù)時(shí)（大約超過10GB），最好抑制日志的產(chǎn)生：
--SQLALTER TABLE RESULTXT nologging;
--這樣不產(chǎn)生REDO LOG，可以提高效率。然后在CONTROL文件中l(wèi)oad data上面加一行：unrecoverable
--此選項(xiàng)必須要與DIRECT共同應(yīng)用。
--在并發(fā)操作時(shí)，Oracle數(shù)據(jù)庫(kù)聲稱可以達(dá)到每小時(shí)處理100GB數(shù)據(jù)的能力！其實(shí)，估計(jì)能到1－10G就算不錯(cuò)了，開始可用結(jié)構(gòu)
--相同的文件，但只有少量數(shù)據(jù)，成功后開始加載大量數(shù)據(jù)，這樣可以避免時(shí)間的浪費(fèi)
下面就是執(zhí)行了
Shell代碼
sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true
結(jié)果：30秒可以載入200萬(wàn)的測(cè)試數(shù)據(jù) 79MB
226秒載入1100萬(wàn)的測(cè)試數(shù)據(jù) 392Mb
我的環(huán)境是在虛擬機(jī)，測(cè)得的結(jié)果
MemTotal: 949948 kB
model name : Intel(R) Pentium(R) D CPU 2.80GHz
stepping : 8
cpu MHz : 2799.560
cache size : 1024 KB
還是挺快的：）
以上的相關(guān)內(nèi)容就是對(duì)Oracle數(shù)據(jù)庫(kù),sql loader及快速生成大量數(shù)據(jù)的介紹，望你能有所收獲。
【編輯推薦】
- Oracle密碼文件的實(shí)際操作方案介紹
- Oracle數(shù)據(jù)庫(kù)的性能完全保護(hù)的4個(gè)項(xiàng)目
- 提高Oracle SQL的執(zhí)行效率的3個(gè)方案
- Oracle存儲(chǔ)過程定時(shí)執(zhí)行2種方法
- Oracle多表關(guān)聯(lián)中的update語(yǔ)句實(shí)際應(yīng)用
文章標(biāo)題：Oracle數(shù)據(jù)庫(kù)快速生成大量的相關(guān)數(shù)據(jù)實(shí)操
文章來源：http://www.5511xx.com/article/cdohisp.html
