講解SQL Server海量數據導入的最快方法

這篇論壇文章(賽迪網技術社區)詳細講解了SQL Server海量數據導入的最快方法,更多內容請參考下文:

最近做某項目的數據庫分析,要實現對海量數據的導入問題,就是最多把200萬條數據一次導入sqlserver中,如果使用普通的insert語句進行寫出的話,恐怕沒個把小時完不成任務,先是考慮使用bcp,但這是基于命令行的,對用戶來說友好性太差,實際不大可能使用;最後決定使用BULK INSERT語句實現,BULK INSERT也可以實現大數據量的導入,而且可以通過編程實現,界面可以做的非常友好,它的速度也很高:導入100萬條數據不到20秒中,在速度上恐怕無出其右者。

但是使用這種方式也有它的幾個缺點:

1.需要獨占接受數據的表

2.會産生大量的日志

3.從中取數據的文件有格式限制

但相對于它的速度來說,這些缺點都是可以克服的,而且你如果願意犧牲一點速度的話,還可以做更精確的控制,甚至可以控制每一行的插入。

對與産生占用大量空間的日志的情況,我們可以采取在導入前動態更改數據庫的日志方式爲大容量日志記錄恢複模式,這樣就不會記錄日志了,導入結束後再恢複原來的數據庫日志記錄方式。

具體的一個語句我們可以這樣寫:

alter database taxi

set RECOVERY BULK_LOGGED

BULK INSERT taxi..detail FROM 'e:\out.txt'

WITH (

?? DATAFILETYPE = 'char',

?? FIELDTERMINATOR = ',',

?? ROWTERMINATOR = '\n',

?TABLOCK

)

alter database taxi

set RECOVERY FULL

這個語句將從e:\out.txt導出數據文件到數據庫taxi的detail表中。

sqlserver 海量數據導入的最快方法
最近做某項目的數據庫分析,要實現對海量數據的導入問題,就是最多把200萬條數據一次導入sqlserver中,如果使用普通的insert語句進行寫出的話,恐怕沒個把小時完不成任務,先是考慮使用bcp,但這是基于命令行的,對用...查看完整版>>sqlserver 海量數據導入的最快方法
 
sqlserver 海量數據導入的最快方法
最近做某項目的數據庫分析,要實現對海量數據的導入問題,就是最多把200萬條數據一次導入sqlserver中,如果使用普通的insert語句進行寫出的話,恐怕沒個把小時完不成任務,先是考慮使用bcp,但這是基于命令行的,對用...查看完整版>>sqlserver 海量數據導入的最快方法
 
SQL Server 數據導入:行爲規範
  我最早使用的一個關系型 DBMS 就是 Microrim's R:Base 4000. R:Base,與其 PC 競爭對手 dBase 不同的是,它是真正的關系型數據庫管理系統,是在 20 世紀 80 年代初作爲 NASA RIM(關系信息管理,Relational Infor...查看完整版>>SQL Server 數據導入:行爲規範
 
SQL Server 數據導入:行爲規範
我最早使用的一個關系型 DBMS 就是 Microrim's R:Base 4000. R:Base,與其 PC 競爭對手 dBase 不同的是,它是真正的關系型數據庫管理系統,是在 20 世紀 80 年代初作爲 NASA RIM(關系信息管理,Relational Informat...查看完整版>>SQL Server 數據導入:行爲規範
 
sql server 2000數據庫置疑的解決方法
先分離數據庫企業管理器--右鍵置疑的數據庫--所有任務--分離數據庫然後備份你的置疑數據庫的文件,再按下面的步驟處理:1.新建一個同名的數據庫2.再停掉sql server3.用置疑數據庫的文件覆蓋掉這個新建的同名數據庫4.再...查看完整版>>sql server 2000數據庫置疑的解決方法
 
sql server 添加數據庫的方法
在 SQL Server Management Studio 對象資源管理器中,連接到 Microsoft SQL Server 數據庫引擎 實例,再展開該實例。右鍵單擊“數據庫”,指向“任務”,然後單擊“附加”。在“附加數據庫”對話框中,若要指定要附加...查看完整版>>sql server 添加數據庫的方法
 
SQL Server 7六種數據移動方法
  1. 通過工具DTS的設計器進行導入或導出   DTS的設計器功能強大,支持多任務,也是可視化界面,容易操作,但知道的人一般不多,如果只是進行SQL Server數據庫中部分表的移動,用這種方法最好,當然,也可以進行...查看完整版>>SQL Server 7六種數據移動方法
 
SQL Server導出導入數據方法
  一、導出導入SQL Server裏某個數據庫  1.在SQL Server企業管理器裏選中要轉移的數據庫,按鼠標右鍵,選所有任務->備份數據庫。  2.備份 選數據庫-完全,  目的 備份到 按添加按鈕   文件名 在SQL Se...查看完整版>>SQL Server導出導入數據方法
 
SQL Server導出導入數據方法
一、導出導入SQL Server裏某個數據庫1.在SQL Server企業管理器裏選中要轉移的數據庫,按鼠標右鍵,選所有任務->備份數據庫。2.備份 選數據庫-完全, 目的 備份到 按添加按鈕 文件名 在SQL Server服務器硬盤下輸...查看完整版>>SQL Server導出導入數據方法
 
 
回到王朝網路移動版首頁