5亿条记录插入SQL Server你知道要用多长时间吗?(200分)

  • 主题发起人 zerosoft
  • 开始时间
Sybase Oracle Sql server都可以阿!

只要转入程序的算法定的好一点,6小时可以搞定!

5亿多不算多的,我转过一个6G的SQL 数据库到SYBASE中!也就一个晚上,晚上6点运行程序后走人,
第二天早9点过来看,已全搞完了!
 
这么多数据
机器不行了
5亿条记录 那要多大的空间啊
分解
 
up....估计不会很快完成!!
 
非人类!:D[:D][:D]
 
关注,200万都把我难住了,别说5亿了
 
建议你用Oracle。
 
gz
第一次听说
 
自己做个数据库驱动算了,直接使用二进制文件。
 
大哥,你就是用SQLDMO来实现也肯定要不少时间,你服务器最少也要4CPU,2G内存,如果你是在
客户端来实现,就不要想了,最起码也要千兆网卡.再说SQLSERVER不太适合大数据量的分析.
存储很慢,你分析起来会更慢.
还有某位楼主说DB2号称最快.我看不一定吧,在2CPU以下的配置中,DB2可以说是慢如蜗牛.
比SQLSERVER慢了不知多少.如果说DB2是最稳定的我还同意.可以与甲骨文博一下高端市场,
低端的就不用想了,我一个客户不知道听谁说的,背着我把SQL换成了DB2,结果系统蜗牛了三天.
他的机子应该不赖.2001年,双P3 800,512M内存.IBM机.
 
数据量太大sql server可能会崩溃。换用其他的数据库吧!oracle和db2而且要注意回滚和临时表的空间。估计几十个小时是少不了的!
 
太大了...
对SQL服务器进行配置,让它使用更多的内存...
 
oracle
up....
 
不就是500M条纪录嘛,我这里是做过2G条纪录,总字节达到250TB的应用。这样的项目我们光是
请顾问公司就花了500K RMB的咨询费用。

zerosoft:
你如果想找到真正的解决方案,就去找专业公司来吧。
 
用oracle数据仓库
 
单一表中记录只能越加越慢,
试取定量记录分插入临时表!
临时表记录临时表!
 
学习,

但从一个二进制文件导入数据库的话,靠转换工具会把所有数据到导入一个表吧,
if then, 就算导入成功,到查询时只能收皮了
 
5亿???
如何处理????
 
分析一下數據的業務規則,5億條,這不一定全都要使用,可以多建幾個數據庫,對活動頻率
低的進行休眠,對頻煩的進行活動。
 
关于大批量数据入库问题,需要建立索引,用程序过程分批提交,
如:5亿条=5万*1万次,具体该怎样分,需要依机子的配置,表的各字段的大小及数据库等各方面的限制
 
如果已经存在的话放一个新的数据库中,办法就多了,而且很快。。。。!!!我是说,你有5亿记录
放到其他的一个库中就有办法解决了。。用转换了。。
 
顶部