5亿条记录插入SQL Server你知道要用多长时间吗？(200分)

  • 主题发起人 zerosoft
  • 开始时间
实际结果是PC机根本完不成这项任务，不是慢的问题。
 
建议花5亿人民币买一银河5号大型机来处理
 
IBM的硬盘，小心你的数据哦，说不准哪天就没啦，我公司的IBM硬盘坏得差不多了，多数是动动它，重装一下系统，然后就over啦，叫人口哭笑不得。我见过烂硬盘，也没见过IBM这么烂的硬盘！
 
好象清华有个学生拿了国际排序比赛的第一，10亿多的数据差不多用了10分钟，你去找他问问，俺是乡下人，不知道
 
？？！！希望我的数据库永远没这么大！！！！我用了两年了也不过1500万条计录！！幸运呀！！！:)等到有5亿条记录时我早不干了！！！
 
几点意见：
1、表一定要加索引
2、一定要用存储过程
3、不能频繁大开和关闭数据库的连接，最好用数据库连接缓冲池
4、最好在一个单独的线程中进程数据库操作
 
这边用TeraData，一个表也有5GB，不过这边是Datawarehouse，类UNIX，
不知道windows平台的东东要处理这个是什么情况
 
只能用BCP工具了
 
用BCP快一点
 
不要用SQL SERVER，那东东太破，建议用ORACLE或DB2
 
沒試過

只有ORACL9I的30W發時

0.5H
 
有趣的问题,都讨论了快2年了,也不知楼主现在何方,问题解决否,
看了百家争鸣,发表一下自己的看法:
1.小型机不一定就快,我单位使用2台IBM H85(大深蓝),H70,H75.是用来承受大数据量的压力
和高可靠性,而运算速度方面并没有多大的提高.
2.数据库插入运算时间不是线形增长,插入1000条记录和插入1000万条记录并不是所使用的
时间就是1W倍.
我觉得这个项目应该是需求有问题!
个人之见
 
长见识了。
 
loshita的发言极富建设性，希望大家仔细阅读，特别是初出茅庐的学生们。
 
现在才看到这篇讨论,sql2000用bcp命令,在p4电脑,256兆内存,40G硬盘的电脑,可能做一分钟导入300万行,这点我就可以做到,我为一个城市的链琐超市做数据同步,十分钟左右可以导入5000万行,一亿行二十多分钟就可以做完(不用群集电脑,只一台hp3000服务器).就是因为我做到了这点,超市停掉了orcale,sysbase(不是因为这些数据库做不到,而是做到此性能要花很多的钱)

Sql2000绝对牛.
 
这个系统设计有问题,5亿条数据,即使插入进去了也没有商业价值,因为插入数据和查询数据都会很慢.客户不可能接受的.应该考虑一下其它的方案.
个人之见[:)]
 
关注
看了这我算幸福的 我一年的数据才200W 我就比较提心吊胆，不过这个东东我想能熬个
几年 就不管了 几年后 谁知道世界是如何了
 
我来提供一个思路试试看：)
首先采集的机器要好，2g以上，内存一定要1G以上 最好2G 我想问题应该不是太大。初始化直接开800m-1G的空间。数据到了就当场分析那个2进制文件 进行组织以后放入开辟的内存 同时就按照客户的要求进行处理了 然后开一个线程后台慢慢放入数据库吧 一定要用scsi硬盘 因为cpu占用率的问题。 这样等于避开了数据库瓶颈
 
[:)][:D][8D][:(][:(!][^][?]
 
您必须登录或注册才可回复。

Similar threads

X
使用unidac 连接FB 3.0 （含嵌入版） - xalion
回复
0
查看
537
xalion
X
不
奇淫怪巧之在Delphi中调用不申明函数 - 不得闲
回复
0
查看
707
不得闲
不
不
Delphi实现类似Android锁屏的密码锁控件 - 不得闲
回复
0
查看
813
不得闲
不
不
B编码以及BT种子文件分析 - 不得闲
回复
0
查看
861
不得闲
不
S
[转]LEO原创-FMX之你不知道的ARC
回复
0
查看
725
swish
S
顶部