5亿条记录插入SQL Server你知道要用多长时间吗？(200分)

Z

zerosoft

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-04-26

• #101

各位兄台，最后我用自定义数据文件存储了，时间在25分钟左右。

 

Y

yczjs

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-04-26

• #102

这么牛
用了一年时间

 

L

LiChaoHui

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-04-26

• #103

可以写外部过程，用动态连接库加载数据，用存储过程进行插入，
去掉所有数据约束，可以让数据插入速度更快些

 

T

tohappy

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-04-27

• #104

关注下列问题，一定对你有益：
http://delphibbs.com/delphibbs/dispq.asp?lid=1743719
http://delphibbs.com/delphibbs/dispq.asp?lid=1742072
http://delphibbs.com/delphibbs/dispq.asp?lid=1655569
http://delphibbs.com/delphibbs/dispq.asp?lid=1786356

 

M

MaoMingBody

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-09-10

• #105

我是来见世面的，我现在刚巧开始学DELPHI和SQL，想我都没有想过会一次过处理这么多数据。

 

C

copy_paste

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-09-10

• #106

牛啊，呵
Teradata数据库专门做这种TB级的数据库，不过，估计也不现实，好像光它那个服务器（Teradata专用）一台都要1-2千万（好像，反正不少于1千万），沃尔马超市就是用它,好像用了多少个服务器,(好像不是叫多少台服务器,是多少个节点,忘了....)

 

C

coaco

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-10-15

• #107

5亿数据直接写入硬盘（不用数据库）需要多少时间？[8D]

 

T

tintin2010

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-10-15

• #108

Teradata是天价。
用sql server 的DTS功能转。
1、不会是天天有1亿条
2、如果是，既然有方法产生，也有方法输入

 

F

fsse4000

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-10-15

• #109

One Day

 

J

jiawei_0806

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2003-10-17

• #110

5亿，没搞错吧，怎么这么多，你是多什么的呀？
这样sql数据库中的一个表能存下这么多的数据吗 ？

 

Y

yangyang2008

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-07

• #111

纯属有病！

 

C

colin.zeng

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-07

• #112

大哥，先换电脑吧，然后再考虑如何操作了。。。。。

 

W

wukui

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-07

• #113

我觉得这是一个坑，好大一个坑。。。。

 

雪

雪鹰

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-07

• #114

分布式来分配负栽，并且分批处理可以吗？
关注～～

 

S

sw008

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-07

• #115

不管用什么数据库，估计都不可行！
还是自己设计一个文件吧，用自己的方式读写。
或用Foxpro，世界上运算速度最快的数据库，只是它不是大型的。

 

Z

zhukewen

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-08

• #116

100小时能插5亿条记录？你也太牛了吧？

 

S

smj_9547

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-08

• #117

用BCP一般我导入数据基本上5000条/秒平均一个小时可以插入1800万条记录,那么10个小时可以完成1.8亿条记录,可能4个小时5亿条记录就可以输入了!我的机器是P4 2.4服务器!

 

G

goodzp

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-08

• #118

一分钱一条记录,我帮你输.

 

V

vc_delphi

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-08

• #119

我认为如果用一个PC机有可能产生很多问题：
如：
1。输入太慢。
2。读取数据时也的需要一定的时间。
我有个建议：
一：如果，只有5亿条记录的话（以后没有这么多的数据输入），
你可以采用：
1。用多台计算机，每一台输入其中的一部分，然后在合并。
2。用分布式，把数据库服务器的吞吐量提高，用网络中的每一台计算机同时向
数据库服务器输入数据。
二：如果，以后经常有5亿条记录这么多条的话，
那我建议你组建一个数据库服务器群，（好象中央数据管理中心一样），
！！！！！！！！！！！！！！！！！！！！！！！
其他的我也没有高招了。自己想想吧！！！
祝：
新年快乐
万事如意
！！！！！

 

L

loshita

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2004-01-09

• #120

我也来献丑吧.
首先是可行性,这个大家都有了一致的意见
你5亿数据要用破烂组装机来读
还要用sql2k......简单来说,要你去砍树,不准用电锯,要用指甲钳,行么?
你之前说 用了100小时来读 我觉得很正常呀.算你能读了进去,但在实际应用上
至少要再读一次来分析吧?(你说的)你觉得你现在带宽能够胜任吗?
如果我说,分析天气用的电脑用的是p133mmx+32mb+dos系统,
之所以用dos,是因为dos稳定+简单.作者为此作了最大的优化
使其能够达到 dos os的极限.......你信么?
如果真的要实行,怎么也要3-5台分布服务器吧?我觉得达到5小时 算成功了
成本再上去,就不现实了

第二 是数据采集那部分
我相信 同类型的采集机器不会是世界上唯一的一种吧?
你的工作不是世界上独一无二的吧?
总会有人做着和你相同的工作
想办法去交流一下吧
这个我们都不清楚的 只能靠自己了

第三,很多事情,包括我,实际上是受客观限制的
你的情况我也遇过类似的(不是数据库),TMD有的事.......
正常去做 客户不满意....不是做不出,而是不应该不顾实际乱做
技术上能做到 不代表有经济价值哦 我的建议跟大家一样
看看其他方面有没有可以改进的
你不是说 光顾问就花 xxxxxxxxx rmb么?
足够请人做一个 硬件来压缩数据了
另外,花了 xxxxxxxxxrmb顾问 就买不起研究用的电脑?
谁不想花小钱办大事?人家的股市用的机器,大家可以想象
能用sql2k么?说到这里 我也不说了,5亿数据 也不算天文
目前中国的科技来说,小意思
问题是化算么?要提高一倍速度的话,可不是多投入一倍的资金就了事的

祝你好运