大数据量处理的问题(100分)

X

xia_yu

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2001-06-22

• #1

目的:
现在我要对一张表(50,000条记录,还会有少量增长)进行分析处理
问题:
我用BDE的TQuery,我现在是1.select * from tablename全部取出数据
2.循环,逐条对数据分析
结果发现性能出现了问题,因为数据量太大。
我的想法：
不是用select * from tablename，而是把这个表分成几等分一步步来分析
但表中没有字段可以用来切分这个表
--------------------------------------------------------------------------------
不知各位有何高见!

 

W

wind_cloudy

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2001-06-22

• #2

添加一个自动增长类型的字段，用该字段的数值的大小来切分这个表.

 

Y

ysl66

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2001-06-22

• #3

不要在程序中写SQL语句，写成存储过程，用TStoredProc调用。

 

X

xia_yu

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2001-06-22

• #4

现在不能改表结构
因为分析十分复杂,用stored procedure也不合适

 

M

Michael100

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2001-06-22

• #5

select Field1,Field2... from TableName
只取需要的字段。

 

R

riosinph

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2001-06-22

• #6

我想知道你用的是什么数据库？

 

C

citybug

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2001-06-22

• #7

问题是出在取数据的时候还是出现在循环处理的时候？
如果是出现在取数据的时候就：
1、改用存储过程做。
2、用的什么数据库，是不是数据库性能太差。
3、换机器。
如果是出现在循环处理的时候就：
检查有没有处理的共性。

 

M

maming

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2001-06-22

• #8

用clientdataset，把数据取到本地，想如何分析都行，还有就是采用好的算法。

 

X

xia_yu

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2001-06-25

• #9

多人接受答案了。