W wangyufan Unregistered / Unconfirmed GUEST, unregistred user! 2002-03-08 #1 请提供把1G的数据(文本文件),快速倒入数据库的方法? 倒入数据库前需要校验文件内容。
O only you Unregistered / Unconfirmed GUEST, unregistred user! 2002-03-08 #5 从存入方法上没有太多的快速办法,除非采用ORACLE的并行服务进行并行插入。其它数据库 可采用下面的方法试试。 首先将该数据压缩,如果是纯文本则压缩速度将很快,且压缩比很高。 将压缩后的文件存入数据库。 取出时采用相反的操作即可。
从存入方法上没有太多的快速办法,除非采用ORACLE的并行服务进行并行插入。其它数据库 可采用下面的方法试试。 首先将该数据压缩,如果是纯文本则压缩速度将很快,且压缩比很高。 将压缩后的文件存入数据库。 取出时采用相反的操作即可。
N newnob Unregistered / Unconfirmed GUEST, unregistred user! 2002-03-08 #6 对文本进行分段,然后分段倒入数据库中,分段时可以以内容来分,这样做起来会快许多, 当需要检索时,对各段分别进行检索,当阅读文本中的一部分时,只需调入相关段即可。 这种方法可行的,我做过的。
教 教父 Unregistered / Unconfirmed GUEST, unregistred user! 2002-03-08 #9 能不能用多线程? 把文件分成几个块(但不用分开,仍然是一个文件),每个线程共享打开文件,然后分别 读出一块来,往数据库里写,怎么样?我没试过,具体效率不清楚。
W wangyufan Unregistered / Unconfirmed GUEST, unregistred user! 2002-03-09 #14 先谢谢各位朋友,希望能有人提供新想法。可以把分全给他。。。。