征集方案,见者有份......(200分)

  • 主题发起人 主题发起人 wangyufan
  • 开始时间 开始时间
W

wangyufan

Unregistered / Unconfirmed
GUEST, unregistred user!
请提供把1G的数据(文本文件),快速倒入数据库的方法?
倒入数据库前需要校验文件内容。
 
呵呵,我捡分。
 
很难快速!我也想知道。
gz
 
呵呵,我只有听课的份了。
 
从存入方法上没有太多的快速办法,除非采用ORACLE的并行服务进行并行插入。其它数据库
可采用下面的方法试试。
首先将该数据压缩,如果是纯文本则压缩速度将很快,且压缩比很高。
将压缩后的文件存入数据库。
取出时采用相反的操作即可。
 
对文本进行分段,然后分段倒入数据库中,分段时可以以内容来分,这样做起来会快许多,
当需要检索时,对各段分别进行检索,当阅读文本中的一部分时,只需调入相关段即可。

这种方法可行的,我做过的。
 
老老实实导吧
 
我到要看看有什么好方法
 
能不能用多线程?
把文件分成几个块(但不用分开,仍然是一个文件),每个线程共享打开文件,然后分别
读出一块来,往数据库里写,怎么样?我没试过,具体效率不清楚。
 
导1G的数据?
费时又费分啊。。。
 
还要校验, 当然要写代码了, 一定快不了的
 
先谢谢各位朋友,希望能有人提供新想法。可以把分全给他。。。。
 
谢谢大家!
 
后退
顶部