如何自动的每隔20分钟、下载一批网页，并分析得到数据！一个星期搞定，就下岗了。求救！(100分)

D

dwqxj

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-21

• #1

1 如何每隔20分钟自动下载一批网页?用什么控件，如何实现 自动！
另：下载的网页 究竟是源代码 还是 网页！
2 如何分析每一个网页，得到其中的数据，用什么方法能自动分析，把数据取出后入access。

 

D

dwqxj

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-21

• #2

期待源码：dw-wtt@sohu.com

 

S

sbzldlb

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-21

• #3

哎，这个当然是自己想拉
不然你干吗做程序员啊~~~~

 

B

baiduan

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-21

• #4

网络爬行机器人阿。。。一星期。。。。
如果老板真这么说，下岗就下岗

 

P

ProLove

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-21

• #5

这个很简单的，主要是分析网页结构，我用这个抓过阿里巴巴网的，广州商品网的，广东建材网的，原理很简单，主在用到DELPHI的HTTP，然后再分析网页架构，就可以得到你的数据,至于具体的代码你可以自己写，或留下EMail 我发给你

 

D

dwqxj

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-21

• #6

To ProLove
首先谢谢。我的email：dw-wtt@sohu.com

 

D

dwqxj

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-21

• #7

ProLove,在吗，能上qq吗，兄弟帮帮忙！qq:415639123 email: dw-wtt@sohu.com
在线！

 

C

cjmcn-sh

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-22

• #8

这个问题不是很难。我的43297460 IDHTTP1.GET最简单。然后分析代码。

 

Z

zqw0117

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-22

• #9

1 如何每隔20分钟自动下载一批网页?用什么控件，如何实现 自动！
另：下载的网页 究竟是源代码 还是 网页！
[red]用TIdHttp控件，直接Get下来，都是html的源代码，直接保存，然后分析即可。至于定时则很简单，加个Timer即可。[/red]
2 如何分析每一个网页，得到其中的数据，用什么方法能自动分析，把数据取出后入access。
[red]分析可用简单的字符串分析得到数据，也能用IHTMLDocument接口加载html文件后直接获取里面的每个元素然后分析，随便你怎么弄[/red]

 

D

dwqxj

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-23

• #10

用TIdHttp控件，直接Get下来,
我下的是动态的网页，每小时不同，
好像下了一两个小时，就不能下了，显示 socket error
为什么？谁有例子？谢谢
另：还有别的方法下吗

 

D

dwqxj

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-23

• #11

ProLove,在吗

 

G

ghosts

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-23

• #12

1、得到网页的源码，这个可以做到
2、把网页的内容转化为EXCEL文件，这个也可以做到，但有一定的难度
3、分析这个EXCEL文件，（一般网页的格式是固定的）
4、剩下的事就你自己做。

 

D

dwqxj

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-04-23

• #13

这是我下载部分的源码：
function tform1.downdata:boolean;
var
fs: TFileStream;
begin

try
fs:=TFileStream.Create(filename, fmCreate);
IdHTTP1.Get(webpath, fs);
fs.Free;
result:=true;
except
Showmessage('没连上');
result:=false;
end;

end;

这是处理程序：

for i:=0 to 10 do
begin
webpath:='http://..........'; //动态网页 含有i值
filename:=inttostr(i)+'.htm';
downdata;
end;

定时5分钟处理，经常弹出Showmessage('没连上');窗口，
为什么？

 

P

ProLove

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-05-24

• #14

楼主，你这个贴还没完吗？

 

J

jfyes

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-05-24

• #15

readTimeOut 超时设大点。

 

D

dwqxj

Unregistered / Unconfirmed

GUEST, unregistred user!

• 2006-05-28

• #16

多人接受答案了。