怎样搜索搜索一个网站所有的具有特定关键字的网页并下载?(300分)

  • 主题发起人 主题发起人 goubo
  • 开始时间 开始时间
G

goubo

Unregistered / Unconfirmed
GUEST, unregistred user!
刚接触DELPHI/INTERNET编程,请各位大侠多指教.
平时提问太少,多给一些分吧.
 
关键就是扫描一个网页里面的link,然后递归处理.
 
发http请求,得到结果,分析超连接,得到下一个html文件,深度,广度
随你遍,根据html的类容做全文检索决定是否保留.
最好的方法是到yahoo里搜索.
 
其实你要先下载该网站的所有网页,然后搜索特定的关键字。除非你能
根据一个网页的内容预测它link的网页的内容。我想这很难。
 
在网页的源文件中,
〈html〉
〈head〉
〈title〉...〈/title〉
<font color="red">〈meta 文字内容〉</font>
〈/head〉...
这个meta字段中有种形式是〈meta keyword=asdf,asdf,asdf...〉
专门用于向机器人等WEB搜索程序提供本主页的信息。
这是个很通用的办法。你的搜索程序可以对这个字段特别关注一下。
 
我用的是DELPHI3,对internet的控件不太熟悉,各位大侠给个例程好吗?
 
呵呵, 要实现这个, 比下载全部网页还难, 费时也多:-(
 
原理就这样,不过实现起来挺难,自己去琢磨吧.
谢谢:
cAkk: 100
chenke: 200
youtoo: 很遗憾我是要搜索整个网页所有的关键字.

 

Similar threads

S
回复
0
查看
3K
SUNSTONE的Delphi笔记
S
S
回复
0
查看
2K
SUNSTONE的Delphi笔记
S
D
回复
0
查看
2K
DelphiTeacher的专栏
D
D
回复
0
查看
2K
DelphiTeacher的专栏
D
D
回复
0
查看
1K
DelphiTeacher的专栏
D
后退
顶部