关于搜索蜘蛛的问题 ( 积分: 100 )

搜索蜘蛛只访问网页，但不会调用网页中的js文件，这点是如何实现的，小弟一直没搞明白，希望各位指教。
如爱问的蜘蛛在网站上的日志为：
2007-06-15 00:37:17 W3SVC1631736730 218.16.119.40 GET /html/JSXW969/JSXW747/704101013831.html - 80 - 60.28.164.37 iaskspider/2.0(+http://iask.com/help/help_index.html) 200 0 0

通过网页访问该网页的日志为：
2007-06-15 00:39:09 W3SVC1631736730 218.16.119.40 GET /html/JSXW969/JSXW747/704101013831.html - 80 - 124.115.0.104 Mozilla/4.0+(compatible;+MSIE+6.0) 404 0 2
2007-06-15 00:39:09 W3SVC1631736730 218.16.119.40 GET /js/con_ad1.js - 80 - 124.115.0.104 Mozilla/4.0+(compatible;+MSIE+6.0) 404 0 2
2007-06-15 00:39:11 W3SVC1631736730 218.16.119.40 GET /js/con_ad2.js - 80 - 124.115.0.104 Mozilla/4.0+(compatible;+MSIE+6.0) 404 0 2
2007-06-15 00:39:12 W3SVC1631736730 218.16.119.40 GET /js/con_ad3.js - 80 - 124.115.0.104 Mozilla/4.0+(compatible;+MSIE+6.0) 404 0 2
2007-06-15 00:39:13 W3SVC1631736730 218.16.119.40 GET /js/end_s.js - 80 - 124.115.0.104 Mozilla/4.0+(compatible;+MSIE+6.0) 200 0 0

另外，日志中的头"iaskspider/2.0(+http://iask.com/help/help_index.html)"是如何生成的，请指教

不懂，没研究过，帮顶

自己解决了，结贴