网页结构相同的1000+个网址（作为线索），有的网址有要抓取的数据，有的网址该数据为空，如何设置规则完全抓取数据？

线索网址为如下等，所以线索网址可见附件：
<<<<<

https://www.wdzj.com/dangan/dyj/

https://www.wdzj.com/dangan/sjhl/

https://www.wdzj.com/dangan/dsmm/

https://www.wdzj.com/dangan/xqd1/

https://www.wdzj.com/dangan/cxjr/

https://www.wdzj.com/dangan/xwch/

要抓取的数据为ICP号，我设计的命名主题和规则名称为：正常平台ICP号。

我发现有的线索网址有，有的线索网址没有这个数据，还发现他们的Xpath路径是相同的（如下），故在规则中高级设置中自定义了Xpath,
/html/body/div[position()=10]/div/div[position()=1]/div[position()=1]/dl[position()=1]/dd[position()=6]

但发现DS打数机仍然有些网址线索中的数据未能抓取下来，不知什么原因，求助大牛帮忙解答！非常感谢！

就是为了ICP号这一个信息吗？我看网页结构都是一样的，不用自定义xpath都可以，没有的网页就采集到一个 - 符号，后期可以通过过滤，把这类内容过滤掉

Fuller 发表于 2018-10-29 18:19
就是为了ICP号这一个信息吗？我看网页结构都是一样的，不用自定义xpath都可以，没有的网页就采集到一个 -  ...

对的，就是想单独抓取这个数据，因为别的数据已经成功抓取到了，但唯独这个数据，大部分都没有抓取到，要么本来有的抓取为空，要么抓取到上一行要素的信息。。

houxinyu1216 发表于 2018-10-29 21:51
对的，就是想单独抓取这个数据，因为别的数据已经成功抓取到了，但唯独这个数据，大部分都没有抓取到，要 ...

自定义xpath应该这样写

1. //*[@class='bgbox-bt zzfwbox']/dl/dd/div[contains(preceding-sibling::div/em/text(), 'ICP号')]/text()

复制代码

相对于那个 ICP号 这个字符串