去重的方法是计算页面的特征关键词指纹。

“复仇者联盟4影评”基于字典的分词法的原则，应该拆分为“复仇者”“联盟”“4”和“影评”4个词。

判断题“复仇者联盟4影评”基于字典的分词法的原则，应该拆分为“复仇者”“联盟”“4”和“影评”4个词。

最佳优先策略是当网络蜘蛛到达一个网页时，会将其中的所有链接收集到地址库中，并对其进行分析，从中筛选出重要性较高...

判断题最佳优先策略是当网络蜘蛛到达一个网页时，会将其中的所有链接收集到地址库中，并对其进行分析，从中筛选出重要性较高的链接进行爬行的爬行策略。

深度优先策略是网络蜘蛛来到一个网页后，先爬行该网页上所有的链接，然后再爬行下一层网页的链接的爬行策略。

判断题深度优先策略是网络蜘蛛来到一个网页后，先爬行该网页上所有的链接，然后再爬行下一层网页的链接的爬行策略。