robots.txt使用時的注意事項

                            2017/2/20 8:48:05   閱讀:1290    發布者:1290

                              robots.txt文件同時也有一定的風險,里面的隱私文檔最好不要寫在里面,否則的話容易給攻擊者指明了網站的目錄結構和私密數據所在的位置。設置訪問權限,對您的隱私內容實施密碼保護,這樣,攻擊者便無從進入。

                              1)robots.txt必須放置在站點的根目錄下,而且文件名必須全部小寫。

                              2)不要在robots.txt文件中設置所有的文件都可以被搜索蜘蛛抓取。

                              3)為安全考慮,建議很重要的文件夾不要寫在robots.txt文件中。

                              常見搜索引擎蜘蛛Robots名字:

                              百度Baiduspider :http://www.baidu.com

                              360搜索360Spider:https://www.so.com/

                              SOSOSosospider:https://www.sogou.com/

                              有道YoudaoBot/YodaoBot:http://www.yodao.com/

                              搜狗Sogou News Spider:https://www.sogou.com/

                              MSNmsnbot/msnbot-media:http://www.msn.com/zh-cn

                              谷歌Googlebot :http://www.google.com

                              雅虎Inktomi Slurp :http://www.yahoo.com

                              必應MSNBOT :http://search.msn.com

                            男女直接做全过程的视频