360搜索 > 使用幫助

                      簡介

                       
                       

                      感謝您使用360搜索。為了實現對網站更好的收錄,我們在此公布360搜索對Robots協議的支持和擴展說明,以便站長們了解,實現對網站內容更高效、智能的收錄。

                       

                      360搜索對Robots協議的支持

                       
                       

                      360搜索支持Robots協議的主要命令,以下為具體說明:

                      1. user-agent

                      360搜索各產品的爬蟲user-agent為:

                      - 網頁搜索 360Spider

                      - 圖片搜索 360Spider-Image

                      - 視頻搜索 360Spider-Video

                      2. Allow

                      站長可通過Allow命令指定建議收錄的文件、目錄 。

                      3. Disallow

                      站長可通過Disallow命令指定不建議收錄的文件、目錄。

                       
                      回到頂部 ↑

                      360搜索對Robots協議的擴展

                      360搜索根據站長們的反饋,會陸續推出擴展的Robots協議命令。這些命令將能幫助站長們提高和360搜索爬蟲溝通的效率,減少站長們維護Robots協議文件的技術成本。

                      360搜索首個擴展命令是:indexpage,站長們可以使用此命令告知360搜索哪些網頁經常更新。360搜索會根據站長的指示以及自己的算法,智能調整爬蟲抓取頻率,實現對您網站新內容的更高頻率抓取。

                      在命令中可以使用*、$等通配符。

                      示例:

                      使用通配符的

                      Indexpage: http://bbs.360safe.com/forum-*-1.html$

                      Indexpage: http://ent.sina.com.cn/*/roll.html

                      不用通配符的:

                      Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

                      Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

                      Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

                      Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

                      Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml

                      回到頂部 ↑

                      對Robots協議的善意使用

                      Robots協議是一個搜索引擎和網站之間的善意協議,我們鼓勵站長們也以善意的方式使用這一協議,盡量提供準確的信息,除非有充足理由,不使用Robots協議屏蔽某些特定搜索引擎爬蟲。

                      360搜索愿和站長們一起,共建一個更健康、公平、透明的搜索引擎生態系統。



                       
                      Copyright ? 360.CN All Rights Reserved.
                      天津11选5助手