這是《SEO新手入門系列2021系列》的第四篇內容，前面一篇已經把搜索引擎的工作原理作了簡單的介紹，可能看過SEO小也以前文章的朋友會發現，有些內容其實是已經寫過的，但是為什么還要再寫呢？其實SEO小
這是《SEO新手入門系列2021系列》的第四篇內容，前面一篇已經把搜索引擎的工作原理作了簡單的介紹，可能看過SEO小也以前文章的朋友會發現，有些內容其實是已經寫過的，但是為什么還要再寫呢？其實SEO小也也有想過這個問題，有時一篇文章寫一個知識點的時候，并不會很全面，即使很多篇文章寫相同的知識點，也不一定會有重復，可以用不同的角度去寫，有時候寫著寫著就會發現新的想法，這篇文章又繼續寫到搜索引擎爬蟲，但是SEO小也盡量用不同角度去描述，如果有相似的內容就會少寫點，直接附上鏈接，可以自己去看看。
如果要說到搜索引擎蜘蛛，那肯定不能不提robots.txt，因為 Search Engine Spider (搜索引擎爬蟲)來到網站第一件事就是去訪問這個文件，下面有幾點需要注意的地方：
- robots.txt文件是大小寫敏感的，不要寫成Robots.txt或者robots.TXT，這樣都是不行的
- 這個文件必須放在網站根目錄下
- 不要把一些后臺管理登錄界面放在這個文件內，因為這個文件是誰都可以訪問的
- 可以把sitemap的地址放在這個文件內最底部的位置
- 不是所有搜索引擎爬蟲都會遵守這個“君子協定的”
- 二級域名如http://subdomain.example.com都需要放置自己獨立的robots.txt文件
使用robots.txt文件對于SEO來說是最基礎的一步，也是最重要的一步，怎么重要？要是設置不好真的會讓搜索引擎不收錄你的網站的，不信的可以看看SEO小也前一段時間寫的《錯誤的robots文件設置對SEO的影響》，就是因為錯誤設置了robots規則，導致搜索引擎收錄下降，還好只是設置錯了一個規則，如果搜索引擎讀取了錯誤的robots.txt文件，那很有可能整個網站就不收錄了，可以看看《robots.txt文件介紹》學習下robots文件的書寫規則。
sitemap.xml和robots.txt是直接和搜索引擎蜘蛛打交道的兩個文件，sitemap主要告訴搜索引擎網站有哪些頁面，robots主要告訴搜索引擎哪些網頁不能訪問，可以看看《Sitemap的作用是什么-SEO基礎》學習下怎么寫sitemap文件，SEO小也比較懶，使用的是wordpress插件生成的，再配合搜索引擎自動提交代碼。
前面已經說過robots.txt文件的重要性，下面SEO小也給大家分析下蜘蛛的行為，搜索引擎的蜘蛛和現實的蜘蛛很像，他們都是順著自己的網爬，而搜索引擎蜘蛛的網就是URL地址，我們的網站內部，就是要把這個網做好，讓蜘蛛能順利的抓取每一個重要的網頁，SEO小也在很多文章中提過，蜘蛛來到我們網站，都會有一個固定的時間，不可能無限制的爬取，我們要盡量把網頁結構安排合理，像SEO小也這種個人博客，從內容頁到主頁，一般就是3層結構，目錄樹太深，蜘蛛很難一次爬完，現在市面上的網站大多都是這種層級，只要經過鼠標的兩次點擊，一般就能找到內容頁。
其實還有很多瑣碎的內容，但是不打算寫在這篇文章，以后會專門寫一篇來介紹一些其它細節。
