Wep Spider 是一個自動瀏覽網頁的程式，它會將網頁內 HTML 及 Javascript 等內容過濾，並將有意義的內容收集及整理。而搜尋引擎就是 web spider 來收集網頁內容，及在網頁上讀取網頁上的連結，從而找到新網頁。

要建立一個在 Linux 下的 web spider 收隻網路上的內容，可以用 php, perl, python, ruby 等語言來做，這篇文章 介紹如何建立一個 web spider，只要會一點 programming 及 Linux 操作也可跟著完成。

Build a Web spider on Linux