• Techo

淺談網路爬蟲

更新日期:2018年12月5日

-

什麼是網路爬蟲

這個酷炫的名稱原理其實相當簡單

如果你想培養點寫程式的興趣

網路爬蟲肯定能帶給你極大的樂趣與成就感


所謂的網路爬蟲其實就是使用程式從平常我們每天看的網頁中撈資訊

但完全是用自動化的方式

比如說

我想要把航海王每一集的漫畫下載下來

你該不會想要一張一張圖片點右鍵儲存吧

這樣根本會載到天荒地老

但如果你今天寫了一隻Python程式

你可以把程式執行下去

然後程式會自動幫你把網頁上的圖片下載

並自動翻頁繼續下載

這集下載完後

再自動翻到下一集去下載

這時候你可以去上個廁所

等你回來時全套航海王漫畫全部載完

並且可以一集一集分類好

注意喔

從頭到尾只有執行這個程式的動作

創造資料夾、翻下一頁、命名圖片名稱

全部都是程式幫你做好的

是不是很厲害阿

網路爬蟲還可以拿來爬股票的資訊

你可以將股市上每一分一秒的動態都記錄下來

並寫對應的演算法讓你自動判斷何時要下單

有人甚至利用網路爬蟲獲得的資料配合AI得到一個買賣股票的公式呢

只要你能夠打開網頁的地方

都可以應用網路爬蟲

地圖搜尋、關鍵字收集、PTT表特版下載器A__A

各種應用都有

-

那原理到底是怎麼進行的

首先呢

網頁都是以一種叫做HTML的程式語言所構成的

這一種程式語言會寫著網頁該如何排版、字體、超連結

以及各種頁面的框架

在我們的瀏覽器連到網頁的伺服器之後

瀏覽器會把別人提供的HTML原始碼下載下來

接著把這些程式轉變成我們看到的圖形框框而已

那如何用Python來執行網路爬蟲呢?

我們就是將網址寫在程式裡面

接著透過網路連線把HTML全部下載進來

然後用一些關鍵字搜索整個HTML

把我們需要的資料過濾出來

最後就看你想拿這份資料怎樣就怎樣啦

-

爬蟲其實並不難

12堂課的課程大約在第7堂就會教到

歡迎報名 " 零基礎Python課程-24小時內從基礎到進階 "

一對一私人家教課程歡迎報名


#線上教學 #專職家教 #家教 #程式語言 #程式設計 #教育 #家教人生 #工程師 #電腦程式 #轉職 #就業 #興趣培養 #進修 #學習 #學程式 #一對一教學 #一對一課程 #一對一服務 #python #網路爬蟲


121 次瀏覽
Logo2020.JPG
  • Instagram - White Circle
  • Google+ - White Circle
  • Facebook - White Circle

Contact Us

Techo私人程式家教

官方LINE ID : @tutortecho

zh-Hant.png

© Copyright 2018 by Sherry Wu and Techo Chao.

Proudly created with Wix.com,

but page loading is too slow,so I don't recommend it.