新手用python 爬蟲 希望各路高手教路

最近我自學用python
嘗試用python 爬蟲
目標是以下這個足球網站

http://www.hkjcodds.com/

我知道個JS唔可以就咁爬 就用selinium
不過selinium 都找不到相關的數據
即使佢係彈多左堆野 過左個API 但有D資料都出唔曬
但js/json 後面果堆數據我都搵唔倒 XMR 又得一個FILE JS就一大堆

我就咁用網頁開發者模式都唔知堆數據放係邊 (咩初/終果D同堆數字果D)
點解會咁樣 爬極都爬唔倒想要堆數 又唔知要request 邊度好

果堆code如下
-----------------------------------------------------------------------
from selenium import webdriver
import requests as rq
import time
import pandas as pd


driver = webdriver.Chrome()
driver.get('http://www.hkjcodds.com/')

def tryclick(driver, selector, count=0): ##保護機制,以防無法定味道還沒渲染出來的元素
    try:
        elem = driver.find_element_by_css_selector("addthis_sharing_toolbox")
        # elem = driver.find_element_by_xpath(Xpath)  # 如果你想透過Xpath定位元素
        elem.click() # 點擊定位到的元素
    except:
        time.sleep(2)
        count+=1
        if(count <2):
            tryclick(driver, selector,count)
        else:
            print("cannot locate element" + selector)



time.sleep(3)
html = driver.page_source

driver.close()
print(html)

唔係用developer mode ,check 番network request 再睇番D session data?

TOP

Use Puppeteer

TOP

我有睇過, 佢都係craw hkjc既資料, 點解你唔直接craw hkjc?

TOP