Board logo

標題: 想問問Web scraping 用邊問language 好? [打印本頁]

作者: cyrus_ho    時間: 2022-7-3 11:25     標題: 想問問Web scraping 用邊問language 好?

簡單page content
基本做data retrieval store 入db (any brand is ok)

1st phase - csv format
2nd phase - web query UI for internal use (no authentication required)
3rd phase - provide API support for further integration (RESTful)

諗緊python + nodejs + nginx ,其他師兄有無其他意見?

重點做One off,做完交貨無手尾
作者: javacomhk    時間: 2022-7-3 13:12

本帖最後由 javacomhk 於 2022-7-3 22:49 編輯

Javascript 都得

https://www.hkepc.com/forum/redirect.php?goto=findpost&ptid=2662592&pid=41088700

你可以試下我呢個JSON API,每日早上6點自動更新,唔使自己起 server,用 javacript webscrape。

https://tinyurl.com/react9?request=getStock&stock=00001.HK&stock=00005.HK&stock=00700.HK
作者: sonichkhk    時間: 2022-7-3 17:35

回覆 1# cyrus_ho

python(fastapi) + nginx(react)
作者: gamezz    時間: 2022-7-4 13:00

回覆 1# cyrus_ho

我用 nodejs cheerio, 可能有更好選擇。
作者: domeso    時間: 2022-7-4 13:36

回覆 4# gamezz


    +1 on cheerio,

for complicated site use Puppeteer





歡迎光臨 電腦領域 HKEPC Hardware (https://h0.hkepc.com/forum/) Powered by Discuz! 7.2