國(guó)內(nèi)一位開(kāi)發(fā)者在 GitHub 上開(kāi)源了個(gè)集眾多數(shù)據(jù)源于一身的爬蟲(chóng)工具箱——InfoSpider,一不小心就火了!!!
有多火呢?開(kāi)源沒(méi)幾天就登上GitHub周榜第四,標(biāo)星1.3K,累計(jì)分支172個(gè)(GitHub地址:https://github.com/kangvcar/InfoSpider) 在這樣一個(gè)信息爆炸的時(shí)代,每個(gè)人都有很多個(gè)賬號(hào),賬號(hào)一多就會(huì)出現(xiàn)這么一個(gè)情況:個(gè)人數(shù)據(jù)分散在各種各樣的公司之間,就會(huì)形成數(shù)據(jù)孤島,多維數(shù)據(jù)無(wú)法融合,這個(gè)項(xiàng)目可以幫你將多維數(shù)據(jù)進(jìn)行融合并對(duì)個(gè)人數(shù)據(jù)進(jìn)行分析,這樣你就可以更直觀、深入了解自己的信息。 InfoSpider 是一個(gè)集眾多數(shù)據(jù)源于一身的爬蟲(chóng)工具箱,旨在安全快捷的幫助用戶(hù)拿回自己的數(shù)據(jù),工具代碼開(kāi)源,流程透明。并提供數(shù)據(jù)分析功能,基于用戶(hù)數(shù)據(jù)生成圖表文件,使得用戶(hù)更直觀、深入了解自己的信息。
目前支持?jǐn)?shù)據(jù)源包括GitHub、QQ郵箱、網(wǎng)易郵箱、阿里郵箱、新浪郵箱、Hotmail郵箱、Outlook郵箱、京東、淘寶、支付寶、中國(guó)移動(dòng)、中國(guó)聯(lián)通、中國(guó)電信、知乎、嗶哩嗶哩、網(wǎng)易云音樂(lè)、QQ好友、QQ群、生成朋友圈相冊(cè)、瀏覽器瀏覽歷史、12306、博客園、CSDN博客、開(kāi)源中國(guó)博客、簡(jiǎn)書(shū)。 根據(jù)創(chuàng)建者介紹,InfoSpider 具有以下特性:
安全可靠:本項(xiàng)目為開(kāi)源項(xiàng)目,代碼簡(jiǎn)潔,所有源碼可見(jiàn),本地運(yùn)行,安全可靠。
使用簡(jiǎn)單:提供 GUI 界面,只需點(diǎn)擊所需獲取的數(shù)據(jù)源并根據(jù)提示操作即可。
結(jié)構(gòu)清晰:本項(xiàng)目的所有數(shù)據(jù)源相互獨(dú)立,可移植性高,所有爬蟲(chóng)腳本在項(xiàng)目的 Spiders 文件下。
數(shù)據(jù)源豐富:本項(xiàng)目目前支持多達(dá)24+個(gè)數(shù)據(jù)源,持續(xù)更新。
數(shù)據(jù)格式統(tǒng)一:爬取的所有數(shù)據(jù)都將存儲(chǔ)為json格式,方便后期數(shù)據(jù)分析。
個(gè)人數(shù)據(jù)豐富:本項(xiàng)目將盡可能多地為你爬取個(gè)人數(shù)據(jù),后期數(shù)據(jù)處理可根據(jù)需要?jiǎng)h減。
數(shù)據(jù)分析:本項(xiàng)目提供個(gè)人數(shù)據(jù)的可視化分析,目前僅部分支持。
InfoSpider使用起來(lái)也非常簡(jiǎn)單,你只需要安裝python3和Chrome瀏覽器,運(yùn)行 python3 main.py,在打開(kāi)的窗口點(diǎn)擊數(shù)據(jù)源按鈕, 根據(jù)提示選擇數(shù)據(jù)保存路徑,接著輸入賬號(hào)密碼,就會(huì)自動(dòng)爬取數(shù)據(jù),根據(jù)下載的目錄就可以查看爬下來(lái)的數(shù)據(jù)。 是不是很簡(jiǎn)單呢,如果你對(duì)InfoSpider也感興趣,趕緊試一下。
責(zé)任編輯:lq
-
開(kāi)源
+關(guān)注
關(guān)注
3文章
3624瀏覽量
43543 -
GitHub
+關(guān)注
關(guān)注
3文章
481瀏覽量
17489 -
爬蟲(chóng)
+關(guān)注
關(guān)注
0文章
83瀏覽量
7394
原文標(biāo)題:一款爆紅的開(kāi)源爬蟲(chóng)工具箱
文章出處:【微信號(hào):TheBigData1024,微信公眾號(hào):人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
Made with KiCad(104):Cynthion - 用于構(gòu)建、分析和 Hack USB 設(shè)備的多功能工具

NVIDIA推出開(kāi)源物理AI數(shù)據(jù)集
Open Echo:一個(gè)開(kāi)源的聲納項(xiàng)目

集性能與成本于一身的IMU,讓無(wú)人機(jī)飛行更穩(wěn)定

評(píng)論