WebScraper是Mac平臺(tái)上的一款數(shù)據(jù)導(dǎo)出工具，該工具可以快速提取與某個(gè)網(wǎng)頁（包括文本內(nèi)容）相關(guān)的信息，使你能夠以最少的工作從在線源快速提取內(nèi)容，你可以完全控制將數(shù)據(jù)導(dǎo)出到CSV或JSON文件。

【功能介紹】

　　使用多線程快速掃描任何網(wǎng)站

　　在WebScraper主窗口中，必須指定要掃描的網(wǎng)頁的URL地址以及用于完成此過程的線程數(shù)。你可以借助一個(gè)簡(jiǎn)單的滑塊來調(diào)整后面的參數(shù)。

　　為避免任何不必要的掃描，您可以選擇僅抓取單個(gè)網(wǎng)頁，然后通過簡(jiǎn)單的鼠標(biāo)點(diǎn)擊開始此過程。在實(shí)時(shí)查看窗口中，您可以看到每個(gè)鏈接返回的狀態(tài)消息，這在處理調(diào)試任務(wù)時(shí)可能會(huì)很有用。

　　提取各種類型的信息，并將數(shù)據(jù)導(dǎo)出為CSV或JSON

　　在WebScraper輸出面板中，您可以選擇希望實(shí)用程序從網(wǎng)頁中提取的信息類型：URL，標(biāo)題，描述，與不同類或ID關(guān)聯(lián)的內(nèi)容，標(biāo)題，頁面內(nèi)容各種格式（純文本，HTML或MarkDown）和最后修改日期。

　　您還可以選擇輸出文件格式（CSV或JSON），決定合并空格，并在文件超出一定大小時(shí)設(shè)置警報(bào)。如果您選擇采用CSV格式，則可以選擇何時(shí)在列周圍使用引號(hào)，采用引號(hào)替換引號(hào)或行分隔符類型。

　　最后但并非最不重要的是，WebScraper還允許您更改用戶代理，設(shè)置鏈接數(shù)量和來自主頁的點(diǎn)擊數(shù)量的限制，可以忽略查詢字符串，并可將根域的子域作為內(nèi)部頁面。