網(wǎng)友評分: 5分
LocoySpider是一款非常專業(yè)的數(shù)據(jù)采集軟件,該軟件功能強大,為廣大用戶提供了網(wǎng)絡數(shù)據(jù)采集以及信息挖掘等功能,有了它,我們可以通過靈活的方式輕松的從網(wǎng)頁上抓取文字、圖片、文件等任何數(shù)據(jù)。
LocoySpider程序支持遠程下載圖片文件,支持網(wǎng)站登陸后的信息獲取,支持探測文件真實地址,支持代理,支持防盜鏈的采集,支持采集數(shù)據(jù)直接入庫和模仿人手工發(fā)布等許多功能特點。
1、規(guī)則自定義 - 通過采集規(guī)則的定義,可以搜索所有網(wǎng)站采集幾乎任何類型的信息。
2、多任務,多線程 - 可以同時進行多個信息獲取任務,每個任務可以使用多個線程。
3、所見即所得 - 任務采集過程所見即所得,過程中遍歷的鏈接信息、采集信息、錯誤信息等都會及時的反映在軟件界面中。
4、數(shù)據(jù)保存 - 數(shù)據(jù)邊采集邊自動保存到關系數(shù)據(jù)庫中,并且數(shù)據(jù)結構能夠自動適應,軟件可以根據(jù)采集規(guī)則自動創(chuàng)建數(shù)據(jù)庫,以及其中的表和字段,也可以通過導庫方式靈活的將數(shù)據(jù)保存到客戶已有的數(shù)據(jù)庫結構中。
5、斷點續(xù)采 - 信息收集任務可以在停止后從斷點開始繼續(xù)采集,從此你用不再擔心你的采集任務意外中斷了。
6、網(wǎng)站登錄 - 支持網(wǎng)站Cookie,支持網(wǎng)站可視化登錄,即使登錄時需要驗證碼的網(wǎng)站也能采集。
7、計劃任務 - 通過這個功能可以讓你的采集任務定時、定量或者一直循環(huán)執(zhí)行。
8、采集范圍限制 - 可以根據(jù)采集的深度和網(wǎng)址的標識來限制采集的范圍。
9、文件下載 - 可以將采集到的二進制文件(諸如:圖片、音樂、軟件、文檔等等)下載到本地磁盤或者采集結果數(shù)據(jù)庫中。
10、結果替換 - 可以將采集的結果根據(jù)規(guī)則替換成你定義的內(nèi)容。
11、條件保存 - 可以根據(jù)某個條件來決定那些信息保存,那些信息過濾。
12、過濾重復內(nèi)容 - 軟件可根據(jù)用戶設置和實際情況對重復內(nèi)容和重復網(wǎng)址自動刪除重復內(nèi)容。
13、特殊鏈接識別 - 運用此功能可以將用JavaScript動態(tài)生成的鏈接或其他更古怪的連接識別出來。
14、數(shù)據(jù)發(fā)布 - 可以通過自定義接口,將已采集的結果數(shù)據(jù)發(fā)布到任意的內(nèi)容管理系統(tǒng)和指定數(shù)據(jù)庫中?,F(xiàn)在已支持的目標發(fā)布媒體包括:數(shù)據(jù)庫(access, sql server,my sql,oracle) ,靜態(tài)htm文件。
15、預留編程接口 - 定義多個編程接口,用戶可以在事件中利用PHP,C#語言進行編程,擴充采集功能。
1、支持所有網(wǎng)站編碼:完美支持采集所有編碼格式的網(wǎng)頁,程序還可以自動識別網(wǎng)頁編碼。
2、多種發(fā)布方式:LocoySpider支持目前所有主流和非主流的CMS,BBS等網(wǎng)站程序,通過系統(tǒng)的發(fā)布模塊能實現(xiàn)采集器和網(wǎng)站程序間的完美結合。
3、全自動:無人值守工作,配置好程序后,程序將依據(jù)您的設置自動運行,完全無需人工干預。
4、本地編輯:本地可視化編輯已采集的數(shù)據(jù)。
5、采集測試:這是其它任何同類采集軟件所不能比的,程序支持直接查看采集結果并測試發(fā)布。
6、管理方便:使用站點+任務方式管理采集節(jié)點,任務支持批量操作,再多的數(shù)據(jù)管理也很輕松。
多線程高速并行采集系統(tǒng)
任務分配至多個客戶端,同時運行采集,效率倍增。
多識別系統(tǒng)
配備正文識別、中文分詞識別、任意編碼識別等多種識別系統(tǒng),智能識別操作更輕松。
可選驗證方式
LocoySpider可選擇是否使用加密狗,隨時保障數(shù)據(jù)安全。
全自動運行
無需人工值守操作,任務完成后自動關機。
替換功能
同義,近義詞替換、參數(shù)替換,偽原創(chuàng)必備技能。
任意文件格式下載
圖片、壓縮文件、視頻等任意格式的文件都能輕松下載。
系統(tǒng)運行監(jiān)控
監(jiān)控數(shù)據(jù)質量,確保數(shù)據(jù)準確性。
支持多數(shù)據(jù)庫
支持Access/MySQL/MsSQL/Sqlite/Oracle多種類型的數(shù)據(jù)庫保存及發(fā)布。
無限級多頁采集
支持包含ajax請求數(shù)據(jù)在內(nèi)的多個頁面信息的無限級采集。
支持擴展
LocoySpider支持接口和插件擴展,滿足各種采發(fā)需求。
建網(wǎng)站苦于沒內(nèi)容?
火車采集器可自動采集優(yōu)質內(nèi)容,定時發(fā)布;并配置多種數(shù)據(jù)處理選項,讓網(wǎng)站內(nèi)容獨一無二,快速提升網(wǎng)站流量!
業(yè)務發(fā)展遭遇瓶頸?
火車采集器助您在數(shù)據(jù)中快速挖掘新客戶;透視競爭對手的業(yè)務數(shù)據(jù),分析客戶行為拓展新業(yè)務,精準營銷降低風險和預算。
數(shù)據(jù)提取速度太慢?
火車采集器采用分布式高速采集系統(tǒng),多個服務端同時運作,解決工作學習中大量的數(shù)據(jù)下載及使用需求,讓您能有更多時間做更多事。
輿情監(jiān)測無從下手?
火車采集器可應用于“輿情雷達監(jiān)測與測控系統(tǒng)”,精準監(jiān)控網(wǎng)絡數(shù)據(jù)的信息安全,及時對不利或危情信息進行預警處理。
1、 列表頁新增“地址處理”功能
內(nèi)容替換/排重
可以對網(wǎng)址中內(nèi)容進行替換,且替換完成后,重復的網(wǎng)址會自動去重。
純正則替換
可以使用正則表達式進行匹配,和內(nèi)容替換功能類似
字符編碼處理
網(wǎng)址中有需要轉碼的內(nèi)容,比如采到的鏈接里有 & 可以進行解碼
2、新增“請求失敗數(shù)”的預警條件設置
3、下載圖片命名,新增[記錄自增Id]格式
記錄自增ID:同一個內(nèi)容頁中,多個標簽設置記錄自增ID,那么多個標簽都是從1開始自增,再次測試運行又會重新開始從1自增,更換個內(nèi)容頁測試運行,也是從1開始自增。
自增ID:設置自增ID是采集器啟動后運行,開始一個自增ID,從1開始自增,之后就是自增。重啟采集器后,又會重新開始自增ID,從1開始自增。
4、修復圖片下載誤判斷問題
5、修復計劃任務中“每天調度”,起始運行時間配置未生效的問題
6、 修復PHP插件,對于循環(huán)記錄的處理報錯的問題
7、修復拼音首字母對于一些錯誤字符的判斷問題
8、任務批量編輯,修復“發(fā)布”中“多網(wǎng)站亂序發(fā)布”未能復制的問題
9、修改“循環(huán)添加新記錄”配置后,修復數(shù)據(jù)格式選擇錯誤的問題
10、修復循環(huán)記錄中列表頁標簽被多次處理的問題
11、修復對于一些302跳轉地址,無法正確跳轉的問題
12、修復一些網(wǎng)址無法正確請求的問題
關于本站|下載幫助|下載聲明|軟件發(fā)布|聯(lián)系我們
Copyright ? 2005-2024 m.daaijiaoyu.cn.All rights reserved.
浙ICP備06019006號-1 浙公網(wǎng)安備33038102330474號