后羿采集器是一款用于采集網頁數據的軟件,方便站長進行大數據快速獲取。該工具支持可視化點選,一鍵采集網頁數據,全平臺都通用,采集和導出全免費,無限制放心用,支持在后臺運行,速度實時顯示。在下面飛飛系統小編給大家詳細介紹下后羿采集器的使用方法,希望可以幫到大家!
后羿采集工具使用方法
自定義采集百度搜索結果數據的方法
步驟1:創建采集任務
1)啟動后羿采集器,進入主界面,選擇自定義采集并點擊創建任務按鈕創建 "自定義采集任務"
2)輸入百度搜索的URL,包括三種方式
1、手動輸入:在輸入框中直接輸入URL,多個URL時須要換行分割
2、點擊從文件中讀取方式:用戶選擇一個存放URL的文件,文件中可以有多個URL地址,地址須要換行分割。
3、批量添加方式:通過添加并調整地址參數生成多個有規律的地址
步驟2:自定義采集流程
1)點擊創建后自動打開第一個URL進而進入自定義設置頁面,默認已經創建了開始、打開網頁、結束的流程塊。底部模板區用于拖拽到畫布中生成新的流程塊;點擊打開網頁中的屬性按鈕,可修改打開的網址
2)添加輸入文字流程塊:在底部模板區中拖拽輸入文字塊到打開網頁塊后面附近,當出現陰影區域的時候可以松開鼠標,此時會自動連接,添加完成
3)生成完整流程圖:仿照上面添加輸入文字流程塊的拖拽流程添加新塊:如下圖所示:
關鍵步驟塊設置介紹
2}定時等待用于等待前面打開網頁完成
3}點擊輸入框Xpath屬性按鈕,在屬性菜單中點擊圖標進行點選網頁中的輸入框,點擊輸入文本屬性按鈕,在菜單中輸入要搜索的文本。
4}用于設置點擊開始搜索按鈕,點擊元素的xpath屬性按鈕,在菜單中點擊點選圖標,然后點擊網頁中的百度一下按鈕即可。
5}用于設置循環加載下一列表頁。在循環塊內部的循環條件塊中設置詳細條件,此處點擊操作按鈕,選擇單個元素,然后在屬性菜單中點擊元素的xpath屬性按鈕,同上進行點選網頁中的下一頁按鈕。循環次數屬性按鈕可默認為0,即不限制點擊下一頁的次數。
6}用于設置循環抽取列表頁中的數據。在循環塊內部的循環條件塊中設置詳細條件,此處點擊操作按鈕,選擇不固定元素列表,然后在屬性菜單中點擊元素的xpath屬性按鈕,然后在網頁中連續點選兩次抽取第一塊和第二塊元素。循環次數屬性按鈕可默認為0,即不限制列表中收取字段的數量。
7}用于執行點擊下一頁按鈕操作,點擊元素xpath屬性按鈕,選擇使用當前循環中元素的xpath選項。
8}同理用于設置網頁加載等待時間。
9}用于設置在列表頁抽取的字段規則,點擊屬性按鈕中使用循環中的元素按鈕,選擇使用循環中的元素選項。點擊元素模板屬性按鈕在字段表格中點擊加減進行添加刪除字段,添加字段使用點選操作,即點擊加號后鼠標移動到網頁元素上點擊選擇。
4)點擊開始采集,啟動采集
步驟3:數據采集及導出
1)采集任務運行中
2)采集完成后,選擇“導出數據”可以把數據都導出到本地文件
3)選擇“導出方式”,將采集好的數據導出,這里可以選擇excel作為導出為格式
4)采集數據導出后如下圖
后羿采集工具 特點
1、可視化自定采集步驟
全線問答式正確引導、可視化操作、自定采集步驟
自動保存和仿真模擬網頁頁面操作次序
高級設置考慮大量采集要求
2、選中抽取網頁頁面數據
鼠標單擊挑選要抓取的網頁頁面、操作簡易
可挑選抽取文字、連接、特性、html標識等
3、運作批量采集數據
手機軟件依照采集步驟和抽取標準全自動批量采集
迅速平穩,即時顯示信息采集速率和全過程
可轉換手機軟件后臺程序,打攪前臺工作
4、導出來和公布采集的數據
采集的數據全自動報表化,隨意配備字段名
適用數據導出來到Excel等本地文件
和一鍵公布到CMS網址/數據庫/微信公眾平臺等新聞媒體