Python爬蟲開發(fā)工程師負責設(shè)計和開發(fā)分布式的網(wǎng)絡(luò)爬蟲應(yīng)用，進行互聯(lián)網(wǎng)相關(guān)信息的抓取和分析，設(shè)計策略和算法，提升網(wǎng)頁抓取的效率和質(zhì)量，進一步解決系統(tǒng)的網(wǎng)頁排重、垃圾、控制、資源劃分都問題。