Python爬蟲開發(fā)工程師負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式的網(wǎng)絡(luò)爬蟲應(yīng)用，進(jìn)行互聯(lián)網(wǎng)相關(guān)信息的抓取和分析，設(shè)計(jì)策略和算法，提升網(wǎng)頁抓取的效率和質(zhì)量，進(jìn)一步解決系統(tǒng)的網(wǎng)頁排重、垃圾、控制、資源劃分都問題。