技能要求:
经验要求:
5-10年经验
工作描述:
项目编号:【41356】
🕷️ 爬虫工程师(高级)
🧩 岗位职责:
1. 负责开发与维护高效、稳定的网页数据采集系统,针对结构化与非结构化网站制定采集策略;
2. 深入分析网页 JavaScript 动态渲染与加密逻辑,设计有效的数据提取方案;
3. 参与移动端数据采集任务,包括但不限于 iOS / Android App 的逆向分析、接口还原、加密通信解密等;
4. 针对目标平台的反爬策略(如滑块、验证码、UA识别、JS混淆、行为识别等)进行绕过与规避;
5. 与后端协作,实现数据落库;监控爬虫状态,异常信息处理。保证爬虫稳定性
🛠️ 岗位要求:
必备技能:
• 熟练掌握至少一种主流编程语言(Python / Node.js / Go / Java ),具备良好的工程化编码习惯;
• 熟悉网页 DOM 结构、XHR 网络通信、JS 渲染机制,能独立完成逆向分析 JavaScript 中的数据接口或加密流程;
• 熟练使用浏览器调试工具(Chrome DevTools)、Fiddler、Charles、Mitmproxy 等抓包工具;
• 熟悉常见反爬机制与应对策略,如验证码识别、代理池、IP限频绕过、行为模拟等;
• 有大规模爬虫调度系统或分布式爬虫经验优先(Scrapy、Colly、Playwright/Puppeteer、Selenium等);
加分项:
• 有 Android 或 iOS 应用逆向分析经验,能通过 Frida / IDA / Hopper / Xposed 等工具定位和 hook 加密逻辑;
• 能独立完成 JS 混淆代码还原、AES/RC4/RSA 加密通信解密、生成逻辑还原等任务;非标准算法还原等.
• 有接口文档还原、协议逆向(如 protobuf、msgpack)经验;
• 熟悉 Appium、uiautomator 等自动化框架者优先;
• 有灰产黑产对抗经验或安全红队背景者优先。