技能要求:
经验要求:
5-10年经验
工作描述:
项目编号:【165611】
需求:
1. 需要把 https://www.policyuncertainty.com/ 中每个国家的 Uncertainty Indices 历史数据爬取下来,提取数据后存储到数据库Mysql中(字段: country, index_date, epu_value).
2. 另外该项目也需要支持live数据的更新。即定时运行脚本,会把更新的数据写入到Mysql。
要求:
1. 整个项目需要用python3开发,可以运行在linux上。
2. 代码要求规范。
3. 代码要求高效,能使用多线程或者多进程加速爬虫过程。
4. 本公司提供云linux服务器、云Mysql数据库进行开发和测试,并提供代理方法进行网页访问。