网络开源数据采集工程师
编制

面议

编制

武汉硕士研究生 1人 2024-02-02发布查看公告详情

科研启动费

查看公告详情

声明：本站部分公告与职位内容由本站根据官方招聘公告进行整理编辑。由于用人单位需求专业、学历学位、资格条件、职位编制、备注内容等内容情况复杂且有变化可能，是否符合招聘条件以用人单位公告为准或请联系用人单位确认。本站整理编辑的职位信息仅供求职者参考，如因此造成的损失本站不承担任何责任！

职位详情

基本信息

职位名称：网络开源数据采集工程师

职位类型：其他科研支撑岗

工作地点：湖北武汉

招聘人数： 1

报名方式：电子邮件

截止时间：2024-09-30

用人部门：数据资源部

职位编制：事业编制

其他要求

学历要求：硕士研究生

需求专业：

计算机科学与技术, 信息资源管理（图书馆、情报与档案管理）

该需求专业仅展示一级学科

岗位职责

1．负责网络开源数据采集工具的设计、研发与持续优化；2．负责网络开源数据采集关键技术攻关与研发，不限于数据采集策略和防屏蔽规则，解决JS逆向、封账号、封IP、验证码、滑块等关键技术，持续优化采集的效率和质量；3．负责多平台开源数据的采集任务的实施与管理；4．负责对采集数据的存储、解析及数据输出等全流程设计与实现；5．负责数据采集相关的用户交流、沟通，完成业务梳理，制定数据采集技术方案并实现。

任职要求

1．取得硕士及以上学位，计算机类、图书情报与档案管理类相关专业（计算机科学与技术、信息资源管理），大数据与数据挖掘相关方向，特别优秀的可降低学位要求；2．掌握网络爬虫开发原理，熟悉互联网各类型开源数据交互模式，并精通一种工业级应用的开源数据爬虫框架，对垂直搜索爬虫、分布式爬虫、海量数据采集有深刻的理解；3．熟悉并掌握常见的反数据采集策略，能解决如图片验证码/滑块/账号限制/IP限制等问题；4．熟悉并掌握采集数据的数据清洗、数据去重及数据入库等技术，负责或全程参与过较大的数据采集类项目，具有海量数据处理和分布式计算开发经验者优先；5．具有扎实的算法和数据结构能力，至少精通Java/python其中一种语言，熟悉多线程、协成、IO多路复用等概念；6．熟练使用Mysql等流行数据库技术，熟悉数据缓存和NoSql技术；7．良好的团队精神和合作意识，良好的问题分析能力和沟通表达能力，强烈的责任心。

其他说明

报名方式：请将报名邮件命名为“姓名+应聘岗位X（一、二……）+高校人才网”发送至邮箱zhaopin@mail.las.ac.cn，报名截止时间为2022年9月30日18:00。

竞争力分析

解锁详细分析

您与该职位匹配度: ***，已超过了 *** 的竞争者，建议************

较低

一般

比较匹配

非常匹配

查看其他职位查看公告详情

欢迎扫描下方二维码关注高校人才网官方微信（硕博QQ交流群：247884325 ，进微信群请加：gzgxrcw06）

重要风险提示：如招聘单位在招聘过程中向求职者提出收取押金、保证金、体检费、材料费、成本费，或指定医院体检等，求职者有权要求招聘单位出具物价部门批准的收费许可证明材料，若无法提供相关证明，请求职者提高警惕，有可能属于诈骗或违规行为。

网络开源数据采集工程师 编制

网络开源数据采集工程师
编制