職位描述
1、負責web端數(shù)據的爬取、清洗、解析、入庫2、熟練掌握Python編程語言,熟悉****,熟悉fastapi后端服務構建;3、熟練使用數(shù)據庫,掌握redis、pgsql、mysql等;4、數(shù)量使用docker進行服務部署;5、熟悉各種抓取技術,包括爬蟲反爬、代理、驗證碼處理;6、熟練使用正則表達式、xpath等,能夠從結構化的和非結構化的數(shù)據中獲取信息;7、掌握常見的反爬機制,精通各種反爬破解,包括但不限于:hook、Js防護、混淆、逆向分析等技能;8、參與設計與優(yōu)化分布式網絡爬蟲系統(tǒng),熟悉采集系統(tǒng)的調度策略,實時監(jiān)控爬蟲的進度和警報反饋;任職要求:1、編程能力:精通Python,熟悉****,能使用FastAPI構建后端服務2、數(shù)據庫:熟練使用PostgreSQL/MySQL進行數(shù)據存儲,Redis實現(xiàn)緩存與去重3、精通XPath/正則表達式解析結構化與非結構化數(shù)據4、掌握代理IP池構建、請求偽裝、動態(tài)渲染等技術5、備反爬破解能力(Hook技術、JS逆向、混淆代碼分析等)6、有瑞數(shù)、國密算法逆向經驗者優(yōu)先7、熟練使用Docker容器化部署服務
企業(yè)介紹
北京協(xié)合運維風電技術有限公司(簡稱“協(xié)合運維”),是新能源行業(yè)綜合型技術服務龍頭企業(yè)。 公司成立于2007年,擁有超過17年的新能源電站運行維護、資產托管及技術服務經驗。面向新能源發(fā)電設備、輸變電設備、綜合能源系統(tǒng),提供基于數(shù)據驅動的設備預警、智能診斷、維修決策、現(xiàn)場運維、技改優(yōu)化、備件供應與維修等一站式服務解決方案。公司目前服務管理300多個新能源交付單元,全球在運維容量突破3000萬千瓦,擁有3000余人的專業(yè)服務團隊??蛻艉w大型電力集團、地方國企、民營投資商、整機制造商,以及蘋果基金等國內外知名企業(yè)。經過多年踐行探索,公司形成北京總部管控支持、區(qū)域服務共享、電站標準化執(zhí)行的三級管理模式,憑借強大的數(shù)據分析能力、完善的平臺支持、專業(yè)的技術人員,提供安全、專業(yè)、可靠的新能源運營服務。