数据抓取时,经常遇到由于网络问题导致的程序异常,一开始的做法只是记录了错误内容,并对错误内容再进行后期处理。这里整理了一些更好的异常重试方法或机制。 初始版本: def crawl_page(url): pass def l…
Kale系统是Etsy公司开源的一个监控分析系统。Kale分为两个部分:skyline和oculus。skyline负责对时序数据进行概率分布校验,对校验失败率超过阈值的时序数据发报警,oculus负责给被报警的时序,找出趋势相似的其他…
分类目录