分类: 研发

Python爬虫工具之Selenium

Selenium简介 Selenium是浏览器的自动化测试工具,与浏览器进行交互,实现对web应用的自动化测试,Selenium包括Selenium IDE, Selenium Webdriver和Selenium Grid三个工具。 Selenium IDE (Integrated Developmen…

数据, 术→技巧, 研发 ·

热门Python Web 框架的盘点

在学习Python过程中,如果学习Web开发,一般会涉及到Web框架,特别是对于新手,除了主流的Django和Flask,一般不会了解还有哪些框架更能适合自己。今天主要从Github的Star数量进行统计,将热门的开源Python Web框架…

爬虫技术之动态代理IP

随着互联网的发展,网站的反爬虫技术也在不断提升。其中最常见的一种手段就是对IP地址进行封禁,防止爬虫程序访问网站。为了避免这种情况的发生,爬虫程序需要使用动态IP代理来隐藏自己的真实IP地址。本文将介绍Pyt…

术→技巧, 研发 ·

User-Agent反爬虫和绕过方法

用户代理 User-Agent 客户端向服务器请求一张页面时,可以额外附上一些自己的信息(如使用什么操作系统、什么浏览器),以便让服务器提供更好的服务(如根据不同设备返回不同的页面)。额外附上的信息叫请求头(HTT…

术→技巧, 研发 ·

Python Web应用的线上部署

想要将 Python Web 应用部署到线上,目前主流的方案是在 Gunicorn/uWSGI 前面再加一层 Nginx,其中 Nginx 的主要作用是: 做负载均衡,便于后期服务器的水平扩展,可轻松将应用部署到多台服务器或多个进程中。 …

Python爬虫框架Scrapy简介

Scrapy是一个Python爬虫框架,用于快速、高效地抓取网页数据。它通过异步方式处理HTTP请求和响应,支持多线程和分布式部署,可以方便地从互联网上获取大量的结构化数据。 使用Python来做抓取程序非常的方便,比较…

数据, 术→技巧, 研发 ·

GitHub非开发人员使用教程

在工作中,有时需要用到Git。对于很多开发而言,Git的使用可能非常的简单,而对于数据分析的小伙伴,可能有由于先前没有接触过,可能不太了解。今天要介绍的是Github的使用,对于很多公司内部使用自己部署的Gitlab…

术→技巧, 研发 ·

JAVA环境:JDK的安装与配置

JAVA开发与运行环境 Java的开发和运行环境是指在进行Java应用程序开发和执行过程中所需的软件和工具。下面分别介绍Java的开发环境和运行环境: Java开发环境(Java Development Environment): JDK(Java …

Python虚拟环境的创建与管理

为什么要创建虚拟环境? 创建虚拟环境是为了在同一台计算机上,使用不同的Python项目需要的不同版本的Python解释器、第三方库和依赖项,以避免版本冲突和相互影响的问题。虚拟环境是一个独立的Python运行时环境,可…

通俗易懂理解数据库概念

在Quora上曾经有个问题:Computer Programming: How would you explain a database in three sentences to your 8-year-old nephew被搬到了知乎上。 来自知乎的答案 中药铺说 电脑里面存了好多好多数据。数据就像各…

数据, 术→技巧, 研发 ·