随着互联网的发展,网站的反爬虫技术也在不断提升。其中最常见的一种手段就是对IP地址进行封禁,防止爬虫程序访问网站。为了避免这种情况的发生,爬虫程序需要使用动态IP代理来隐藏自己的真实IP地址。本文将介绍Pyt…
用户代理 User-Agent 客户端向服务器请求一张页面时,可以额外附上一些自己的信息(如使用什么操作系统、什么浏览器),以便让服务器提供更好的服务(如根据不同设备返回不同的页面)。额外附上的信息叫请求头(HTT…
想要将 Python Web 应用部署到线上,目前主流的方案是在 Gunicorn/uWSGI 前面再加一层 Nginx,其中 Nginx 的主要作用是: 做负载均衡,便于后期服务器的水平扩展,可轻松将应用部署到多台服务器或多个进程中。 …
Scrapy是一个Python爬虫框架,用于快速、高效地抓取网页数据。它通过异步方式处理HTTP请求和响应,支持多线程和分布式部署,可以方便地从互联网上获取大量的结构化数据。 使用Python来做抓取程序非常的方便,比较…
在工作中,有时需要用到Git。对于很多开发而言,Git的使用可能非常的简单,而对于数据分析的小伙伴,可能有由于先前没有接触过,可能不太了解。今天要介绍的是Github的使用,对于很多公司内部使用自己部署的Gitlab…
JAVA开发与运行环境 Java的开发和运行环境是指在进行Java应用程序开发和执行过程中所需的软件和工具。下面分别介绍Java的开发环境和运行环境: Java开发环境(Java Development Environment): JDK(Java …
为什么要创建虚拟环境? 创建虚拟环境是为了在同一台计算机上,使用不同的Python项目需要的不同版本的Python解释器、第三方库和依赖项,以避免版本冲突和相互影响的问题。虚拟环境是一个独立的Python运行时环境,可…
在Quora上曾经有个问题:Computer Programming: How would you explain a database in three sentences to your 8-year-old nephew被搬到了知乎上。 来自知乎的答案 中药铺说 电脑里面存了好多好多数据。数据就像各…
是否还有人记得小霸王游戏机中的打鸭子游戏。小时候在同学家好像玩过1~2次,由于不会玩也没什么深刻的印象。 今天看了一篇介绍其原理的文章,感觉开发人员真是脑洞大开。 想当年的小霸王的红白机大部分是连接黑…
在一些TXT文件中我们经常能看到一些以字符呈现的图像。这一类的图像一般称为ASCII art。 使用Python可以非常方面的生成ASCII art。今天要做的是将以下《戴珍珠耳环的少女》图片转化为ASCII ART。 在转换之前…