分类: 研发

User-Agent反爬虫和绕过方法

用户代理User-Agent 客户端向服务器请求一张页面时,可以额外附上一些自己的信息(如使用什么操作系统、什么浏览器),以便让服务器提供更好的服务(如根据不同设备返回不同的页面)。额外附上的信息叫请求头(HTT…

术→技巧, 研发 ·

Python Web应用的线上部署

想要将Python Web应用部署到线上,目前主流的方案是在Gunicorn/uWSGI前面再加一层Nginx,其中Nginx的主要作用是: 做负载均衡,便于后期服务器的水平扩展,可轻松将应用部署到多台服务器或多个进程中。 缓…

Python爬虫框架Scrapy简介

Scrapy 是一个 Python 爬虫框架,用于快速、高效地抓取网页数据。它通过异步方式处理 HTTP 请求和响应,支持多线程和分布式部署,可以方便地从互联网上获取大量的结构化数据。 使用Python来做抓取程序非常的方便…

数据, 术→技巧, 研发 ·

GitHub非开发人员使用教程

在工作中,有时需要用到Git。对于很多开发而言,Git的使用可能非常的简单,而对于数据分析的小伙伴,可能有由于先前没有接触过,可能不太了解。今天要介绍的是Github的使用,对于很多公司内部使用自己部署的Gitlab…

术→技巧, 研发 ·

JAVA环境:JDK的安装与配置

JAVA开发与运行环境 Java的开发和运行环境是指在进行Java应用程序开发和执行过程中所需的软件和工具。下面分别介绍Java的开发环境和运行环境: Java开发环境(Java Development Environment): JDK(Java…

Python虚拟环境的创建与管理

为什么要创建虚拟环境? 创建虚拟环境是为了在同一台计算机上,使用不同的Python项目需要的不同版本的Python解释器、第三方库和依赖项,以避免版本冲突和相互影响的问题。虚拟环境是一个独立的Python运行时环境,…

通俗易懂理解数据库概念

在Quora上曾经有个问题: Computer Programming: How would you explain a database in three sentences to your 8-year-old nephew被搬到了知乎上。 来自知乎的答案 中药铺说 电脑里面存了好多好多数据。数据就…

数据, 术→技巧, 研发 ·

逆向思维:红白机射击游戏的奥秘

是否还有人记得小霸王游戏机中的打鸭子游戏。小时候在同学家好像玩过1~2次,由于不会玩也没什么深刻的印象。 今天看了一篇介绍其原理的文章,感觉开发人员真是脑洞大开。 想当年的小霸王的红白机大部分是…

术→技巧, 研发 ·

使用Python将图片转化为ASCII字符图

在一些TXT文件中我们经常能看到一些以字符呈现的图像。这一类的图像一般称为ASCII art。 使用Python可以非常方面的生成ASCII art。今天要做的是将以下《戴珍珠耳环的少女》图片转化为ASCII ART。 在…

术→技巧, 研发 ·

使用Python生成像素画图片

家里买了微小积木供小朋友玩,由于自带的说明中仅有几幅图,拼了几个就拼完了,于是打算使用Python做一个像素画图片工具。 整体逻辑非常简单: 使用Pillow包读取图片 将图片分割成一个个正方形像素…

术→技巧, 研发 ·