博客文章

616 篇文章

DA
DealiAxy

Selenium爬虫实践:ajax请求抓包、浏览器退出

前言 最近在搞公司内部系统,累的一批,需要从另一个内部系统导出数据存到数据库做分析,有大量的数据采集工作,又没办法去直接拿到那个系统的接口,太难了,只能爬虫,但是cookie还经常失效,为了不每次登录失效就来找我重新注入Cookie,我写了一个手机版的网页,用来控制后台的selenium自动登录,截取token和cookie。 ajax请求抓包方案 搜索资料的过程真的痛苦,不过还好这时间没有白花,

爬虫
AI
前端
+4
12-18
2022-05-27
7800
爬虫
DA
DealiAxy

Selenium爬虫实战:截取网页上的图片

前言 同样是为了刷课,没想到工作后依然和大学一样逃脱不了需要刷网课的命运…… 正文 直接说干货了,截取图片,需要截取的图片是什么图片大家都懂(说的就是你,验证码),其他图片的话不需要截取,直接拿到地址下载就行,验证码不行,同样的地址再访问一次内容就变了。 我不知道为啥selenium不能直接把特定img元素的图片拿出来,太反人类了。 根据我找到的资料,主要有两种思路,一种是模拟鼠标操作,在验证码上

爬虫
AI
前端
+4
12-18
2022-05-27
647
爬虫
DA
DealiAxy

SSH 跳板机原理与配置:实现无缝跳板连接,一步直达目标主机

在日常运维或开发工作中,我们常常需要访问部署在内网的服务器。然而出于安全策略或网络拓扑的限制,内网服务器并不会直接向外部暴露端口,导致我们无法“直连”它们。此时,**跳板机**(Jump Host/Bastion Host)就成了必不可少的中转

Linux
AI
前端
+4
01-17
2025-01-17
5603
Linux
DA
DealiAxy

RedisStack部署/持久化/安全/与C#项目集成

Docker部署RedisStack?呵,基础操作罢了。ACL权限?不过是Redis 6.0的标配功能。C#集成?官方NRedisStack包,一行代码的事。

数据库
AI
前端
+4
10-07
2023-10-07
8501
数据库
DA
DealiAxy

React + TypeScript + Taro前端开发小结

前言 项目到一段落,先来记录一下,本文以前端新手的角度记录React、TypeScript、Taro相关技术的开发体验以及遇到的问题和解决方法。 之前总说要学React(这篇博客:代码使我头疼之React初学习),这次项目需要做H5前端+小程序,我终于能用上React了~ 使用React的开发框架之前就听过京东的Taro,所以就这个了,直接开码。 关于React 不错,感觉比Vue的模板写法自由很

Web前端
AI
前端
+4
04-22
2022-04-22
1818
Web前端
DA
DealiAxy

RK-S75键盘开箱

又一个键盘?RK-S75均衡,小屏幕只显示模式和电量,省电却无趣。价格香,数据线独特,但缺独立开关,关机还得手动,啧。

键盘
AI
前端
+4
04-28
2025-10-28
2443
键盘
DA
DealiAxy

Python:使用logging模块记录日志

先看看基本用法例子 # -*- coding: utf-8 -*- import logging import sys # 获取logger实例,如果参数为空则返回root logger logger = logging.getLogger(AppName) # 指定logger输出格式 formatter = logging.Formatter('%(asctime)s %(levelna

Python
AI
前端
+4
12-18
2022-05-27
9142
Python
DA
DealiAxy

Python踩坑:类与类对象类型参数传递与使用

前言 对初学者来说,Python确实简单好用,毕竟动态类型语言,不用定义就可以拿来用,类型之间随意转换简直不要太方便,因此Python用来写写小脚本,爬虫程序什么的,没什么问题。 不过,一旦用来开发稍微大型一点的项目,例如搭建一个Web应用,就会遇到一些问题,一般缺乏经验的人都会陷入某些坑中。= =... 坑 先说坑,函数参数类型是一坑,类与类的对象这又是一坑。 虽然之前用其他静态类型语言(例如C

Python
AI
前端
+4
12-18
2022-05-27
6813
Python
DA
DealiAxy

Python数据展示 - 生成表格图片

前言 前一篇文章介绍了推送信息到企业微信群里,其中一个项目推送的信息是使用Python自动生成的表格,本文来讲讲如何用Python生成表格图片。 选一个合适库 Python最大的优点就是第三方库丰富,基本你要什么功能,都能找到别人实现好的库,几行代码一调用就完事了。 Pytable 项目地址:https://github.com/HiroshiARAKI/pytable 最先找到的是日本人开发的p

Python
AI
前端
+4
04-08
2022-04-09
8108
Python
DA
DealiAxy

Python接入企业微信推送信息到内部群里

前言 之前一篇文章提到了使用wechatpy库来实现企业微信应用登录:Django + Taro 前后端分离项目实现企业微信登录 其实这个库可以实现的功能非常多,基本微信开发涉及到的功能都能实现。 本文介绍一个很常用的场景:实时推送信息到企业微信群里。 安装 首先安装wechatpy库 pip install wechatpy 如果运行的时候提示需要安装其他库(比如加解密相关的)那就按照提示安装,

Python
AI
前端
+4
04-08
2022-04-08
3361
Python
DA
DealiAxy

Python实现给图片加水印功能

前言 最近忙得连轴转,很久没更新博客了,代码倒是没啥写,积累了好些东西,接下来一有时间就来更新吧~ 本文记录使用Python实现给图片添加水印的功能实现过程 先看效果 把公众号的封面作为素材 原图是这样的 codelab 加个水印的效果 temp 实现代码 主要实现是参考GitHub上一个项目的:https://github.com/2Dou/watermarker 用到了Pillow库,使用前请

Python
AI
前端
+4
09-29
2022-09-29
5267
Python
DA
DealiAxy

Python实现从Excel生成Model和导入脚本

前言 最近遇到一个需求,有几十个Excel,每个的字段都不一样,然后都差不多是第一行是表头,后面几千上万的数据,需要把这些Excel中的数据全都加入某个已经上线的Django项目 这就需要每个Excel建个表,然后一个个导入了 这样的效率太低,不能忍 所以我造了个自动生成 Model 和导入脚本的轮子 思路 首先拿出 pandas,它的 DataFrame 用来处理数据很方便 pandas 加载

Python
AI
前端
+4
11-22
2022-11-22
8052
Python
DA
DealiAxy

Python创建压缩文件

代码实现 # 创建一个目录来保存这些东西 temp_path = os.path.join(settings.MEDIA_ROOT, 'temp', str(uuid.uuid4())) os.makedirs(temp_path) # 创建压缩文件 archive_path = os.path.join(temp_path, 'archive.zip') with zipfile.ZipFile

Python
AI
前端
+4
09-30
2022-09-30
9371
Python
DA
DealiAxy

Python中的双端队列:collections-deque

关于deque 起因是我想做一个「手气不错」的功能,为了提高性能,打算用队列实现,偶然在Stack Overflow看到一个讨论「Efficiency of using a Python list as a queue」 python的list有pop方法,可以实现队列的取出功能,不过据说性能一般般,高赞回答说的 You won't run out of memory using the list

Python
AI
前端
+4
12-18
2021-12-18
718
Python
DA
DealiAxy

Python中的三元表达式

一般语言的三元表达式都是这种形式: result = statement ? true : false // For examle result = a b ? a : b Python中的三元表达式比较特殊,用下面这种形式 result = true if statement else false # For example result = a if a b else b

Python
AI
前端
+4
12-18
2022-05-27
8947
Python
DA
DealiAxy

Python、CSharp、Go、Nextjs,不同框架的性能到底差多少?

AspNetCore 9 以 15k RPS 碾压全场,Go+Gin 内存省但吞吐也就那样。Django 老调重弹,至于 Next.js 做 API?别为难它了。

杂七杂八
AI
前端
+4
12-01
2025-12-01
4697
杂七杂八
DA
DealiAxy

Python-缓存机制与-functools-lru_cache

缓存是一种将定量数据加以保存以备迎合后续获取需求的处理方式,旨在加快数据获取的速度。数据的生成过程可能需要经过计算,规整,远程获取等操作,如果是同一份数据需要多次使用,每次都重新生成会大大浪费时间。所以,如果将计算或者远程请求等操作获得的数据缓存下来,会加快后续的数据获取需求。 先来一个简单的例子以了解缓存机制的概念: # -*- coding: utf-8 -*- import random

Python
AI
前端
+4
12-18
2022-05-27
8744
Python
DA
DealiAxy

Python-本地时间和UTC时间转换

代码 import time import datetime def utc2local(utc_st): UTC时间转本地时间(+8: 00) now_stamp = time.time() local_time = datetime.datetime.fromtimestamp(now_stamp) utc_time = datetime.datetime.ut

Python
AI
前端
+4
12-18
2021-12-18
7920
Python
DA
DealiAxy

Python-Web:Django模板继承

模板可以用继承的方式来实现复用。 接下来我们先创建之前项目的 templates 目录中添加 base.html 文件,代码如下: !DOCTYPE html html head meta charset=utf-8 title标题/title /head body h1Hello World!/h1 pDA Django 测试。/p {% block mainbody %

0_Python-Web-Django入门系列笔记
AI
前端
+4
12-18
2021-12-18
7885
0_Python-Web-Django入门系列笔记
DA
DealiAxy

Python-Web:Django-模板标签

if/else 标签 基本语法格式如下: {% if condition %} ... display {% endif %} 或者: {% if condition1 %} ... display 1 {% elif condition2 %} ... display 2 {% else %} ... display 3 {% endif %} 根据条件判断是否输出。

0_Python-Web-Django入门系列笔记
AI
前端
+4
12-18
2021-12-18
3111
0_Python-Web-Django入门系列笔记
DA
DealiAxy

Python-Web-Django:第一个Web-App的构建

View视图渲染 编辑App目录下的views.py from django.shortcuts import render from django.http import HttpResponse # Create your views here. def hello(request): return HttpResponse(Hello Django!) URL解析配置 编辑urls

0_Python-Web-Django入门系列笔记
AI
前端
+4
12-18
2021-12-18
6294
0_Python-Web-Django入门系列笔记
DA
DealiAxy

Python-Web-Django:开始Django之旅

前言 开源的Web框架Django简单易用,稳定性和灵活性高,因此被广泛应用于商业化环境,它充分利用了Python拥有丰富的库这一优势。 Django的安装和服务器的搭建 安装Django库: pip install django 新建Web应用: django-admin startproject hello_django 以上命令会在当前文件夹下建立hello_django目录。 目录结构如下

0_Python-Web-Django入门系列笔记
AI
前端
+4
12-18
2021-12-18
7385
0_Python-Web-Django入门系列笔记
DA
DealiAxy

Python-Web-Django:settings-py-配置

安装REST框架 pip install djangorestframework pip install django-rest-swagger 安装了REST Framework之后,之前创建的Django App(hello_app)就可以使用REST API进行通信。 我们所有创建的App都要添加到INSTALLED_APPS这个字段里面。 INSTALLED_APPS = [ #

0_Python-Web-Django入门系列笔记
AI
前端
+4
12-18
2021-12-18
7545
0_Python-Web-Django入门系列笔记
DA
DealiAxy

PyQt5开发实践(一、准备篇)

前言 近一年来我开发了不少PyQt小项目,因为之前没用过使用C++语言的Qt,所以可以算是从零基础开始边学边做的,这个过程中再一次体会到国内技术社区的匮乏…… 国内关于PyQt的资料说少不少,说多也不多,主要是比较零散,也没什么比较好用的系统的学习资料… 所以这个PyQt,全靠看文档和国外社区,还有一个最重要的:自己摸索…… 开发环境搭建 本文的开发环境搭建一部分是从书里学来的,一部分是实践中总

PyQt
AI
前端
+4
12-18
2021-12-18
7862
PyQt
18 页,共 26
每页:
......