Python on Sawyer Zheng's Blog

Langraph

Mon, 22 Sep 2025 00:00:00 +0000

参考

langgraph 的关键概念

states 状态

功能：一个 dict, 用来存储状态信息，历史聊天记录（messages）

特点：

不可变性

MCP 协议 + 大模型 tools 调用

Thu, 12 Jun 2025 00:00:00 +0000

mcp server list

Smithery - Model Context Protocol Registry
- 一个集合了各种 mcp-server 的网站
MCP Market

client

参考：

GitHub - modelcontextprotocol/python-sdk: The official Python SDK for Model C…
quickstart-resources/mcp-client-python/client.py at main · modelcontextprotoc…
- 一个完整的 client 例子
中文博客

Paddlex

Fri, 23 May 2025 00:00:00 +0000

paddlex 内部的代码设计模式

使用Registry 注册模型信息

注册和查询工具：

1
2
3
4


get_registered_model_info = MODEL_INFO_REGISTRY.query
get_registered_suite_info = SUITE_INFO_REGISTRY.query
register_model_info = MODEL_INFO_REGISTRY.register_record
register_suite_info = SUITE_INFO_REGISTRY.register_record

suite_info 会注册 model_name 关联的 model class 、config class , runner class model_info 会注册所属的 suite_info, model_name, config_path, model 支持的 api 类型（train/eval/predict/export … ）

vllm

Fri, 09 May 2025 00:00:00 +0000

部署 embedding 模型

部署 bge-m3 模型

1

CUDA_VISIBLE_DEVICES=1 vllm serve /data/llm-model/bge/bge-m3/ --host 0.0.0.0 --port 15080 --served-model-name chat-embed

curl 调用：

1
2
3
4
5
6
7


curl http://172.16.10.88:15080/v1/embeddings \
 -H "Content-Type: application/json" \
 -H "Authorization: Bearer EMPTY" \
 -d '{
 "input": "Your text string goes here",
 "model": "chat-embed"
 }'

Ascend NPU

Fri, 14 Feb 2025 00:00:00 +0000

如何查看版本号

CANN

1
2
3
4
5
6
7
8


❯ cat /usr/local/Ascend/ascend-toolkit/latest/arm64-linux/ascend_toolkit_install.info
package_name=Ascend-cann-toolkit
version=8.0.RC3
innerversion=V100R001C19SPC001B155
compatible_version=[V100R001C13,V100R001C19],[V100R001C30]
arch=aarch64
os=linux
path=/usr/local/Ascend/ascend-toolkit/8.0.RC3/aarch64-linux

npu-smi info使用

npu-smi info 类似 nvidia-smi 命令，打印 NPU 调用情况
需要使用 root / sudo 权限来使用
在docker 中需要添加 --privileged

Ollama

Tue, 11 Feb 2025 00:00:00 +0000

windows 设置

1
2
3
4
5


# 设置模型存储位置
sudo setx OLLAMA_MODELS "e:\data\.ollama\models" /M

# 设置服务地址，端口号
sudo setx OLLAMA_HOST "0.0.0.0:11434" /M

使用

启动服务
1

ollama serve

调用模型

1
2


ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b

模型列表
1

ollama list

SMAC

Tue, 31 Dec 2024 00:00:00 +0000

入口类

Facade
文档最完善的入口类： smac.facade.smac_ac_facade.SMAC4AC

程序入口

Facade.optimize() –> SMBO.run() (Facade.solver().run())
SMBO.run() 迭代循环
1. Intensifier.get_next_run() (SMBO.run()–> SMBO.intensifier.get_next_run()) –> AbstractRacer._next_challenger()
  - AbstractRacer 是 Intensifier 的基类
  - 选择下一个 challenger (候选配置config)
  - 方法：

SMAC

Tue, 31 Dec 2024 00:00:00 +0000

multi-objectives

runhistory 转换成单个cost 的工具

RunHistoryLogScaledEncoder 基类： AbstractRunHistoryEncoder

通过重载 _build_matrix() 方法实现

数据收集用来做模型训练的方法

ConfigSelector

通过 self._collect_data() 实现收集
通过 self._get_x_best() 实现选取最优点 (X,y) 单目标 cost 数据

多目标代理模型类

MultiObjectiveModel

SMAC

Tue, 31 Dec 2024 00:00:00 +0000

multi-objectives

runhistory 转换成单个cost 的工具

RunHistoryLogScaledEncoder 基类： AbstractRunHistoryEncoder

通过重载 _build_matrix() 方法实现

数据收集用来做模型训练的方法

ConfigSelector

通过 self._collect_data() 实现收集
通过 self._get_x_best() 实现选取最优点 (X,y) 单目标 cost 数据

多目标代理模型类

MultiObjectiveModel

uv python package manager

Sun, 01 Dec 2024 00:00:00 +0000

如何换源

全局配置

方法：修改 ~/.config/uv/uv.toml

腾讯源

1

index-url = "https://mirrors.cloud.tencent.com/pypi/simple" # 腾讯源

清华源

1

index-url = "https://pypi.tuna.tsinghua.edu.cn/simple"

华为源

1

index-url = "https://repo.huaweicloud.com/repository/pypi/simple"

项目内配置

配置文件 pyproject.toml

1
2
3
4
5
6
7
8
9


# 影响 uv add, uv sync, uv run
[[tool.uv.index]]
url = "https://test.pypi.org/simple"
default = true


# 影响 uv pip install ... (即 pip 本身被 uv 调用的情况)
[tool.uv.pip]
index-url = "https://test.pypi.org/simple"

初始化 uv init

uv init –python $(which python)

作用：决定使用的 python 版本，但是不会把 $(which python) 所在的环境当作默认环境

Mineru

Thu, 29 Aug 2024 00:00:00 +0000

MinerU 中的概念和名称

magic_pdf.pipe

pipe_analysis –> self.model_list
- 这是布局分析 + mfd/mfr + ocr 识别的结果列表

禁用可视化输出方法

参考：

https://pdf-extract-kit.readthedocs.io/en/latest/algorithm/layout_detection.html#viewing-visualization-results

设置模型配置文件中的 visualize 为 False 例子：

1
2
3
4
5
6
7
8
9


inputs: assets/demo/formula_recognition
outputs: outputs/formula_recognition
tasks:
 formula_recognition:
 model: formula_recognition_unimernet
 model_config:
 cfg_path: pdf_extract_kit/configs/unimernet.yaml
 model_path: models/MFR/unimernet_tiny
 visualize: False

Alembic

Mon, 12 Aug 2024 00:00:00 +0000

常用命令

初始化
```
alembic init
```
查看版本
```
alembic history
```

切换版本

升级 upgrade
```
alembic upgrade <commit-name>
```
降级 downgrade
```
alembic downgrade <commit-name>
```

查看现在的版本
```
alembic current
```
生成 sql: --sql 参数
```
alembic upgrade head --sql
```
注意：这样不会在数据库中直接执行迁移操作

流程示例

创建 almebic commit(version) 方法

编写自己的新版本 models 代码
创建版本

Pix2text

Mon, 22 Jul 2024 00:00:00 +0000

table_ocr 表格识别和解析

代码阅读

源码 pix2text/table_ocr.py
- 模型下载方法：
  1
  
  download_cmd = f'huggingface-cli download --repo-type model --resume-download --local-dir-use-symlinks False breezedeus/pix2text-table-rec --local-dir {model_dir}'
  - 结构识别使用的是微软的表格识别模型 fork : breezedeus/pix2text-table-rec 基于 microsoft/table-transformer-structure-recognition-v1.1-all

Exception

Mon, 13 May 2024 00:00:00 +0000

异常信息保存方法 save exception

使用 sys.exc_info() -> tuple[Exception_type, Exception_object, Traceback_object]

异常处理工具：

获取： sys.exc_info()
- traceback 获取：
  - your_exception.__traceback__
转换成字符串和打印： traceback 模块
- 字符串：
  - 异常栈： traceback.format_tb(traceback_object)
  - 异常类： traceback.format_exception(exception_object)
  - 当前异常类： traceback.format_exc()
- 打印：
  - 异常栈： traceback.print_tb(traceback_object)
  - 异常类： traceback.print_exception(exception_object)
  - 当前异常类： traceback.print_exc()
最后一个异常获取：

Black

Sun, 28 Apr 2024 00:00:00 +0000

ignore format 禁用格式化

单行引用： fmt: skip
1

import my_long_module # fmt: skip
- 注意：这种格式是新功能，有些 black 版本可能还没支持
- 参考：psf/black#451 Exclude formatter from running on specific lines with inline co…

多行禁用： fmt: off , fmt: on

1
2
3
4


# fmt: off
import sys
sys.UnraisableHookArgs
# fmt: on

Nougat

Fri, 26 Apr 2024 00:00:00 +0000

把 nougat 改造成支持图片解析

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


import app


def get_image_predict(img: Image):
 model_output = app.model.inference(img)

 predictions = []
 for j, output in enumerate(model_output["predictions"]):
 if model_output["repeats"][j] is not None:
 if model_output["repeats"][j] > 0:
 disclaimer = "\n\n+++ ==WARNING: Truncated because of repetitions==\n%s\n+++\n\n"
 else:
 disclaimer = (
 "\n\n+++ ==ERROR: No output for this page==\n%s\n+++\n\n"
 )
 rest = app.close_envs(model_output["repetitions"][j]).strip()
 if len(rest) > 0:
 disclaimer = disclaimer % rest
 else:
 disclaimer = ""
 else:
 disclaimer = ""

 predictions.append(app.markdown_compatible(output) + disclaimer)


 return "".join(predictions).strip()

Bayesian Optimization

Tue, 19 Mar 2024 00:00:00 +0000

参考

数学之美——全概率公式贝叶斯公式
- 贝叶斯条件概率
贝叶斯优化方法和应用综述
Exploring Bayesian Optimization
- 许多英文资料和实现库

调参优化算法有哪些

算法金 | 最难的来了：超参数网格搜索、贝叶斯优化、遗传算法、模型特异化、Hyperopt、Optuna、多目标优化、异步并行优化 - 算法金「全网同名」…

Chinese Nlp

Thu, 07 Mar 2024 00:00:00 +0000

资源

资源列表
- GitHub - crownpku/Awesome-Chinese-NLP: A curated list of resources for Chines…

nlp 套装

HanLP
- GitHub - hankcs/HanLP: 中文分词词性标注命名实体识别依存句法分析成分句法分析语义依存分析语义角色标注指代消解风格转换…
- 有两套 api: restful 和 native

Svm 支持向量机

Wed, 06 Mar 2024 00:00:00 +0000

参考

概念

硬间隔
软间隔
什么是支持向量
分类和回归上的区别

Autogen

Wed, 28 Feb 2024 00:00:00 +0000

参考资料

autogen 使用非 openai 模型：
- Local LLMs and Autogen: An Uprising of Local-Powered Agents | by Baby Command…
- microsoft/autogen#46 Integrate opensource LLMs into autogen
  - 一个关于如何让 autogen 接入 local models 的 issue

设置 key 和参数等， llm_config

参考：

LLM Configuration | AutoGen

eg:

metagpt

Wed, 28 Feb 2024 00:00:00 +0000

参考

原理说明：
- AI Agent框架——MetaGPT技术详解-CSDN博客
官方教程
- 概念简述 | MetaGPT

Functional Programming in Python

Mon, 19 Feb 2024 00:00:00 +0000

工具

工具列表

itertools
其他内置函数
- any, all
- zip
- callable :: 判断是否可作为函数使用
more_itertools
funcy
- GitHub - Suor/funcy: A fancy and practical functional tools
- funcy-pipe · PyPI
pipe
- GitHub - JulienPalard/Pipe: A Python library to use infix notation in Python
- 使用 Pipe(your_fun) 装换成可以通过 | 调用的函数
whatever

Zipfile

Wed, 17 Jan 2024 00:00:00 +0000

参考

创建 zip 文件

demo

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


import zipfile
from pathlib import Path

with zipfile.ZipFile('/mnt/e/Downloads/hello.zip', 'w') as zfile:
 # zfile.writestr('/path/to/zip/insidefile.txt', "content_str_or_bytes")
 zfile.writestr('folder/age.txt', "12") # 写入 str 类型
 zfile.writestr('raw', "好天气".encode()) # 写入 bytes 类型
 zfile.writestr('demo/qq.exe', Path('/mnt/e/Downloads/qq.exe').read_bytes())

 # 直接写入文件，不需要通过 open 读入内存再写入zip
 zipfile.write("/file/on/disk.txt", "path/in/zipfile/name.txt")

遍历 zip 文件

使用 ZipFile.infolist()

使用 ZipFile.namelist()

1
2
3
4


In [22]: with zipfile.ZipFile('/mnt/e/Downloads/hello.zip', 'r') as zread:
 ...: print(zread.filelist)
 ...:
[<ZipInfo filename='folder/age.txt' filemode='?rw-------' file_size=2>, <ZipInfo filename='raw' filemode='?rw-------' file_size=9>, <ZipInfo filename='demo/qq.exe' filemode='?rw-------' file_size=183394032>]

使用 ZipFile.filelist 属性

1
2
3
4


In [24]: with zipfile.ZipFile('/mnt/e/Downloads/hello.zip', 'r') as zread:
 ...: print(zread.namelist())
 ...:
['folder/age.txt', 'raw', 'demo/qq.exe']

使用 zipfile.Path 类 (类似 pathlib.Path)

1
2
3
4
5


In [25]: list(zipfile.Path('/mnt/e/Downloads/hello.zip', at='/').iterdir())
Out[25]:
[Path('/mnt/e/Downloads/hello.zip', 'raw'),
 Path('/mnt/e/Downloads/hello.zip', 'folder/'),
 Path('/mnt/e/Downloads/hello.zip', 'demo/')]

递归遍历：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


from pathlib import Path

import zipfile

def zipiter_recursive(filename: Path|str):
 if isinstance(filename, (Path, str)):
 zip_file = Path(filename)
 assert zip_file.suffix.lower() == ".zip"
 iter_path = zipfile.Path(zip_file)

 elif isinstance(filename, zipfile.Path):
 iter_path = filename
 else:
 raise TypeError(f'not a valid zip file {filename = }')

 for i in iter_path.iterdir():
 if i.is_dir():
 yield from zipiter_recursive(i)
 else:
 yield i

使用例子：

pathos

Sat, 30 Sep 2023 00:00:00 +0000

教程

python并行计算（上）：pathos模块 - 知乎

pyproject file

Mon, 25 Sep 2023 00:00:00 +0000

模板

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


[tool.pylsp-mypy]
enabled = true
live_mode = false
dmypy = true # enable dmypy
strict = true


[tool.pdm.dev-dependencies]
lsp = [
 "python-lsp-server>=1.8.0",
 "python-lsp-ruff>=1.5.1",
 "python-lsp-black>=1.3.0",
 "pylsp-mypy>=0.6.7",
 "pylsp-rope>=0.1.11",
]

[tool.ruff]
ignore = ["E501"] # ignore line length
line-length = 100

pylsp + pdm

pdm add -dG lsp python-lsp-server python-lsp-ruff python-lsp-black pylsp-mypy pylsp-rope

Returns

Tue, 19 Sep 2023 00:00:00 +0000

参考

文档：
- Features — returns 0.22.0 documentation
repo:

bind 和 map

bind 和 map_ (returns.pointfree)

bind
- 作用：把入参类型改成 Container 类型
- 参数：
  1. Containner[value] -> Contaner[value]
  2. Containner[value] -> value
- 让入参可以接收 Containner[value] 类型
  - 即，把原始函数 fn(value) -> value 转换成 new_fn(Container[value])-> value
map

pdm

Thu, 14 Sep 2023 00:00:00 +0000

代码存放路径和文件布局

参考：

src layout vs flat layout — Python Packaging User Guide
pdm-backend src layout: Build configurations - PDM-Backend

默认行为：

如果没有 src 文件夹， pdm 认为项目是 flat layout
即：
- pdm 支持 src layout
- pdm 支持 flat layout
  - 注意，不要生成 src 文件夹

venv 管理

使用 conda

创建

Debug

Tue, 12 Sep 2023 00:00:00 +0000

工具

dap protocol in vscode, emacs
icecream
- GitHub - gruns/icecream: 🍦 Never use print() to debug again.
- 一个 debug 版的 print 快捷美化替代工具
- eg: ic(my_fun('input_argument'))
Debugging configurations for Python apps in Visual Studio Code

参数：

name
- 解释：创建的 configuration 的名称
- 类型： str
type
- 对于 python 项目，设置成 python
request

Watchdog

Tue, 12 Sep 2023 00:00:00 +0000

参考

paddleocr

Wed, 30 Aug 2023 00:00:00 +0000

参数设定

参考：

参数列表

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


from paddleocr import PaddleOCR


OCR_TOOL = PaddleOCR(
 use_angle_cls=True,
 lang="en",
 ocr_version="PP-OCRv3",
 det_db_score_mode="slow",
 # rec_algorithm='CRNN',
 e2e_pgnet_mode="slow",
)

使用流程和参数说明

主要参数和流程：
1. 探测 detection
2. 文本方向 direction classification
3. 设定语言 lang
4. 识别 recognition
一般 paddleOCR 识别字符涉及到的流程是

transformers

Tue, 08 Aug 2023 00:00:00 +0000

参考

模型训练 GPU、多 GPU、 CPU、多 CPU 等

多机器并行训练方法

Transformers多机多卡的炼丹实践 - 知乎

速度慢分析

模型转换

转换成 huggingface transformers 格式

参考：

Pytest in Emacs

Tue, 14 Mar 2023 00:00:00 +0000

项目

GitHub - wbolster/emacs-python-pytest: run pytest inside emacs

后台使用项目检测工具

projectile

提示 generic 类型项目

问题描述：

运行python-pytest-function-dwim 命令后跳出错误提示：

projectile--test-name-for-impl-name: Cannot determine a test file
name, one of "test-suffix" or "test-prefix" must be set for project
type ‘generic’

原因分析：

Web in python

Wed, 22 Feb 2023 00:00:00 +0000

工具收集

连接重试工具
- tenacity: GitHub - jd/tenacity: Retrying library for Python

MVC 架构

参考：

demo 项目
- PostgreSQL 教程: 在 Spring Boot 中使用 Spring Data JPA - Redrock Postgres

层的功能解释：

java 中的 MVC 和 python 中的东西注意对应关系
MVC: Model, View, Controller
Model: 数据库 model
View: html 模板渲染
Controller: 外部的 http 请求路由转换成内部的函数调用，即： routers
Service: 服务层包含业务逻辑

Encoding in python

Mon, 20 Feb 2023 00:00:00 +0000

工具

chardet
- python 标准库

编码探测

chardet.detect(string)

Lxml

Mon, 20 Feb 2023 00:00:00 +0000

读写

etree.parse(file) –> _ElementTree

读入 xml 文件

1
2
3
4
5
6
7


from lxml import etree

file = '/path/to/my.xml'

result: etree._ElementTree = etree.parse(file) # etree.ElementTree 类

root: etree._Element = result.getroot() # etree.Element 类

etree.XML(xml_string) –> ElementTree
- 注意: xml_string 不可以包含编码说明标签
etree.HTML(html_string)
etree.fromstring(given_string)
- 注意: given_string 不可以包含编码说明标签

namespace 命名空间

参考：

xml in python

Mon, 20 Feb 2023 00:00:00 +0000

lxml 解析 xml

入门

读取 xml –> root tree (_ElementTree 对象)

1
2
3


from_object lxml import etree

etree.parse('/my/file.xml')

ElementTree 对象 –> string

1
2
3


from_object lxml import etree

etree.parse('/my/file.xml')

BeautifulSoup 解析 xml

1
2
3
4
5


from_object bs4 import BeautifulSoup

soup = BeautifulSoup(content, 'xml')

soup.find('abstract').text # str 类型

保持 text 中的空格

参考:

String

Fri, 10 Feb 2023 00:00:00 +0000

匹配工具

正则

糢糊匹配

工具

thefuzz (python >=3.7)
- 老名字叫 fuzzywuzzy(python <=3.6)
- GitHub - seatgeek/thefuzz: Fuzzy String Matching in Python
RapidFuzz
- GitHub - maxbachmann/RapidFuzz: Rapid fuzzy string matching in Python using v…
- MIT license
编辑距离
- editdistance: GitHub - roy-ht/editdistance: Fast implementation of the edit distance(Levens…

Unicode

Fri, 10 Feb 2023 00:00:00 +0000

工具

unicodedata 模块
- python 官方模块， unicode 字符集处理工具
unicodeit 模块
- GitHub - svenkreiss/unicodeit: Converts LaTeX tags to unicode: \mathcal{H} → …
生成 unicode 字符的网站
- Cool text generator Encool ℰη¢◎◎ʟ
命令行 terminal 输出宽度
- GitHub - jquast/wcwidth: Python library that measures the width of unicode st…
希腊字母声调符号

Polars

Sun, 08 Jan 2023 00:00:00 +0000

教程

官方 Get Started
- Introduction - Polars - User Guide

polar expression

polar.all() vs. Expr.all() 两者作用不同

polar.all(): 选择所有列
Expr.all(): expression 的一个方法，逻辑判断全为 true, 类似 python 内建函数 all

polar.flatten() 类似 pd.Series.explode()

作用：

拆分单元格中的列表元素到不同的新行

polar namespace 概念

类别：

Rich

Mon, 28 Nov 2022 00:00:00 +0000

".sql" 文件高亮展示

参考：

Syntax highlighting: SQL · Discussion #2063 · Textualize/rich · GitHub

举例：

1

rich --lexer sql /path/to/test.sql

安装 rich 到 python repl

1
2
3


from rich import pretty

pretty.install()

Tmpfile

Mon, 21 Nov 2022 00:00:00 +0000

FAQ

windows 上 NamedTemporaryFile 读取失败 PermissionError

参考：

python - Permission Denied To Write To My Temporary File - Stack Overflow

解决方法：

设置 NamedTemporaryFile(delete=False)
NamedTemporaryFile 返回的是直接打开的文件，因此删除时需要确保已经关闭
- f.close()
- os.unlink(f)

举例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


# delete=True, 避免PermissionError
with NamedTemporaryFile(suffix='.html', delete=(False if os.name == 'nt' else True)) as f:

 output_file(f.name, title='TPP 相图')

 plt = draw_plot()
 if show_plot:
 show(plt)

 save(plt)
 content = f.read().decode('utf-8')

if os.name == 'nt':
 try:
 # 先关闭
 f.close()
 # 再删除
 os.unlink(f.name)
 except OSError as e:
 logger.error(e)

return content

python file io

Sat, 12 Nov 2022 00:00:00 +0000

工具

文件监听

watchdog
- GitHub - gorakhargosh/watchdog: Python library and shell utilities to monitor…

open mode

'w'
'r'
'a'
- append 模式
- 注意： 文件不存在，不会报错 : 1. 创建文件 2. 写入文件

行分割符 linesep 的处理

read write 的默认转换

原则：在以 text ( "r" ) 模式打开文件时，python 会自动把 os.linesep 替换成 ~"\n"~。

Bokeh

Mon, 31 Oct 2022 00:00:00 +0000

教程

快速入门
- First steps — Bokeh 2.4.3 Documentation

基本概念

Figure 对象
- 绘图的容器
- 其中可以存在多种图形处理工具 renderer(GlyPhRenderer)
- 处理器包含图形 glyph(Line)
图形处理器 renderer
glyph
- 各种形状本身的特性，不包括图例（legend）
- line 直线
- vbar 柱状图
- 每一个图形的属性

better-exceptions

Fri, 15 Jul 2022 00:00:00 +0000

参考

官方
- GitHub - Qix-/better-exceptions: Pretty and useful exceptions in Python, auto…

启用方法

demo:

1
2


export BETTER_EXCEPTIONS=1 # Linux / OSX
setx BETTER_EXCEPTIONS 1 # Windows

Enum ---- python enum class

Thu, 14 Jul 2022 00:00:00 +0000

参考

官方：
- enum — Support for enumerations — Python 3.10.5 documentation

创建方式

继承 Enum 类

直接继承 Enum

1
2
3
4
5
6
7
8
9


from enum import Enum, auto

class Color(Enum):
 green = 1
 red = 2

class Color2(Enum):
 green = auto()
 red = auto()

继承其他类

正确方法

1
2
3


class Color(str, Enum):
 green = 'green'
 red = 'red'

错误方法

1
2
3


class Color(Enum, str):
 green = 'green'
 red = 'red'

原因分析：

Loguru

Thu, 14 Jul 2022 00:00:00 +0000

参考

官方：
- Overview — loguru documentation

demo

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


from loguru import logger

# 添加log
logger.debug("That's it, beautiful and simple logging!")

# handler, 设置处理方式
logger.add(sys.stderr, format="{time} {level} {message}", filter="my_module", level="INFO")
logger.add("file_{time}.log")
# 写入文件方式
logger.add("file_1.log", rotation="500 MB") # Automatically rotate too big file
logger.add("file_2.log", rotation="12:00") # New file is created each day at noon
logger.add("file_3.log", rotation="1 week") # Once the file is too old, it's rotated

logger.add("file_X.log", retention="10 days") # Cleanup after some time

logger.add("file_Y.log", compression="zip") # Save some loved space

# 类似 format 的格式
logger.info("If you're using Python {}, prefer {feature} of course!", 3.6, feature="f-strings")

# context 形式捕捉 log
@logger.catch
def my_function(x, y, z):
 # An error? It's caught anyway!
 return 1 / (x + y + z)

# 支持 html 标签格式化
logger.add(sys.stdout, colorize=True, format="<green>{time}</green> <level>{message}</level>")

# 为 backtrace 异常调用栈，单独设置 log handler
logger.add("out.log", backtrace=True, diagnose=True) # Caution, may leak sensitive data in prod

概念

Sink

参考：

Layout Parser ---- 通用文档图片分析工具

Tue, 12 Jul 2022 00:00:00 +0000

参考

例子
- layout-parser/examples at main · Layout-Parser/layout-parser · GitHub
- 布局识别 + 文本抽取： layout-parser/Deep Layout Parsing.ipynb at main · Layout-Parser/layout-parser…
- 表格 OCR 识别和解析
repo: GitHub - Layout-Parser/layout-parser: A Unified Toolkit for Deep Learning Bas…
模型 model zoo: Model Zoo — Layout Parser 0.3.2 documentation

Pytest

Mon, 11 Jul 2022 00:00:00 +0000

Exception assert

参考：

API Reference — pytest documentation

方法：

1
2
3


>>> import pytest
>>> with pytest.raises(ZeroDivisionError) as exe_info:
... 1/0

注意：

用于捕获单个 Exception

exception 文本匹配

解说：

使用 match 关键字参数
匹配对象
- 文本
- 正则

1
2


>>> with pytest.raises(ValueError, match=r'must be \d+$'):
... raise ValueError("value must be 42")

直接传入函数和参数，不适用 with 语句

有参数

1
2
3
4
5
6


>>> def f(x): return 1/x
...
>>> raises(ZeroDivisionError, f, 0)
<ExceptionInfo ...>
>>> raises(ZeroDivisionError, f, x=0)
<ExceptionInfo ...>

无参数

1
2


>>> raises(ZeroDivisionError, lambda: 1/0)
<ExceptionInfo ...>

数据驱动

通过 csv 文件传入测试参数

参考：

Starlette

Mon, 11 Jul 2022 00:00:00 +0000

参考

相关项目
- python-multipart
  - form parsing 用于表单解析
  - Python-Multipart — python-multipart 0.0.1 documentation

Python 数值运算算法

Wed, 29 Jun 2022 00:00:00 +0000

最大公约数 greatest common divisor number

math.gcd()
sympy.gcd
numpy.gcd

实现方法参考：

gcd() in Python - GeeksforGeeks

最大公倍数

least common denominator
lowest common multiple

工具：

numpy.lcm
sympy.lcm

简单实现：

1
2
3
4


import math

def get_lcm(x, y):
 return x * y / math.gcd(x, y)

解线性方程组

nullspace 方法

使用限制：适合无常亮参数的线性方程组

live-py-plugin ---- (live-py-mode in emacs)

Thu, 09 Jun 2022 00:00:00 +0000

参考

官方
- GitHub - donkirkby/live-py-plugin: Live coding in Python with PyCharm, Emacs,…

emacs 中启动方法

M-x live-py-mode

python 代码触发 live-py-mode 执行

模块级直接执行

1
2
3
4
5
6


def main():
 a = 3
 a += 1
 print(a)

main()

通过 if … 语句，注意 __live_coding__ 的拼写

xlrd ---- python library to read .xls file Excel 解析工具

Fri, 27 May 2022 00:00:00 +0000

合并单元格读取

1
2
3
4
5
6
7
8
9


import xlrd

file = 'demo.xls'

work_book = xlrd.open_workbook(file, formatting_info=True)
work_sheet = work_book.sheet_by_index(0)

print(sheet.merged_cells)
# List[Tuple(row_start, row_end, col_start, col_end)]

注意： index 是半开半闭区间 [row_start, row_end)

参考： API Reference — xlrd 2.0.1 documentation

Numba ---- Python 代码JIT 加速工具

Tue, 17 May 2022 00:00:00 +0000

nopython 模式

不涉及 python 解释器

Python2

Sun, 24 Apr 2022 00:00:00 +0000

string 类型

参考： A Guide to Unicode, UTF-8 and Strings in Python | by Sanket Gupta | Towards D…

python2 有两种 string 类型

str
unicode

转换关系： str — decode –> unicode

unicode –> encode –> str

str 类型

默认使用 ascii 编码
类似 c/c++, 本身实际上无编码， string literal 编码类型由代码文件的编码决定

str.decode

语法： str.decode('coding-name')
返回值类型： <type 'unicode'>

str.encode

返回值类型： <type 'str'>

unicode 类型

默认使用 unicode 解码格式

unicode.encode()

返回值类型： <type 'str'>

FAQ

打印输出和 string literal 不一致问题

确保 console (terminal) 的编码和 python source code 编码一致

nltk ---- classic natural language processsing tool kit

Tue, 05 Apr 2022 00:00:00 +0000

安装

conda install nltk
python -c 'import nltk; nltk.download_gui()'
- 语料和模型下载

语料 corpus

参考：

官方：https://www.nltk.org/nltk_data/

Jupytext

Mon, 28 Mar 2022 00:00:00 +0000

参考

github
- GitHub - mwouts/jupytext: Jupyter Notebooks as Markdown Documents, Julia, Pyt…

教程

作者发布的视频： Marc Wouts - Jupytext: Jupyter Notebooks as Markdown Documents
readthedoc: Jupyter Notebooks as Markdown Documents, Julia, Python or R Scripts — Jupytex…
script 格式
- jupytext/formats.md at main · mwouts/jupytext · GitHub
  - markdown, percent, light 格式规范
例子文件

Setuptools

Tue, 15 Mar 2022 00:00:00 +0000

教程

官方
- setuptools Quickstart - setuptools 60.9.3.post20220314.post-20220314 document…

流程

pyproject.toml

1
2
3


[build-system]
requires = ["setuptools"]
build-backend = "setuptools.build_meta"

创建 setup.py 或者 setup.cfg 文件
安装 build 包

数据文件添加

提供三种方式

include_package_data=True + MANIFEST.in 声明
package_data= {…}
exclude_package_data={…}

通过传统 distutils 方法

声明需要添加 data files: include_package_data = True
文件说明：在 MANIFEST.in 文件中详细说明

MANIFEST.in 用法

参考： Including files in source distributions with MANIFEST.in 语法：

Emacs-Jupyter

Mon, 10 Jan 2022 00:00:00 +0000

参考

github: GitHub - nnicandro/emacs-jupyter: An interface to communicate with Jupyter ke…
scimax-jupyter: scimax/scimax-jupyter.org at master · jkitchin/scimax · GitHub
emacs-jupyter + org-mode + code-cells.el: Jupyter in the Emacs universe | Martí Bosch

功能简介

提供一个 emacs 内部界面友好的 ipython 命令行（自动补全，帮助弹出）
提供 org babel 支持，类似 ob-ipython

依赖

默认 python 环境要安装 jupyter

ipython notes

Mon, 10 Jan 2022 00:00:00 +0000

多行换行问题

Ctrl + O 强制插入新行

magic

matplotlib

1
2
3
4
5


import matplotlib
%matplotlib inline # 直接在代码块显示图片

%matplotlib gtk # 弹出独立的窗口，gtk 库
%matplotlib qt # 弹出独立的窗口，qt 库

Lark ---- Python Parser Collection Library

Wed, 29 Dec 2021 00:00:00 +0000

Grammar

基于 EBNF(扩展的巴科斯范式) 表示法

参考：

terminal

单个词的形式和表示

合法构造

pipenv ---- python package manager

Sun, 26 Dec 2021 00:00:00 +0000

创建

pipenv –python 3.8
- python version 存放在 Pipfile 文件 [requires] 部分
- 注意：
  - 任意 python 版本的切换需要 pyenv 已经安装
pipenv –python path/to/python
- 需要已经安装的本地 python 版本
注意
- 创建时，会自动导入 requirements.txt 内容

删除

pipenv –rm

激活

pipenv –shell
退出

Poetry ---- Python Package Manager and Build Tool

Sun, 26 Dec 2021 00:00:00 +0000

安装

win10
- 不要使用 pipx 安装
- 使用官方 install-poetry.py

换源 mirror —- 镜像管理

换源

当前项目修改

使用命令 poetry source add

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 清华源
poetry source add --priority=default mirrors https://pypi.tuna.tsinghua.edu.cn/simple/

# 更改默认镜像 --default
poetry source add -d <name> <url>
poetry source add -d douban https://pypi.doubanio.com/simple/
poetry source add -d douban https://pypi.tuna.tsinghua.edu.cn/simple/


# 设置第二镜像 --secondary
poetry source add -s <name> <url>

全局换源

Pyenv ---- python shell env management

Sun, 26 Dec 2021 00:00:00 +0000

功能

python 版本管理工具
通过 virtualenv 实现虚拟环境管理
python 版本切换
- 通过 pyenv local 实现项目关联 python 版本
  - 注：
    - 离开项目目录，自动切换成全局 python(pyenv global 设定)
- 通过 pyenv global 实现全局 python 版本切换
- 通过 pyenv shell 实现给定 shell(如 bash, zsh) 内部设置 python 版本

CheatSheet

临时启用 python 版本

启用： pyenv shell 2.7
退出： pyenv shell –unset

six ---- Python2 and Python3 coding helper library

Thu, 25 Nov 2021 00:00:00 +0000

metaclass

参考：

Python Metaclass : Understanding the 'with_metaclass()' - Stack Overflow

两种方法:

six.with_metaclass

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


import six


class MyMeta:
 def __new__(self, cls, name, bases, attrs):
 pass


class MyBase:
 pass


class MyClass(six.with_metaclass(MyMeta, MyBase)):
 pass

接口说明
- six.with_metaclass(MetaClass, *otherBases)

six.add_metaclass

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


import six


class MyMeta:
 def __new__(self, cls, name, bases, attrs):
 pass


class MyBase:
 pass

@six.add_metaclass(MyMeta)
class MyClass(myBase):
 pass

字符串类型 str

six.text_type

Python UML class Diagram

Fri, 12 Nov 2021 00:00:00 +0000

工具

Java

pyreverse

类图制作工具

异常解决

Max Recursion Error 异常

错误提示

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


....
 File "/home/sawyer/miniconda3/envs/cde2/lib/python3.7/site-packages/astroid/decorators.py", line 111, in wrapped
 for res in _func(node, context, **kwargs):
 File "/home/sawyer/miniconda3/envs/cde2/lib/python3.7/site-packages/astroid/inference.py", line 481, in _filter_operation_errors
 for result in infer_callable(self, context):
 File "/home/sawyer/miniconda3/envs/cde2/lib/python3.7/site-packages/astroid/inference.py", line 769, in _infer_binop
 lhs_context = copy_context(context)
 File "/home/sawyer/miniconda3/envs/cde2/lib/python3.7/site-packages/astroid/context.py", line 188, in copy_context
 return context.clone()
RecursionError: maximum recursion depth exceeded

解决方法
- 提高递归限制
  - 修改文件 ~/miniconda/envs/py38/bin/pyreverse
  - 添加代码

Efficient Python

Wed, 27 Oct 2021 00:00:00 +0000

dict

查找

速度
- key in our_dict > our_dict[key] > our_dict.get(key)
- 即
  - in: 查找 key 更快
  - [] 下标索引优于 dict.get() 索引
  - dic.get() 具有安全保护，背后逻辑更耗时

chemdataextractor ---- Chemistry Articles NLP Library

Tue, 12 Oct 2021 00:00:00 +0000

参考

chemdataextractor2 documentation
- Getting Started — ChemDataExtractor v2.0.0 documentation
chemdataextractor2 repo
- GitHub - CambridgeMolecularEngineering/chemdataextractor2: ChemDataExtractor
tabledataextractor
- repo: GitHub - CambridgeMolecularEngineering/tabledataextractor: Extracts data from…
- doc: Welcome to TableDataExtractor! — TableDataExtractor 2019 documentation

参考文献和链接

jsr 385:

ref：https://jcp.org/en/jsr/detail?id=385 unit of measurement api 2.0

JSR 363:

ref：https://jcp.org/en/jsr/detail?id=363 unit of measurement api 1.0

pybind11 ---- a Python C++ Binding Library

Sun, 10 Oct 2021 00:00:00 +0000

教程

官方：First steps — pybind11 documentation

概述

类似 Boost.Python, 不过去掉了对 Boost 库的依赖，更轻便，便于绑定到 python

模块创建

例子

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


#include <pybind11/pybind11.h>

int add(int i, int j) {
 return i + j;
}

PYBIND11_MODULE(example, m) {
 m.doc() = "pybind11 example plugin"; // optional module docstring

 m.def("add", &add, "A function which adds two numbers");
}

重点

pypy ---- a Python Interpreter Implementation

Thu, 07 Oct 2021 00:00:00 +0000

通过 conda 安装

参考：https://conda-forge.org/blog/posts/2020-03-10-pypy/

1
2
3


conda config --set channel_priority strict
conda create -n pypy pypy
conda activate pypy

cffi ---- Python C API Tool

Wed, 06 Oct 2021 00:00:00 +0000

使用模式

综述
- ABI 不使用 compiler
- API 使用 compiler
- in-line, 只使用 cffi 代码
- out-of-line 还使用 .c 文件
- 不严谨地说
  - in-line –> ABI +
  - out-of-line –> API +
ABI Vs. API
- ABI
  - 直接和二进制文件交互（lib）
  - eg:

Python Game Frameworks

Thu, 30 Sep 2021 00:00:00 +0000

框架

Panda3D
专业级工具
- 推荐入门框架工具：Alice
Pyglet
- 参考
  - pyglet Documentation — pyglet v1.5.21

Python C API ---- Write Python C Extension and Call Python From C

Tue, 28 Sep 2021 00:00:00 +0000

C 语言转 Python

解析 Python 变量

函数： PyArg_ParseTuple
- 单个 python 变量转成 C 变量
- python tuple 转成多个 C 变量
- 接口 (PyArg_ParseTuple(args, "ii", &num1, &num2)
  - args: Python 所有参数
  - "ii": Python 参数的类型与个数，相当于翻译模板， "ii" 代表两个整数
  - &num1, &num2: 使用引用指针接收，解析出来的变量
- 返回值：失败为零, 成功非零

1
2
3
4
5
6
7
8
9


static PyObject * Conver_Test_Max_value(PyObject *self, PyObject *args)
{
 int num1, num2;
 // "ii"表示两个整型参数
 if(!(PyArg_ParseTuple(args, "ii", &num1, &num2))){
 return NULL;
 }
 return (PyObject *)Py_BuildValue("i", Max_value(num1, num2));
}

创建 Python 变量

函数： Py_BuildValue

coverage ---- Python unit test and code coverage tool 代码覆盖率探测

Mon, 27 Sep 2021 00:00:00 +0000

report 中包含大量 site-packages 模块测试

参考：coverage run does not ignore .venv dir
解决办法
- coverage run --omit ".venv/*" -m pytest tests

修复 report, no source code error

情况一

案例

py38 run-test: commands[3] | coverage html --skip-covered
No source for code: '/mnt/d/source/infrared_quantity/D:\source\infrared_quantity\tests\test_textrender.py'.
Aborting report output, consider using -i.
ERROR: InvocationError for command /mnt/d/source/infrared_quantity/.tox/py38/bin/coverage html --skip-covered (exited with code 1)

修复方法

mypy ---- Python typing checker

Mon, 27 Sep 2021 00:00:00 +0000

missing types or stubs not installed

解决办法
- mypy –install-types tests
- mypy –install-types -c 'import tests'
参考
- https://mypy.readthedocs.io/en/stable/running_mypy.html#missing-imports
- https://github.com/python/mypy/issues/9997

pyproject.toml 配置文件

参考
- The mypy configuration file — Mypy 0.910 documentation

例子

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


# mypy global options:

[tool.mypy]
python_version = "2.7"
warn_return_any = true
warn_unused_configs = true

# mypy per-module options:

[[tool.mypy.overrides]]
module = ["mycode.foo.*", "module2", "module3", ...]
disallow_untyped_defs = true

[[tool.mypy.overrides]]
module = "mycode.bar"
warn_return_any = false

[[tool.mypy.overrides]]
module = [
 "somelibrary",
 "some_other_library"
]
ignore_missing_imports = true

初次启动慢

正常现象

stubs

pandas

tox ---- Python project multiple python version test framework

Mon, 27 Sep 2021 00:00:00 +0000

修改 pip 源

参考：Basic usage — tox 3.24.5.dev3 documentation

方法

设置环境变量 PIP_INDEX_URL

例子

1
2
3


[testenv]
setenv =
 PIP_INDEX_URL = https://pypi.my-alternative-index.org

与 pyenv 联用

先设定 pyenv local

在运行 tox

1
2
3


pyenv local system 3.5.2 3.7.8 3.9.10

tox

fastapi ---- a Python Web Framework

Thu, 23 Sep 2021 00:00:00 +0000

教程

官方文档： FastAPI
类似项目对比
- 与 flask 对比
  - Why Choose Flask Over FastAPI - Python kitchen
    - flask 和 starlette 是 counterpart
    - flask-restx 和 fastapi 是 counterpart
兄弟项目
- Typer, 命令行工具
  - Typer
相关工具
- uvicorn
  - 用于运行 fastapi 程序
- Starlette
  - ASGI, python 异步 web 服务框架
- pydantic
  - 数据验证和设置工具
  - 通过 python annotations (typing) 实现
  - 在 runtime 时期强制执行 typing(type hint)
  - 类型不一致，给出错误提示

pydantic ---- a Python Json Scheme Library

Thu, 23 Sep 2021 00:00:00 +0000

教程

Python笔记：Pydantic库简介_codename_cys 的博客-CSDN博客_pydantic
官方
- pydantic
相关项目
- datamodel-code-generator
  - GitHub - koxudaxi/datamodel-code-generator: Pydantic model generator for easy…
  - 代码生成器，使用 OpenAPI 和 json schema
- hypothesis
  - GitHub - HypothesisWorks/hypothesis: Hypothesis is a powerful, flexible, and …
  - 基于属性的测试库
相关 python library

unicodedata

Thu, 23 Sep 2021 00:00:00 +0000

教程

正规化：Difference Between NFD, NFC, NFKD, and NFKC Explained with Python Code
- normalize()
各种函数教程：{383}python unicodedata用法_周小董-CSDN博客_unicodedata
英语教程：Unicode In Python - The unicodedata Module Explained - AskPython
Python 官方教程：Unicode HOWTO — Python 3.9.7 documentation
Python unicode catetory 解说：General_Category_Values —- Unicode Character Database
11. Programming languages — Programming with Unicode

Python Distribution, Packaging and pip

Tue, 14 Sep 2021 00:00:00 +0000

教程

官方
- Distributing Python Modules — Python 3.9.7 documentation
三方教程
- Overview — The Joy of Packaging 0.1 documentation

术语

Python Package Index
Python Package Authority
- 管理机构，一个开发者维护者委员会
distutils(1998)
- 过时的分发工具
setuptools(2004)
- distutils 替代工具
wheel
- 发布的项目
- 参考：PEP 427 – The Wheel Binary Package Format 1.0 | Python.org

分发工具（打包）

distutils
setuptools

plotly ---- Python Chart Ploting Library

Mon, 13 Sep 2021 00:00:00 +0000

桑椹图

参考：
- 官方：Sankey Diagram | Python | Plotly

代码实践

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36


# 实际映射关系
df = pd.DataFrame(
[
 ['A', 'A', 'A', 'B', 'B', 'B'],
 ['a', 'b', 'c', 'a', 'b', 'c'],
 [50, 25, 25, 10, 50, 40]]

)

# 输出

0 1 2
0 A a 50
1 A b 25
2 A c 25
3 B a 10
4 B b 50
5 B c 40

# 绘制使用关系（转换后）
df = pd.DataFrame(
[
 [0, 0, 0, 1, 1, 1],
 [2, 3, 4, 2, 3, 4],
 [50, 25, 25, 10, 50, 40]]

)
# 节点名称到数字映射 A, B ---> [0, 1], a,b,c --->[2,3,4]
df = df.T

# 绘制
data = go.Sankey(link={'source': df[0], 'target': df[1], 'value': df[2]}, 
 node={'label':list('AB') + list('abc'), 'pad':50, 'thickness':10})

fig = go.Figure(data)
fig.show()

注意

scipy ---- Python Scientific Computation Library

Fri, 10 Sep 2021 00:00:00 +0000

线性代数 scipy.linalg

线性方程组

Ax = b

linalg.solve(A, b)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


import numpy as np
from scipy import linalg
# x + y = 2
# x - y = 4
# 解： x= 3, y = -1

In [100]: A = np.array([[1, 1],
 ...: [1, -1]])

In [101]: b = np.array([[2],
 ...: [4]])
 ...:

In [110]: linalg.solve(A,b)
Out[110]:
array([[ 3.],
 [-1.]])

Ax = 0

sympy -- Python Symbolic Compuation Library

Fri, 10 Sep 2021 00:00:00 +0000

矩阵

sympy.Matrix
- 方法和属性
  - shape
    - mat.shape
    - sympy.shape(mat)
  - list 化
    - mat.tolist()
  - 点积
    - matA * matB
      - 和 numpy 不同， np.dot 才可以
  - 创建矩阵
    - 单位阵
      - sympy.eye(size)
    - ones
      - sympy.ones(…)
    - zeros
      - sympy.zeros(…)
    - 对角阵
      - sympy.diag(value1, value2, …)
        
        直接输入对角元素
      - sympy.diag(value1, mat1, mat2, …)

joblib ---- a Python Parallel and Function Disk Cache Tool

Thu, 09 Sep 2021 00:00:00 +0000

教程

官方：Joblib: running Python functions as pipeline jobs — joblib

用途

加速函数执行
- 函数结果缓存
- 第二次执行，直接返回缓存的结构，无需执行代码块
并行运算
替代 pickle
- 更高效
函数式编程

Memory 类

作用缓存函数执行结果
参考：On demand recomputing: the Memory class
支持对 numpy 的优化

初始化

Memory(cachedir: str|None='your/given/path', verbose: int=0)
参数

pickle -- Python Serialization Tool

Thu, 09 Sep 2021 00:00:00 +0000

教程

Protocol 协议

协议间不兼容
- 老版本pickle 不能识别新版本 pickle dump 结果

函数

pickle.dumps
- 参数
  - protocol: int
    - 0 ~ pickle.HIGHEST_PROTOCOL
pickle.loads
pickle.dump
pickle.load

注意缺陷和陷阱

序列化失败

不能序列化 __main__ 模块中的函数

shutil ---- Python File Operating Module

Tue, 17 Aug 2021 00:00:00 +0000

参考

官方文档：shutil — High-level file operations — Python 3.9.6 documentation

命令

which
- shutil.which
移动
- shutil.move
复制
- shutil.copy
  - 复制内容 + mode
- shutil.copy2
  - 复制 content + all_metadata
- shutil.copystat(src, target)
  - 复制 stat, 不是内容
  - 注意：
    - 复制到的对象，target 必须存在
    - 可能不完全一致
- shutil.copyfileobj(fsrc, fdst[, length])

psutil -- Python vmstat like tool

Thu, 05 Aug 2021 00:00:00 +0000

cpu_count

代码
1 2 3

import psutil psutil.cpu_count(logical=False)
- 统计 CPU 核心数量
- logical : 是否统计单核多线程

ray -- Python Distributed Computing Framework

Thu, 05 Aug 2021 00:00:00 +0000

教程

快速入门：
- 官方：A Gentle Introduction to Ray — Ray v1.4.1
- 三方文章：Modern Parallel and Distributed Python: A Quick Tutorial on Ray
基准测试
- python 单进程、multiprocessing 和 Ray 性能比较
  - cpu 核数越多 Ray 的优势越明显

注意事项

参考：Tips for first-time users — Ray v2.0.0.dev0
条目

Plot in Python ---- 使用 Python 绘图

Thu, 29 Jul 2021 00:00:00 +0000

绘图库

matplotlib
pycharts
- 参考：GitHub - pyecharts/pyecharts: Python Echarts Plotting Library
- ECharts python 接口
plotly
bokeh
plotnine
- 参考： A Grammar of Graphics for Python — plotnine 0.8.0 documentation
- 基于 R 语言中的 ggplot2

terminal plot 命令行绘图

参考：

How to Create Stunning Graphs in the Terminal with Python | by Sourav De | Me…

列表：

FlashText -- Fast Text Extract and Replace Tool

Fri, 23 Jul 2021 00:00:00 +0000

教程

原理解说：FlashText | Python FlashText For NLP Tasks
Git Repo
- GitHub - vi3k6i5/flashtext: Extract Keywords from sentence or Replace keyword…

特性

不随词的数量增长，消耗时间快速增长

例子

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# 创建工具
In [49]: p = flashtext.KeywordProcessor()

In [50]: p.add_keywords_from_dict({'a': ['b', 'c']})


# match单词
In [52]: p.extract_keywords('a b c')
Out[52]: ['a', 'a']

# match 包括 index
In [56]: p.extract_keywords('a b c', span_info=True)
Out[56]: [('a', 2, 3), ('a', 4, 5)]

kafka-python notes

Wed, 21 Jul 2021 00:00:00 +0000

教程

中文：Python操作Kafka的通俗总结（kafka-python） - 知乎

KafkaConsumer

参数
- group_id
- bytes 类型转换
  - key_serializer
  - value_serializer

Python Locker Implementation Notes ---- python 中锁的实现

Fri, 09 Jul 2021 00:00:00 +0000

分布式锁

portalocker.RedisLock

实现方式
- redis pubsub channel

创建

1
2
3
4
5
6
7
8


import portalocker

lock = portalocker.RedisLock('some_lock_channel_name')

with lock:
print('do something here')

# *** Redis 连接设定

Redis 连接设定
- 使用 redis.client.Redis 类实现
用 RedisLock 可选关键字参数 redis_kwargs: typing.Optional[typing.Dict] = None 指定

参考

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


class Redis:
 def __init__(self, host='localhost', port=6379,
 db=0, password=None, socket_timeout=None,
 socket_connect_timeout=None,
 socket_keepalive=None, socket_keepalive_options=None,
 connection_pool=None, unix_socket_path=None,
 encoding='utf-8', encoding_errors='strict',
 charset=None, errors=None,
 decode_responses=False, retry_on_timeout=False,
 ssl=False, ssl_keyfile=None, ssl_certfile=None,
 ssl_cert_reqs='required', ssl_ca_certs=None,
 ssl_check_hostname=False,
 max_connections=None, single_connection_client=False,
 health_check_interval=0, client_name=None, username=None):

python-redis-lock pip 包实现

参考：GitHub - ionelmc/python-redis-lock: Lock context manager implemented via redi…
模块：＝redis_lock＝
例子

Python Memory Profile Notes

Tue, 29 Jun 2021 00:00:00 +0000

工具

tracemalloc
- 内存分配跟踪 trace memory allocations
- 官方库
memory_profiler
line-profiler
- 逐行 profile

line-profiler

命令行使用

1
2
3
4
5


# 第一步 ---> 生成 profile 结果文件 --> your_script.py.lprof
kernprof -l -v your_script.py

# 第二步 ---> 格式化展示
python -m line_profiler your_script.py.lprof

例子
- 注意：不需要导入 profile 装饰器
- Line Profiling in Python · GitHub

flask-restx notes

Thu, 17 Jun 2021 00:00:00 +0000

教程

Api 类教程

namespace

作用：对 Resource 分组
参考：API — Flask-RESTX documentation–Namspace class
调用
1

api.namespace(...)

Model

参考：
- API — Flask-RESTX restx.Model
- api.model 方法
parameters 字段

Parameters: default – The default value for the field, if no value is specified. attribute – If the public facing value differs from the internal value, use this to retrieve a different attribute from the response than the publicly named value. title (str) – The field title (for documentation purpose) description (str) – The field description (for documentation purpose) required (bool) – Is the field required ? readonly (bool) – Is the field read only ? (for documentation purpose) example – An optional data example (for documentation purpose) mask (callable) – An optional mask function to be applied to output

profile ---- python time consuming Python 运行时间分析工具

Fri, 11 Jun 2021 00:00:00 +0000

工具

graphviz
snakeviz
gprof2dot

profiler

cProfile
profile

使用

snakeviz

1
2
3


python -m cProfile -o /to/profile_result.prof your_program.py args

snakeviz /to/profile.prof

结果
- 网站

gprof2dot

1
2
3


python -m cProfile -o profile.pstats program.py args

gprof2doc -f pstats /to/profile.pstats | dot -Tpng -o result.png

结果
- 函数调用图片

代码速度

set 快于 list

x in set 快于 x in list

requests ---- python requests library

Fri, 11 Jun 2021 00:00:00 +0000

教程

requests官方教程
curl 转换工具： Convert curl commands to code

发送 post json 请求 Request

1
2


import requests
requests.post('http://localhost:8999', json={"hello": "data"})

上传文件和 multpart/form-data

参考：

上传文件

用法：

单独设置文件内容

pycrytodome ---- another encryption library for python 加密类库

Thu, 27 May 2021 00:00:00 +0000

Tutorial

https://pycryptodome.readthedocs.io/en/latest/src/introduction.html

安装

pip install pycrytodome

注意
- pycrytodome 和 pycryto 是功能类似的两个 package

Python Signal Module Notes

Thu, 20 May 2021 00:00:00 +0000

教程

发送信号

singal.pause

暂停 进程 等待接受信号
- 即，休眠进程

signal.alarm

计时功能
- 在给定时间之后，发出 singal.SIGAlRM 信号（默认结束进程）
- 多个 singal.alarm 覆盖前面的
取值
- 正值，设置计时时间
- 0，取消计时

获取信号处理函数

signal.getsignal

1
2
3
4


signal.getsignal(<Signal Number>)

# 例子
singal.getsignal(singal.SIGINT)

设置信号处理函数

`signal.singal`

1

Signal.singal(<signal number>, <handler function>)

处理函数的取值

函数签名如： handler(signum, frame) 的函数

Python Module Configparser Notes ---- config 文件解析工具

Tue, 11 May 2021 00:00:00 +0000

教程

python 官方

python module

config parser

特征

类似 python dict 接口

tornado ---- a python web app framework

Fri, 07 May 2021 00:00:00 +0000

处理异常

参考

步骤

自定义异常类，继承 tornado 异常类 tornado.web.HTTPError
修改 http header, 重载 tornado.web.RequestHandler::write_error
在自己的 handler 中抛出自定义异常类

decorator ---- python decorator 装饰器

Mon, 19 Apr 2021 00:00:00 +0000

类装饰器，修饰类的装饰器 class decorator

参考：
- https://www.geeksforgeeks.org/metaprogramming-metaclasses-python/

例子

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


from functools import wraps

def debug(func):
 """decorator for debugging passed function
 """
 @wraps(func)
 def wrapper(*args, **kwargs):
 print("Full name of this method:", func.__qualname__)
 return func(*args, **kwargs)
 return wrapper


# 类装饰器
def debugmethods(cls):
 '''class decorator make use of debug decorator
 to debug class methods '''

 # check in class dictionary for any callable(method)
 # if exist, replace it with debugged version
 for key, val in vars(cls).items():
 if callable(val):
 setattr(cls, key, debug(val))
 return cls

# sample class
@debugmethods
class Calc:
 def add(self, x, y):
 return x+y
 def mul(self, x, y):
 return x*y
 def div(self, x, y):
 return x/y

mycal = Calc()
print(mycal.add(2, 3))
print(mycal.mul(5, 2))

pdf parsing ---- pdf 文本解析

Mon, 29 Mar 2021 00:00:00 +0000

参考

工具列表：

PDF信息提取技术的汇总（干货满满！） - 知乎

中文 PDF 抽取工具

pdfact
paddleocr
grobid
- 中文支持不好
pdf2docx
- 排版信息不好，乱序
chinese_science_paper_to_text
- https://github.com/flyingwaters/chinese_science_paper_to_text/blob/main/extract.py
pdfplumber
- 测试，中文专利可以

pdf 转图片

pdftoppm
- poppler 套装组件
pyvips (libvips)
- 宣称更快
- python - what is fastest way to convert pdf to jpg image? - Stack Overflow
- 支持每页并行处理
pypdfium2

image rendering ---- render image with python 图片处理

Wed, 17 Mar 2021 00:00:00 +0000

图片存储网站

postimages: Postimages — free image hosting / image upload
- 免费

工具

OpenCV
pillow
scikit-image
scipy.ndimage

工具比较

Python image processing libraries performance: OpenCV vs Scipy vs Scikit-Image

load and save

教程
- https://towardsdatascience.com/loading-and-saving-images-in-python-ba5a1f5058fb
- 打开方式和性能评估
  - https://towardsdatascience.com/what-library-can-load-image-in-python-and-what-are-their-difference-d1628c6623ad
三种方式
- PIL
- opencv –> np.ndarray
- matplotlib

Pyside ---- Qt official python api

Tue, 02 Mar 2021 00:00:00 +0000

教程

简介：PySide6: Professional Python GUI Library

环境配置错误

参考：PySide6开发环境 - 代码先锋网
设置环境变量 QT_QPA_PLATFORM_PLUGIN_PATH
- 值： D:\soft\miniconda3\envs\py38\Lib\site-packages\PySide6\plugins\platforms

设置 QObject 属性

动态属性
- setter & getter
  - obj.setProperty("propName", "value")
  - obj.property("propName")
- 遍历
  - obj.dynamicPropertyNames()

1
2
3
4
5
6


obj.setProperty("Full name", "Summer Festival")
obj.setProperty("Age", 16)
obj.setProperty("Gender", "female")
names = obj.dynamicPropertyNames()
for name in names:
 print(str(name, encoding="utf-8"))

使用 CSS

方法

subprocess ---- python shell tool

Mon, 01 Mar 2021 00:00:00 +0000

教程

https://pymotw.com/2/subprocess/

subprocess.run

参数
- check=True
  - 自动跳出 subprocess.CalledProcessError 异常

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


class RunCommand:
 """Run the command and check if the command is success
 """
 def __init__(self, command: str, check=True, capture_output=True):
 self.command = command
 self.logger = logging.getLogger(self.__class__.__name__)
 # self.logger = logging.getLogger(str(self.__class__))
 self.success = True
 self.returncode = None
 self.check = check
 self.capture_output = capture_output

 def run(self) -> bool:
 """Run the command in the shell.
 """
 try:
 self.logger.info('try to run command: %s', self.command)
 ret = subprocess.run(shlex.split(self.command),
 check=self.check,
 capture_output=self.capture_output
 )
 self.returncode = ret.returncode
 except subprocess.CalledProcessError as e:
 self.logger.info('Failed to call command: %s', self.command)
 self.logger.exception(e)
 self.success = False
 return self.success

subprocess.Popen

与命令交互，可以取出命令输出内容
调用方式

Python abc module notes

Wed, 13 Jan 2021 00:00:00 +0000

作用

强制子类实现方法（类似 Java 接口）

教程

参考
- https://www.cnblogs.com/FG123/p/9463673.html

流程

定义抽象类

1
2
3
4
5
6
7


import abc


class CopyBase(metaclass=abc.ABCMeta):
 @abc.abstractmethod # 必须实现的方法
 def save(self):
 pass

定义子类，实现类

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


class CopyPaper(CopyBase):
 def __init__(self):
 pass

 def save(self):
 print("copy paper")


class CopyQuestion(CopyBase): # 没有实现 抽象方法
 def __init__(self):
 pass

测试

minio python api

Mon, 11 Jan 2021 00:00:00 +0000

教程

https://docs.min.io/docs/python-client-quickstart-guide.html

错误

1
2
3
4
5
6


client = Minio(
"127.0.0.1:9000", # * 这里 不要写协议头：http:// 或者 https://
access_key="matgene",
secret_key="matgene001",
# secure=False # * http --> secure=False, https secure=True(默认值)
)

参考
- https://github.com/minio/minio/issues/8161

unittest

Fri, 08 Jan 2021 00:00:00 +0000

异常测试

1
2
3
4
5
6


class TestFormula(unittest.TestCase):
 def test_parse_forward_uncoupled_parse_error(self):
 f = 'H2O)'
 with self.assertRaises(ParseError) as e:
 Formula.parse_forward_with_bracket(f)
 self.assertTrue('With not coupled bracket' in str(e))

call_shell

Thu, 07 Jan 2021 00:00:00 +0000

教程

https://stackabuse.com/executing-shell-commands-with-python/

Tensorflow Notes

Fri, 25 Dec 2020 00:00:00 +0000

tensorflow-gpu 安装

stackoverflow
- https://stackoverflow.com/questions/51306862/how-do-i-use-tensorflow-gpu
官网
- https://www.tensorflow.org/install/gpu

windows

参考
- https://zhuanlan.zhihu.com/p/94220564?utm_source=wechat_session
步骤
- python3 x64
- 查看 nvidia drive cuda 支持版本
- 下载 cuda
  - https://link.zhihu.com/?target=https%3A//developer.nvidia.com/cuda-downloads
- 下载 cudnn
  - https://link.zhihu.com/?target=https%3A//developer.nvidia.com/rdp/cudnn-download
  - 把 cudnn 解压得到的 lib, bin, include 复制到 cuda 安装目录

在 wsl2 上使用 tensorflow-gpu

参考
- https://docs.nvidia.com/cuda/wsl-user-guide/index.html
windows 端：
- 安装使 wsl2 支持 gpu 的驱动

Sciencebeam-Gym Notes

Thu, 24 Dec 2020 00:00:00 +0000

Sciencebeam-Gym 项目 git

https://github.com/elifesciences/sciencebeam-gym
原始使用目标
- elif: https://elifesciences.org/

数据集 datasets

介绍：
- https://grobid.readthedocs.io/en/latest/End-to-end-evaluation/
数据：
- https://zenodo.org/record/3873702#.X-RG8TTitPY

Conda Notes

Wed, 16 Dec 2020 00:00:00 +0000

Tutorials

官方
- https://docs.conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html#using-pip-in-an-environment

导入导出环境

pip 兼容 —- 制作 requirements.txt

1

conda list > requirements.txt

conda 导出环境

1
2
3
4
5


conda env export > environment.yaml # 所有

conda env export -n py37 > py37.yaml # 给定环境

conda env export --help

conda 导入环境（多个）

1

conda env create -f environment.yaml

win10 异常

问题简述

regex ---- python regex

Mon, 14 Dec 2020 00:00:00 +0000

Tutorial

python 官方
- re — Regular expression operations — Python 3.11.1 documentation
Regular Expressions | Regex Examples | Regexp Tutorials | OCPsoft
- 常用例子解说
Cover - Understanding Python re(gex)?
- 类似一个 manual, 另外有不少高级用法，如：使用 perl regex 语法

工具

可视化测试工具
- regex101
正则生成随机字符串

httpd ---- python httpd library

Wed, 09 Dec 2020 00:00:00 +0000

如何创建文件共享网站

类似 httpd
参考
- https://stackabuse.com/serving-files-with-pythons-simplehttpserver-module/

命令创建

1
2
3
4
5


python -m http.server

python -m http.server <Port>

python -m http.server --help

selenium ---- a python netcrawler tool

Tue, 01 Dec 2020 00:00:00 +0000

教程

中文
- http://www.python3.vip/tut/auto/selenium/skills_1/

选择框

radio button

单选框，列表

Cython Notes

Mon, 12 Oct 2020 00:00:00 +0000

教程

官方 Tutorial
- 官方入门

编译单个文件

制作 setup.py

1
2
3
4
5
6


from setuptools import setup
from Cython.Build import cythonize

setup(
 ext_modules = cythonize("helloworld.pyx")
)

这里假设我们要处理的脚本是 helloworld.pyx

命令行执行
1

python setup.py build_ext --inplace

直接使用 .pyx 模块

需要添加的代码

obfuscation ---- python 代码混淆

Mon, 12 Oct 2020 00:00:00 +0000

工具

pyminifier
pyarmor
- 可以与 pyinstaller 一起使用
  - 低层调用 pyinstaller 打包
更多
- https://zhuanlan.zhihu.com/p/54296517
GitHub - 0sir1ss/Anubis: A Python script to obfuscate and protect your code t…
Carbon: GitHub - 0sir1ss/Carbon: A Python script to obfuscate and protect your code b…
- 删除 comment
- 重命名 class, variables, functions, parameters

traceback ---- python exception helper module

Mon, 12 Oct 2020 00:00:00 +0000

Tutorial

作用

TraceBack 的打印和记录

sys.exc_info()

返回值
1. 异常类型
2. 异常 object(异常实例)

Compile Python Files

Fri, 09 Oct 2020 00:00:00 +0000

Tutorials

工具

cython
mypyc
- 使用带 annotation 类型注解的 .py 文件，编译制作 .so 文件
- 速度提升
  - 约十倍
- 注意
  - mypy 类型检查出错，可能编译不能通过，或者导致编译的程序有问题
  - 因此，最好 mypy 检查无错误，无警告

优化字节码文件 .pyc Vs. .pyo

.pyc 和 .pyo 文件

matplotlib ---- python plotting library

Tue, 22 Sep 2020 00:00:00 +0000

转换绘制结果成 np.ndarray

https://stackoverflow.com/questions/7821518/matplotlib-save-plot-to-numpy-array

字符串方式

fig.canvas.tostring_rgb

np.fromstring

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


import matplotlib.pyplot as plt
import numpy as np

# Make a random plot...
fig = plt.figure()
fig.add_subplot(111)

# If we haven't already shown or saved the plot, then we need to
# draw the figure first...
fig.canvas.draw()

# Now we can save it to a numpy array.
data = np.fromstring(fig.canvas.tostring_rgb(), dtype=np.uint8, sep='')
data = data.reshape(fig.canvas.get_width_height()[::-1] + (3,))

ByteIO 方式

fig.savefig(byteioObj, format='png', dpi=180)
byteioObj.seek(0)
numpy.frombuffer(byteioObj)
cv2.cvtColor

operators ---- python operator overloading Python 运算符重载

Fri, 18 Sep 2020 00:00:00 +0000

python 运算符与特殊函数对应关系

in —- $contains$

https://docs.python.org/3.6/reference/expressions.html#in

注意
- 对于 builtin.list 类型
  - 内部比较的好像是引用

1
2
3
4
5
6
7
8
9


class Hello:
 pass


if __name__ == '__main__':
 assert (Hello() in [Hello()]) is False

 t = Hello()
 assert (t in [t]) is True

pyautogui Notes

Tue, 08 Sep 2020 00:00:00 +0000

Tutorials

官方文档: https://pyautogui.readthedocs.io/en/latest/quickstart.html

获取位置 position()

屏幕尺寸 size()

给定位置是否在屏幕内 onScreen(x, y)

初始配置

调用延时 pyautogui.PAUSE = 2.5

设置调用延时
- 每一次调用 pyautogui 之后, 会被延时多久

中止方式 pyautogui.FAILSAFE = True

鼠标移动到左上角，中止执行

移动操作

绝对移动 moveTo(x, y, duration=num_seconds)

即，相对于原点（左上角）的位置
参数

pywin32 Notes

Tue, 08 Sep 2020 00:00:00 +0000

Tutorials and Documentations

https://stackoverflow.com/questions/5481686/why-cant-i-find-any-pywin32-documentation-resources

http://docs.activestate.com/activepython/2.6/pywin32/PyWin32.HTML

https://pbpython.com/windows-com.html

numpy -- Python Matrix Compputing Library

Mon, 07 Sep 2020 00:00:00 +0000

教程

https://github.com/yishuixing/numpy-tutorial
- 视频教程

概念

Axis

用途
- 用来说明维度，第几个维度
取值

0

row, 行

1

column, 列

2

panel, 层

-1

last, 最后一维
使用场景
- np.stack
  - axis 直接指定堆叠操作的维度，其它维度，依次用单个元素的 shape 成员取代
  - 0 – 把数据在不同的行之间堆叠

argparse

Thu, 03 Sep 2020 00:00:00 +0000

argparse 模块, 辅助模块 shlex

辅助模块 shlex

eg: shlex.split('lpp –species-list Na NaH')

弹出错误提示

使用 parser.error("Your message.")

https://stackoverflow.com/questions/6722936/python-argparse-make-at-least-one-argument-required

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


import argparse

parser = argparse.ArgumentParser()
parser.add_argument('-process')
parser.add_argument('-upload')

args = parser.parse_args()

if not (args.process or args.upload):
parser.error('No action requested, add -process or -upload')

Action 类

查看原码

itertools ---- Python Iteration Module

Thu, 03 Sep 2020 00:00:00 +0000

Tutorials

官方教程： https://docs.python.org/3/library/itertools.html#itertool-functions

无限迭代器

count(start, step)

起点开始，无穷迭代, 每次返回值（yield）增加给定 step
1 2

itertools.count(1) itertools.count(1, 3)

cycle(iterable)

提供的材料，被无穷迭代

1
2


itertools.cycle([1, 2, 3])
itertools.cycle('ABC')

repeat(object, times_count)

给定元素，被迭代 N 次

Python 类型检查 ---- typing 模块

Thu, 03 Sep 2020 00:00:00 +0000

Tutorials

PEP 484:
- 英文：https://www.python.org/dev/peps/pep-0484/
- 中文：https://bbs.huaweicloud.com/blogs/143892
简略介绍，PEP 483: https://www.python.org/dev/peps/pep-0483/
PEP 544
- Protocols: Structural subtyping (static duck typing)
- 用来规定鸭子类型的检验 typecheck
- 英文：https://www.python.org/dev/peps/pep-0544/
mypy 泛型教程
- 英文：https://mypy.readthedocs.io/en/latest/generics.html

Subtype 概念（子类型）

type tree
- 类型树
  - 类似 class tree (类树)
注意

python 代码规范

Wed, 02 Sep 2020 00:00:00 +0000

Lambda functions λ 函数更规范的使用

https://treyhunner.com/2018/09/stop-writing-lambda-expressions/

错误用法

lambda 赋给变量

错误

1

normalize_case = lambda s: s.casefold()

正确
- 定义单行，正常函数

1

def normalize_case(s): return s.casefold()

多余的转换

错误

在 lambda 中又调用同样接口的函数

1

sorted_numbers = sorted(numbers, key=lambda n: abs(n))

正确
- 直接使用已有函数，不要多此一举

click ---- cli 工具，来自 flask

Fri, 07 Aug 2020 00:00:00 +0000

教程

https://click.palletsprojects.com/en/7.x/quickstart/

python2 和 python3 的兼容

click.echo() 代替 print()

@click.command()

把函数转化成命令行命令

@click.option() (可选参数)

映射函数参数 <—> 命令行可选选项 option 参数

@click.argument() (位置参数)

映射函数参数 <—> 命令行位置选项 option 参数

flask

Fri, 07 Aug 2020 00:00:00 +0000

教程

快速入门
高级教程
- GitHub - realpython/discover-flask: Full Stack Web Development with Flask.
样版代码 boilerplate
- GitHub - realpython/flask-boilerplate: Boilerplate template for a Python Flas…

实战项目教程

GitHub - mjhea0/flaskr-tdd: Flaskr: Intro to Flask, Test-Driven Development (…

工具 list

工具列表

awesome-flask

virtualenv ---- python virtual environment manager

Fri, 07 Aug 2020 00:00:00 +0000

教程

https://packaging.python.org/guides/installing-using-pip-and-virtual-environments/#:~:text=To%20create%20a%20virtual%20environment,virtualenv%20in%20the%20below%20commands.&text=The%20second%20argument%20is%20the,project%20and%20call%20it%20env%20.

依赖的备份与还原（安装）

dump dependencies

1

pip freeze > requirements.txt

restore

1

pip install -r requirements.txt

创建工具

venv

python -m venv your_env_name

激活

linux + zsh
- 有效：
  - source /venv/bin/activate~
- 无效：
  - ./venv/bin/activate
  - . ./venv/bin/activate
    - 有时有效，有时失效

特点

python 标准库
python3.3 以后

参数

your_env_name

sqlalchemy ---- ORM tool in python

Wed, 05 Aug 2020 00:00:00 +0000

教程

快速入门
- 使用SQLAlchemy - 廖雪峰的官方网站
详细教程
- SQLAlchemy Unified Tutorial — SQLAlchemy 2.0 Documentation
  - 完整官方教程
  - 这个教程更具系统性，更推荐的深入教程
- Overview — SQLAlchemy 1.3 Documentation
- SQLAlchemy ORM Tutorial for Python Developers

高效处理

参考：

sklearn ---- python ai assistant tool

Mon, 03 Aug 2020 00:00:00 +0000

cheat sheet

Choosing the right estimator — scikit-learn 1.2.2 documentation
- 选择模型

MinMaxScaler

归一化工具，把特征 feature 放缩到给定的范围内（默认值 0~1）

一个 Python 类
模块位置
- sklearn.preprocessing

特征放缩

https://blog.csdn.net/iterate7/article/details/78881562?utm_source=blogxgwz7

方法

调节比例 Rescaling

使用极值

coroutines + asyncio ---- python coroutine 协程笔记

Mon, 22 Jun 2020 00:00:00 +0000

工具收集

参考：

GitHub - timofurrer/awesome-asyncio: A curated list of awesome Python asyncio…
- Awesome-AsyncIO

消息循环工具

libuv + uvloop

asyncio 的类型替换框架

trio
curio
anyio
- 支持方便切换使用的消息循环实现（uvloop）
- 可以在 asyncio 和 trio 之间任意切换

工具 library

文件读写

threading ---- python multi-threading Python 多线程

Wed, 17 Jun 2020 00:00:00 +0000

强制终止线程

https://blog.csdn.net/A18373279153/article/details/80050177?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38


import threading
import time
import inspect
import ctypes


def _async_raise(tid, exctype):
 """raises the exception, performs cleanup if needed"""
 tid = ctypes.c_long(tid)
 if not inspect.isclass(exctype):
 exctype = type(exctype)
 res = ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, ctypes.py_object(exctype))
 if res == 0:
 raise ValueError("invalid thread id")
 elif res != 1:
 # """if it returns a number greater than one, you're in trouble,
 # and you should call it again with exc=NULL to revert the effect"""
 ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, None)
 raise SystemError("PyThreadState_SetAsyncExc failed")


def stop_thread(thread):
 _async_raise(thread.ident, SystemExit)


def test():
 while True:
 print('-------')
 # time.sleep(0.5)
 pass


if __name__ == "__main__":
 t = threading.Thread(target=test)
 t.start()
 time.sleep(5.2)
 print("main thread sleep finish")
 stop_thread(t)

获取返回值

https://blog.csdn.net/it_is_arlon/article/details/86594416

pyinstaller ---- executable maker for python, Python 程序包装成可执行文件

Wed, 10 Jun 2020 00:00:00 +0000

Max Recursion Exceeded

设置最大循环数

1
2
3
4
5
6


import sys
sys.setrecursionlimit(100000)

from PyInstaller.utils.hooks import collect_data_files, collect_submodules

block_cipher = None

收集动态导入模块 hidden modules

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


hiddenimports = collect_submodules('pkg_resources._vendor') + ['pkg_resources.py2_warn']

a = Analysis(['socketapi.py'],
 pathex=['d:\\Documents\\HSC_Chemistry\\python_side\\test_resconstruct'],
 binaries=[],
 datas=[('databases', 'databases')],
 hiddenimports=hiddenimports, # **** ...... set hidden import s here
 hookspath=[],
 runtime_hooks=[],
 excludes=[],
 win_no_prefer_redirects=False,
 win_private_assemblies=False,
 cipher=block_cipher,
 noarchive=False)

多进程 multiprocessing 支持

https://stackoverflow.com/questions/24944558/pyinstaller-built-windows-exe-fails-with-multiprocessing

aiohttp ---- Async IO Web Framework

Mon, 01 Jun 2020 00:00:00 +0000

Client

ClientSession

response

resp.status

一次性读取内容

resp.text()
- 文本 str 类型
- resp.text(encoding='gbk')
resp.read()
- bytes 类型
resp.json()
- 提取 json

流模式读取 Streaming Response Content

resp.content.read(10)

request

session.get
session.put

关键字参数 arguments

params

格式：http://hello.com?key=value&key1=vale1
session.get(http://hello.com, params=params)

json

session.post(url, json={'test': 'value'})

Post 请求

sesson.post https://docs.aiohttp.org/en/stable/client_quickstart.html#more-complicated-post-requests

cryptography ---- python encryption library 加密类库

Wed, 27 May 2020 00:00:00 +0000

英语术语

Words	Explanations
symmetric cipher	对称加密
message digest	类似 md5, sha1 等等

Tutorial

英文教程，快速入门
详细参考与教程：https://cryptography.io/en/latest/

安装

pip install cryptography

AES 加密

使用 Fernet class 实现

注意
- 这里 Fernet 需要的 key 是二进制的
- key 有特定的格式要求

socket ---- python socket library

Tue, 26 May 2020 00:00:00 +0000

英语名词

words	explain
backlog	积压的待办工作
imperative	必要的，不可避免的
	it's imperative to do sth.
switchboard	配电盘
switchboard operator	总机，接线员（电话接线员）
overhead	经常性的
insideout	心中有数（我自己认为的解释）
	your app should be almost insideout.
multiplex	多路的，多工的
simplex	单一的，单工的

教程

https://realpython.com/python-sockets/#background 英文，易懂全面

urllib ---- python url library

Mon, 04 May 2020 00:00:00 +0000

Tutorials

https://python3-cookbook.readthedocs.io/zh_CN/latest/c11/p01_interact_with_http_services_as_client.html

url 构成

地址
查询参数

urllib

基本概念

请求 Request
响应 Response

请求

原料

方程求解问题

Mon, 04 May 2020 00:00:00 +0000

Tutorials

Computational Geometry ---- 计算几何学

Tue, 31 Dec 2019 00:00:00 +0000

参考

工具

python

Shapely

pillow ---- PIL, pure python image rendering library 纯Python图像处理库

Thu, 29 Aug 2019 00:00:00 +0000

方法

Access a pixel

im.getpixel((row, col))

im.load()

1
2


pixel_data = im.load()
pixel_data = [255,255,255]

im.putpixel((row, col), color)

numpy.array <–> PIL image

参考
- https://pillow.readthedocs.io/en/stable/reference/Image.html?highlight=numpy#PIL.Image.fromarray

PIL image –> numpy.array

1
2
3
4
5


from PIL import Image
import numpy as np
im = Image.open('hopper.jpg')
arr = np.asarray(im)
arr01 = np.array(im)

np.array –> PIL Image

1

im = Image.fromarray(a)

multiprocessing ---- python 多进程

Sun, 07 Jul 2019 00:00:00 +0000

笔记目的

python3 多进程学习笔记

Manager 变量陷阱

https://www.jianshu.com/p/52676b93430d

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


 # Manager对象无法监测到它引用的可变对象值的修改，
 # 需要通过触发__setitem__方法来让它获得通知
 from multiprocessing import Process, Manager

 manager = Manager()
 m = manager.list()
 m.append({'id':1})

 def test():
hack = m[0]
hack['id'] = 2
m[0] = hack

 p = Process(target=test)
 p.start()
 p.join()
 print(m[0])

Pool

Queue

在 Pool 中不能直接使用，

解决方法：

使用 Manager().Queue()

scrapy ---- a python netcrawler framework

Tue, 28 May 2019 00:00:00 +0000

xpath 兼容问题

在 scrapy shell 中 xpath 能提取到结果，然而，spider.py 中不能提取到结果，可能原因是 scrapy 不支持其中 xpath 的某些特性。

解决方法

重写一个 xpath, 尽量不要使用高级的 xpath 功能

pubchempy ---- get chemical data from pubchem website

Tue, 14 May 2019 00:00:00 +0000

pubchempy.Compound

Object_Properties:

name	comment
'class',
'delattr',
'dict',
'dir',
'doc',
'eq',
'format',
'ge',
'getattribute',
'gt',
'hash',
'init',
'init_subclass',
'le',
'lt',
'module',
'ne',
'new',
'reduce',
'reduce_ex',
'repr',
'setattr',
'sizeof',
'str',
'subclasshook',
'weakref',
'_setup_atoms',
'_setup_bonds',
'aids',
'atom_stereo_count',
'atoms',
'bond_stereo_count',
'bonds',
'cactvs_fingerprint',
'canonical_smiles',	SMILES
'charge',
'cid',
'complexity',
'conformer_id_3d',
'conformer_rmsd_3d',
'coordinate_type',
'covalent_unit_count',
'defined_atom_stereo_count',
'defined_bond_stereo_count',
'effective_rotor_count_3d',
'elements',
'exact_mass',
'feature_selfoverlap_3d',
'fingerprint',
'from_cid',
'h_bond_acceptor_count',
'h_bond_donor_count',
'heavy_atom_count',
'inchi',
'inchikey',
'isomeric_smiles',
'isotope_atom_count',
'iupac_name',	IUPAC name
'mmff94_energy_3d',
'mmff94_partial_charges_3d',
'molecular_formula',	Formula 分子式
'molecular_weight',	摩尔质量
'monoisotopic_mass',
'multipoles_3d',
'pharmacophore_features_3d',
'record',
'rotatable_bond_count',
'shape_fingerprint_3d',
'shape_selfoverlap_3d',
'sids',
'synonyms',	Synonyms
'to_dict',
'to_series',
'tpsa',
'undefined_atom_stereo_count',
'undefined_bond_stereo_count',
'volume_3d',
'xlogp'

pcp.get_cids(identifier, namespace='name')

eg: pcp.get_cids('1344-59-8')

Pandas ---- Big Data Manipulate Tool

Sat, 20 Apr 2019 00:00:00 +0000

教程

Pandas Cookbook:
- https://github.com/PacktPublishing/Pandas-Cookbook
Data School
- https://www.dataschool.io/best-python-pandas-resources/

修改 index

df.set_index 按给定的列名排序，给定的列变成了 index

df.reindex 重新排序 index，添加新 index（同级，不是 MultiIndex）

原形：pd.DataFrame.reindex(['the', 'new', 'labels'], axis='columns')
注意：

funtools ---- Python Function Tools Module

Thu, 04 Apr 2019 00:00:00 +0000

参考

https://docs.python.org/3/library/functools.html

functools.cache

存储 function 执行结果，以备下次调用

functools.lru_cache

functools.cache_property

存储类 method 知青结果

functools.total_ordering

作用对象
- 类定义
生成比较方法
自动为类创建 __eq__, __lt__ 等等方法

functools.partial

制作偏函数

functools.partialmethod

制作偏方法

functools.reduce

functools.singledispatch

制作重载函数

functools.singledispatchmethod

制作重载方法

functools.wrap

用户装饰器

Python Notes

Tue, 26 Mar 2019 00:00:00 +0000

教程

基础概念
- Glossary 术语表： Glossary — Python 3.10.2 documentation
学习教程
- https://www.programiz.com/python-programming
- set — Python Reference (The Right Way) 0.1 documentation
学习资源
- Real Python · GitHub
- Python Tutorials – Real Python
- The Hitchhiker’s Guide to Python! — The Hitchhiker's Guide to Python
  - 25.6k star 的书

细化笔记

函数式编程：Functional Programming in Python

工具

绘图

网站

pyspider

Mon, 25 Mar 2019 00:00:00 +0000

pyspider 安装错误

在 Ubuntu16 中

错误一：

错误描述：

1
2


 raise ValueError("Invalid configuration:\n - " + "\n - ".join(errors))
ValueError: Invalid configuration:

解决方法

link：https://github.com/binux/pyspider/issues/831

You can change pyspider/webui/webdav.py line 203：

具体：

1
2
3
4
5
6


#把
'domaincontroller': NeedAuthController(app),
#修改为：
'http_authenticator':{
 'HTTPAuthenticator':NeedAuthController(app),
 },

错误二：
- 错误描述：
  - 运行 pyspider all：
    - 启动 pyspider 时 Could not create web server listening on port 25555 报错
- 解决方法：

anaconda 使用

Wed, 20 Mar 2019 00:00:00 +0000

安装问题

在 windows 子系统 ubuntu16 中安装 Miniconda3-latest-Linux-x86_64.sh
- 安装 doccano https://github.com/chakki-works/doccano
- 出现问题：不能安装 npm，
  - 提示不能安装依赖 node-gyp (>= 0.10.9)
  - 解决方案https://askubuntu.com/questions/1057737/ubuntu-18-04-lts-server-npm-depends-node-gyp-0-10-9-but-it-is-not-going

netcrawler ---- python 网络爬虫

Wed, 20 Mar 2019 00:00:00 +0000

名词集锦

课程简介
- urllib
- 正则

网络资源

教程
- https://cuiqingcai.com/4320.html 静觅，崔庆才的博客
- https://www.jianshu.com/p/2e190438bd9c python3 urllib

urllib.request 模块

urllib.request.Request

高级方法

Handler 与 OpenerDirector

关系
- OpenerDirector 就是 Opener
- opener 来自 build_opener(opener)
- 自定义 opener：install_opener(opener)方法
得到全局的 OpenerDirector 对象

python jupyter notebook ipython

Sun, 17 Mar 2019 00:00:00 +0000

在线提供算力的服务商

colab: colab.google.com
九天： jiutian.10086.com
AutoDL-品质GPU租用平台-租GPU就上AutoDL
智星云 AI Galaxy | GPU云服务器 GPU服务器租用远程GPU租用深度学习服务器 | 免费GPU 便宜GPU

收集列表

More Than Ten Free Hosted Jupyter Notebook Environments You Can Try Right Now…

notebook

security 安全与远程登录

使用 https 协议
tutorials

Python on Sawyer Zheng's Blog

Langraph

参考

langgraph 的关键概念

states 状态

MCP 协议 + 大模型 tools 调用

mcp server list

client

Paddlex

paddlex 内部的代码设计模式

使用Registry 注册模型信息

vllm

部署 embedding 模型

Ascend NPU

如何查看版本号

CANN

npu-smi info使用

Ollama

windows 设置

使用

SMAC

入口类

程序入口

SMAC

multi-objectives

runhistory 转换成 单个cost 的工具

数据收集用来做模型训练的方法

多目标代理模型类

SMAC

multi-objectives

runhistory 转换成 单个cost 的工具

数据收集用来做模型训练的方法

多目标代理模型类

uv python package manager

如何换源

全局配置

项目内配置

初始化 uv init

uv init –python $(which python)

Mineru

MinerU 中的概念和名称

magic_pdf.pipe

禁用可视化输出方法

Alembic

常用命令

流程示例

创建 almebic commit(version) 方法

Pix2text

table_ocr 表格识别和解析

代码阅读

Exception

异常信息保存方法 save exception

Black

ignore format 禁用格式化

Nougat

把 nougat 改造成支持图片解析

Bayesian Optimization

参考

调参优化算法有哪些

Chinese Nlp

资源

nlp 套装

Svm 支持向量机

参考

概念

Autogen

参考资料

设置 key 和 参数等， llm_config

metagpt

参考

Functional Programming in Python

工具

工具列表

Zipfile

参考

创建 zip 文件

demo

遍历 zip 文件

使用 ZipFile.infolist()

使用 ZipFile.namelist()

runhistory 转换成单个cost 的工具

runhistory 转换成单个cost 的工具

设置 key 和参数等， llm_config

代码存放路径和文件布局

模型训练 GPU、多 GPU、 CPU、多 CPU 等