2021-12-31 myluzh
RouterOS
用的就是url gb2313编码
import urllib
from urllib import parse
def url_gb2312(t_type, text):
if t_type == "encode":
text = urllib.parse.quote(text.encode('gb2312'))
text = text.replace("%", "\\")
return text
if t_type == "decode":
text = text.replace("\\", "%")
text = urllib.parse.unquote(text, encoding='gb2312')
return text
# 编码
t = url_gb2312("encode", "哈哈哈")
print(t) # 输出 \B9\FE\B9\FE\B9\FE
# 解码
t = url_gb2312("decode", "\B9\FE\B9\FE\B9\FE")
pr...
阅读全文>>
标签: python routeros 中文
评论(0)
(1426)
2021-12-30 myluzh
Python
Playwright 是微软在 2020 年初开源的新一代自动化测试工具,它的功能类似于 Selenium、Pyppeteer 等,都可以驱动浏览器进行各种自动化操作。它的功能也非常强大,对市面上的主流浏览器都提供了支持,API 功能简洁又强大。虽然诞生比较晚,但是现在发展得非常火热。
因为 Playwright 是一个类似 Selenium 一样可以支持网页页面渲染的工具,再加上其强大又简洁的 API,Playwright 同时也可以作为网络爬虫的一个爬取利器。
图片
1. Playwright 的特点
Playwright 支持当前所有主流浏览器,包括 Chrome 和 Edge(基于 Chromium)、Firefox、Safari(基于 WebKit) ,提供完善的自动化控制的 API。
Playwright 支持移动端页面测试,使用设备模拟技术可以使我们在移动 Web 浏览器中测试响应式 Web 应用程序。
Playwright 支持所有浏览器的 Headless 模式和非 Headless 模式的测试。
Playwright 的安装和配置非常简单,安装过程中会自动安装对应的浏览器和驱动,...
阅读全文>>
标签: python
评论(0)
(1390)
2021-6-9 myluzh
Python
from distutils.core import setup
import py2exe
INCLUDES = []
# 用法把当前文件保为setup.py 然后终端使用如下命令python setup.py py2exe
options = {
"py2exe":
{
"compressed": 1, # 压缩
"optimize": 2,
"bundle_files": 1, # 所有文件打包成一个 exe 文件
"includes": INCLUDES,
"dll_excludes": ["MSVCR100.dll"], # 加上这句否则会缺少支持库
"dist_dir": 'list' # 打包后放哪个文件夹
}
}
setup(
options=options, # 把所有文件打包成一个exe,如果无此代码则会在dist文件夹内生成许多依赖的文件,加上此代码...
阅读全文>>
标签: python py2exe
评论(0)
(665)
2021-5-27 myluzh
Python
Chrome Options常用的行为一般有以下几种:
禁止图片和视频的加载:提升网页加载速度。
添加代理:用于FQ访问某些页面,或者应对IP访问频率限制的反爬技术。
使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。
添加扩展:像正常使用浏览器一样的功能。
设置编码:应对中文站,防止乱码。
阻止JavaScript执行
...
Chrome Options是一个配置chrome启动时属性的类,通过这个参数我们可以为Chrome添加如下参数:
设置 chrome 二进制文件位置 (binary_location)
添加启动参数 (add_argument)
添加扩展应用 (add_extension, add_encoded_extension)
添加实验性质的设置参数 (add_experimental_option)
设置调试器地址 (debugger_address)
针对编码格式的操作
# 设置默认编码为 utf-8 from selenium import webdriver
options = webdriver.Chrome...
阅读全文>>
标签: python selenium Chrome options 自动化
评论(0)
(875)
2020-4-15 myluzh
Python
requests是原生的http库,比urllib3更容易使用,语法格式如下:
requests.request.method(url,**kwargs)
参数
说明
methodw
接收string。表示请求类型,例如GET,无默认值
url
接收string。表示请求的URL,无默认值
**kwargs
接收dict或其他python类型数据。根据具体需要添加的参数
实例:
import requests
url = 'http://www.xxx.com/index.html'
head = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like G...
阅读全文>>
标签: python requests
评论(0)
(1022)