日B视频 亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

居然有比requests更強大Python庫出現(xiàn)

阿銘linux ? 來源:努力編程小伙 ? 作者:努力編程小伙 ? 2021-07-27 10:43 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

最近公司 Python 后端項目進行重構,整個后端邏輯基本都變更為采用“異步”協(xié)程的方式實現(xiàn)??粗鴿M屏幕經過 async await(協(xié)程在 Python 中的實現(xiàn))修飾的代碼,我頓時感到一臉懵逼,不知所措。

雖然之前有了解過“協(xié)程”是什么東西,但并沒有深入探索,于是正好借著這次機會可以好好學習一下。

什么是協(xié)程?

簡單來說,協(xié)程是一種基于線程之上,但又比線程更加輕量級的存在。對于系統(tǒng)內核來說,協(xié)程具有不可見的特性,所以這種由 程序員自己寫程序來管理 的輕量級線程又常被稱作 “用戶空間線程”。

協(xié)程比多線程好在哪呢?

1. 線程的控制權在操作系統(tǒng)手中,而 協(xié)程的控制權完全掌握在用戶自己手中,因此利用協(xié)程可以減少程序運行時的上下文切換,有效提高程序運行效率。

2. 建立線程時,系統(tǒng)默認分配給線程的 棧 大小是 1 M,而協(xié)程更輕量,接近 1 K 。因此可以在相同的內存中開啟更多的協(xié)程。

3. 由于協(xié)程的本質不是多線程而是單線程,所以不需要多線程的鎖機制。因為只有一個線程,也不存在同時寫變量而引起的沖突。在協(xié)程中控制共享資源不需要加鎖,只需要判斷狀態(tài)即可。所以協(xié)程的執(zhí)行效率比多線程高很多,同時也有效避免了多線程中的競爭關系。

協(xié)程的適用 & 不適用場景

適用場景:協(xié)程適用于被阻塞的,且需要大量并發(fā)的場景。

不適用場景:協(xié)程不適用于存在大量計算的場景(因為協(xié)程的本質是單線程來回切換),如果遇到這種情況,還是應該使用其他手段去解決。

初探異步 http 框架 httpx

至此我們對 “協(xié)程” 應該有了個大概的了解,但故事說到這里,相信有朋友還是滿臉疑問:“協(xié)程” 對于接口測試有什么幫助呢?不要著急,答案就在下面。

相信用過 Python 做接口測試的朋友都對 requests 庫不陌生。requests 中實現(xiàn)的 http 請求是同步請求,但其實基于 http 請求 IO 阻塞的特性,非常適合用協(xié)程來實現(xiàn) “異步” http 請求從而提升測試效率。

相信早就有人注意到了這點,于是在 Github 經過了一番探索后,果不其然,最終尋找到了支持協(xié)程 “異步” 調用 http 的開源庫: httpx

什么是 httpx

httpx 是一個幾乎繼承了所有 requests 的特性并且支持 “異步” http 請求的開源庫。簡單來說,可以認為 httpx 是強化版 requests。

下面大家可以跟著我一起見識一下 httpx 的強大

安裝

httpx 的安裝非常簡單,在 Python 3.6 以上的環(huán)境執(zhí)行

pip install httpx

最佳實踐

俗話說得好,效率決定成敗。我分別使用了 httpx 異步 和 同步 的方式對批量 http 請求進行了耗時比較,來一起看看結果吧~

首先來看看同步 http 請求的耗時表現(xiàn):

import asyncioimport httpximport threadingimport time

def sync_main(url, sign): response = httpx.get(url).status_code print(f‘sync_main: {threading.current_thread()}: {sign}: {response}’)

sync_start = time.time()[sync_main(url=‘http://www.baidu.com’, sign=i) for i in range(200)]sync_end = time.time()print(sync_end - sync_start)

代碼比較簡單,可以看到在 sync_main 中則實現(xiàn)了同步 http 訪問百度 200 次。

運行后輸出如下(截取了部分關鍵輸出。。。):

sync_main: 《_MainThread(MainThread, started 4471512512)》: 192: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 193: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 194: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 195: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 196: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 197: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 198: 200sync_main: 《_MainThread(MainThread, started 4471512512)》: 199: 20016.56578803062439

可以看到在上面的輸出中, 主線程沒有進行切換(因為本來就是單線程啊喂?。┱埱蟀凑枕樞驁?zhí)行(因為是同步請求)。

程序運行共耗時 16.6 秒

下面我們試試 “異步” http 請求:

import asyncioimport httpximport threadingimport time

client = httpx.AsyncClient()

async def async_main(url, sign): response = await client.get(url) status_code = response.status_code print(f‘async_main: {threading.current_thread()}: {sign}:{status_code}’)

loop = asyncio.get_event_loop()tasks = [async_main(url=‘http://www.baidu.com’, sign=i) for i in range(200)]async_start = time.time()loop.run_until_complete(asyncio.wait(tasks))async_end = time.time()loop.close()print(async_end - async_start)

上述代碼在 async_main 中用 async await 關鍵字實現(xiàn)了“異步” http,通過 asyncio ( 異步 io 庫請求百度首頁 200 次并打印出了耗時。

運行代碼后可以看到如下輸出(截取了部分關鍵輸出。。。)

async_main: 《_MainThread(MainThread, started 4471512512)》: 56: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 99: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 67: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 93: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 125: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 193: 200async_main: 《_MainThread(MainThread, started 4471512512)》: 100: 2004.518340110778809

可以看到順序雖然是亂的(56,99,67.。。) (這是因為程序在協(xié)程間不停切換) 但是主線程并沒有切換 (協(xié)程本質還是單線程 )。

程序共耗時 4.5 秒

比起同步請求耗時的 16.6 秒 縮短了接近 73 %!

俗話說得好,一步快,步步快。 在耗時方面,“異步” http 確實比同步 http 快了很多。當然,“協(xié)程” 不僅僅能在請求效率方面賦能接口測試, 掌握 “協(xié)程”后,相信小伙伴們的技術水平也能提升一個臺階,從而設計出更優(yōu)秀的測試框架。

編輯:jq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • python
    +關注

    關注

    58

    文章

    4889

    瀏覽量

    90328

原文標題:比 requests 更強大 Python 庫,讓你的爬蟲效率提高一倍

文章出處:【微信號:aming_linux,微信公眾號:阿銘linux】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    [VirtualLab] 使用Python運行VirtualLab Fusion光學仿真

    摘要 VirtualLab Fusion允許Python外部訪問其建模技術、求解器和結果。這個用例介紹了一種使用路徑變量和Visual Studio代碼將Python連接到VirtualLab
    發(fā)表于 03-31 09:39

    如何使用 Python 將 I2C LCD 與 VIsionFive 一起使用?

    以使用新的 VisionFive.gpio 。 讓我們連接 LCD 來監(jiān)控事物 By Hamzah。 如何使用 Python 將 I2C LCD 與 VIsionFive 一起使用:I2c LCD 是當今非常
    發(fā)表于 03-30 06:52

    強強聯(lián)合:imc FAMOS內嵌Python接口,提高分析效率!

    語言,在以下方面非常強大:提供數(shù)學、云連接、機器學習和您幾乎能想到的所有數(shù)據(jù)選擇高性能處理大數(shù)據(jù)自動生成報告(如在MicrosoftWord中)imcFAMOS作
    的頭像 發(fā)表于 03-18 09:05 ?504次閱讀
    強強聯(lián)合:imc FAMOS內嵌<b class='flag-5'>Python</b>接口,提高分析效率!

    如何在 Vision Five 2 上安裝 python ?

    這可能是一個完全愚蠢的問題,但我如何在 Vision Five 2 上安裝 python 。 使用該命令后,它給了我這個錯誤。 默認為用戶安裝,因為普通站點包不可寫 錯誤:找不到滿足要求
    發(fā)表于 03-06 07:51

    無法去除 Python VisionFive.i2c 的終端輸出?

    燒的官方最新八月份的 debian 12 的系統(tǒng)。 根據(jù)這個案例安裝好了 python 環(huán)境和 VisionFive 。 執(zhí)行下面這條代碼: import VisionFive.i2c
    發(fā)表于 02-25 06:13

    1688 商品詳情 API 調用與數(shù)據(jù)解析 Python 實戰(zhàn)

    的 1688 API 接入流程); 安裝 Python 依賴: bash 運行 ? pip install requests # 發(fā)送HTTP請求pip install
    的頭像 發(fā)表于 02-10 11:23 ?405次閱讀

    軟通動力與居然之家深化戰(zhàn)略合作

    1月19日,軟通動力信息技術(集團)股份有限公司與居然智家新零售集團股份有限公司在北京居然大廈簽署戰(zhàn)略合作協(xié)議,共同宣告將雙方合作全面升級至“戰(zhàn)略合作2.0”新階段。雙方將整合各自優(yōu)勢資源,圍繞數(shù)智化轉型升級、全球化市場聯(lián)合拓展、生態(tài)空間建設等領域展開深度合作,共同推動行
    的頭像 發(fā)表于 01-21 16:17 ?548次閱讀

    小紅書筆記詳情API接口指南

    2.x and python3.x requirement: pip install requests """ from __future__ import print_function import
    的頭像 發(fā)表于 12-03 09:39 ?942次閱讀

    Python調用API教程

    兩個不同系統(tǒng)之間的信息交互。在這篇文章中,我們將詳細介紹Python調用API的方法和技巧。 一、用Requests發(fā)送HTTP請求 使用Python調用API的第一步是發(fā)送HTTP
    的頭像 發(fā)表于 11-03 09:15 ?1213次閱讀

    目前最新版的userapps如何安裝D1s環(huán)境?

    recent call last): File \"/usr/lib/python3/dist-packages/requests/adapters.py\", line 439
    發(fā)表于 09-25 07:33

    termux如何搭建python游戲

    效率提升 為提升編碼體驗,需配置終端工具與遠程連接: 1. Shell與主題配置 - 切換至zsh:功能更強大的命令行解釋器,支持插件擴展: ```bash sh -c \"
    發(fā)表于 08-29 07:06

    python app不能運行怎么解決?

    ;python_agent[1241]: xmlrpc request method supervisor.stopProcess failed;python_agent[1241]: xmlrpc request method supervisor.stopProces
    發(fā)表于 08-06 06:27

    C++ 與 Python:樹莓派上哪種語言更優(yōu)?

    Python是樹莓派上的首選編程語言,我們的大部分教程都使用它。然而,C++在物聯(lián)網項目中同樣廣受歡迎且功能強大。那么,在樹莓派項目中選擇哪種語言更合適呢?Python因其簡潔性、豐富的
    的頭像 發(fā)表于 07-24 15:32 ?1131次閱讀
    C++ 與 <b class='flag-5'>Python</b>:樹莓派上哪種語言更優(yōu)?

    linux虛擬環(huán)境中調用Linux 版matlab編譯的python時出錯

    matlab代碼編譯為CAO_pythonpython,其中cp_Main_python.m為入口文件,編譯后生成的文件有mccExcludedFiles.log、setup.py
    發(fā)表于 07-18 10:40

    基于AMD Versal器件實現(xiàn)PCIe5 DMA功能

    Versal是AMD 7nm的SoC高端器件,不僅擁有比16nm性能更強的邏輯性能,并且其PS系統(tǒng)中的CPM PCIe也較上一代MPSoC PS硬核PCIe單元強大得多。本節(jié)將基于AMD官方開發(fā)板展示如何快速部署PCIe5x8
    的頭像 發(fā)表于 06-19 09:44 ?2049次閱讀
    基于AMD Versal器件實現(xiàn)PCIe5 DMA功能
    吉林省| 沛县| 贞丰县| 梅州市| 祁阳县| 灵川县| 新丰县| 莱芜市| 南通市| 陇南市| 枣阳市| 泗阳县| 山阳县| 龙里县| 崇明县| 南部县| 万荣县| 都匀市| 丹东市| 镇安县| 姜堰市| 神农架林区| 宜春市| 屏东市| 葫芦岛市| 新丰县| 永寿县| 东乌珠穆沁旗| 乌鲁木齐县| 鱼台县| 沅陵县| 普格县| 金沙县| 瓮安县| 冷水江市| 云龙县| 周口市| 长泰县| 乌海市| 自治县| 淮安市|