吾愛破解 - LCG - LSG |安卓破解|病毒分析|破解軟件|pipinga.com

 找回密碼
 注冊[Register]

QQ登錄

只需一步,快速開始

搜索
查看: 411|回復: 8

[求助] python多進程不快反慢

[復制鏈接]
樓主
魔道書生 發表于 2020-3-26 18:42 回帖獎勵
如題
用pool函數創建進程池之后
執行速度反而更慢
求大佬給個多線程或者多進程下載圖片的例子

發帖前要善用論壇搜索功能,那里可能會有你要找的答案或者已經有人發布過相同內容了,請勿重復發帖。

推薦
非法菜鳥 發表于 2020-3-26 19:58
下載圖片屬于io密集型操作 選用多線程 或協程操作比較合適   在cpu密集型操作中多進程的優勢比較明顯
沙發
nstar1221 發表于 2020-3-26 18:54
3#
貓南北愛上狗東西 發表于 2020-3-26 19:01
4#
衛國 發表于 2020-3-26 19:21
人生苦短,我愛Python
5#
 樓主| 魔道書生 發表于 2020-3-26 19:42 <
nstar1221 發表于 2020-3-26 18:54
一般卡在網速上,試試協程

已解決 謝謝大佬關注
6#
 樓主| 魔道書生 發表于 2020-3-26 19:44 <

已解決 謝謝大佬關注
希望能給個多進程模板
8#
貓南北愛上狗東西 發表于 2020-3-26 20:02
[Asm] 純文本查看 復制代碼
import requests
from scrapy import Selector
from concurrent.futures import ThreadPoolExecutor
from queue import Queue

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
}


class BoundedThreadPoolExecutor(ThreadPoolExecutor):
    def __init__(self, max_workers=None, thread_name_prefix=''):
        super().__init__(max_workers, thread_name_prefix)
        self._work_queue = Queue(max_workers * 2)


def get_href():
    # 獲取所有url
    hrefs = []
    url = 'http://www.2717.com/ent/meinvtupian/list_11_1.html'
    res = requests.get(url=url, headers=headers)
    res.encoding = 'gb2312'  # respose重新編碼
    html = res.text
    # 獲取目錄頁所有鏈接
    sel = Selector(text=html)
    lis = sel.xpath("//div[@class='MeinvTuPianBox']//li")
    for li in lis:
        a = li.xpath('.//a')[0]
        href = a.css('::attr(href)').extract()[0]
        href = 'http://www.2717.com' + href
        hrefs.append(href)
    return hrefs


def parser_img(href):
    print(href)


if __name__ == '__main__':
    hrefs = get_href()
    executor = BoundedThreadPoolExecutor(max_workers=8)
    for href in hrefs:
        executor.submit(parser_img, href)
9#
葫蘆炒雞蛋 發表于 2020-3-26 20:28
魔道書生 發表于 2020-3-26 19:44
已解決 謝謝大佬關注
希望能給個多進程模板

我寫了個多進程爬蟲框架,你可以去看看。pypi搜MultiprocessingSpider
您需要登錄后才可以回帖 登錄 | 注冊[Register]

本版積分規則 警告:本版塊禁止回復與主題無關非技術內容,違者重罰!

快速回復 收藏帖子 返回列表 搜索

RSS訂閱|小黑屋|聯系我們|吾愛破解 - LCG - LSG ( )

GMT+8, 2020-4-9 06:04

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回復 返回頂部 返回列表
吉林快三-Welcome 天津快三-Home 贵州快三-广西快三 体彩快三-推荐 福彩快三-官网 彩神快三-欢迎您 广西11选5-安全购彩 江西11选5-Welcome 3分11选五-Home 5分11选五-广西快三