认识达内从这里开始

认真做教育专心促就业

Scrapy壳牌

发布：达内培训
来源：互联网
时间：2018-06-26 09:43

    Scrapy Shell是一个命令行工具，它为您提供机会来测试解析代码，而无需运行整个爬行器。与抓取所有链接的抓取工具不同，Scrapy Shell保存单个页面的DOM以进行数据提取。在我的情况下，我确实如下：
    Adnans-MBP:olx AdnanAhmad$ scrapy shell #/item/asus-eee-pc-atom-dual-core-4cpus-beautiful-laptops-fresh-stock-IDUVo6B.html#4001329891
    现在，我可以轻松地测试代码，而无需再次访问同一个URL.我通过这样获取标题：
    In [8]: response.css（‘h1::text’）。extract（）[0].strip（）Out[8]: u“Asus Eee PC Atom Dual-Core 4CPU's Beautiful Laptops fresh Stock”
    你可以在response.css这里找到熟悉的。由于整个DOM可用，您可以使用它。
    我通过这样做来获取价格：
    In [11]: response.css（‘.pricelabel > strong::text’）。extract（）[0]Out[11]: u'Rs 10,500'
    由于response.url返回当前访问的URL,因此无需执行任何操作来获取URL.
    现在所有的代码都被检查了，是时候把它整合到parse_detail_page:

title = response.css（‘h1::text’）。extract（）[0].strip（）price = response.css（‘.pricelabel > strong::text’）。extract（）[0]item = OlxItem（）item['title'] = titleitem['price'] = priceitem['url'] = response.urlyield item

    解析完成后，OlxItem正在创建所需信息实例并设置属性。到目前为止这么好，现在是运行爬虫和存储信息的时候了，命令有一些细微的修改：
    scrapy crawl electronics -o data.csv -t csv
    我传递文件名和文件格式以保存数据。一旦运行，它会为您生成CSV.很简单，不是吗？与您自己编写的抓取工具不同，您必须编写自己的例程来保存数据，但请等待！它并没有到此结束，你甚至可以以JSON格式获取数据，所有你需要做的就是通过json与-t开关。
    还有一件事，Scrapy为您提供了另一个功能，通过一个固定的文件名在现实世界的场景中没有任何意义，我怎么能有一些工具来生成独特的文件名？那么，你需要修改settings.py文件并添加这两个条目：
    FEED_URI = 'data/%（name）s/%（time）s.json'FEED_FORMAT = 'json'
    在这里，我给出了我的文件的模式，%（name）%是履带本身的名称，并且time是时间戳。你可以在这里进一步了解它。现在，当我运行scrapy crawl --nolog electronics或scrapy crawl electronics 它会在data文件夹中生成一个json文件，如下所示：

[{“url”: “#/item/acer-ultra-slim-gaming-laptop-with-amd-fx-processor-3gb-dedicated-IDUQ1k9.html”, “price”: “Rs 42,000”, “title”: “Acer Ultra Slim Gaming Laptop with AMD FX Processor 3GB Dedicated”},{“url”: “#/item/saw-machine-IDUYww5.html”, “price”: “Rs 80,000”, “title”: “Saw Machine”},{“url”: “#/item/laptop-hp-probook-6570b-core-i-5-3rd-gen-IDUYejF.html”, “price”: “Rs 22,000”, “title”: “Laptop HP Probook 6570b Core i 5 3rd Gen”},{“url”: “#/item/zong-4g-could-mifi-anlock-all-sim-supported-IDUYedh.html”, “price”: “Rs 4,000”, “title”: “Zong 4g could mifi anlock all Sim supported”},…]

以上就是潍坊计算机培训给大家做的内容详解，更多关于IT课程的学习，请继续关注潍坊计算机培训。

< 上一篇：为什么Python是数据分析领域的主流程序

下一篇：Python基础的面试题目（一） >