一、创建项目
如果安装了最新的pydev，创建一个新项目会有三个选项，直接选择一个普通的python项目即可，此时查看项目目录，目录项只有两个工程文件。
<img data-rawheight="52" data-rawwidth="131" src="pic2.zhimg.com/defe3f4b4379ba8007e5be1b1ce07dd5_b.jpg" class="content_image" width="131">
此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。
使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。
二、配置Debug Configurations
1、进入run——>Debug Configurations-——>Main
name中输入这个配置的名称；
Projecct选择Scrapy项目
Main Module 中填入scrapy库下的cmdline.py文件
2、进入run——>Debug Configurations-——>Arguments
在Program arguments中输入 crawl example，需要注意这个example是爬虫的名称
这个名字并不是项目名称，而是在所写的类似于xxxSpider()类中的name的值。
在Working directory中选择other 选择爬虫工作目录
如图：
<img data-rawheight="283" data-rawwidth="599" src="pic1.zhimg.com/1bf1440891107de4a64fcaa66fec1294_b.jpg" class="origin_image zh-lightbox-thumb" width="599" data-original="pic1.zhimg.com/1bf1440891107de4a64fcaa66fec1294_r.jpg"><img data-rawheight="426" data-rawwidth="582" src="pic4.zhimg.com/32fe68dab4bd890e5bff75b2b2c39d5f_b.jpg" class="origin_image zh-lightbox-thumb" width="582" data-original="pic4.zhimg.com/32fe68dab4bd890e5bff75b2b2c39d5f_r.jpg">
配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。
2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)
2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:
唯一麻烦一点的就是每次debug都需要通过run进行，而不能使用鼠标右键运行。
至此eclipse + pydev开发环境debug Scrapy就全部完成了。
如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的Python项目即可，此时查看项目目录，目录项只有两个工程文件。
此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。
我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。
二、配置Debug Configurations
1、进入run——>Debug Configurations-——>Main
name中输入这个配置的名称；
Projecct选择你的Scrapy项目
Main Module 中填入scrapy库下的cmdline.py文件
2、进入run——>Debug Configurations-——>Arguments
在Program arguments中输入 crawl example，需要注意这个example是你的爬虫的名称
这个名字并不是你的项目名称，而是在你所写的类似于xxxSpider()类中的name的值。
在Working directory中选择other 选择你的爬虫工作目录
如图：
配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。
2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)
2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:
唯一麻烦一点的就是每次debug都需要通过run进行，而不能使用鼠标右键运行。
至此eclipse + pydev开发环境debug Scrapy就全部完成了。本回答被网友采纳
爬虫怎么学
浏览器方面，学会运用 Chrome 或许 FireFox 浏览器去检查元素，学会运用进行抓包。此外，在该阶段，也需求了解干流的爬虫东西和库，如urllib、requests、re、bs4、xpath、json等，一些常用的爬虫结构如scrapy等是必需求把握的，这个结构仍是蛮简略的，可能初学者觉得它很难抵挡，可是当抓取的数据量非常大的...
可以运行多少个python脚本?
末尾的项目(Pillow,youtube-dl,Odoo,Scrapy)可以从侧面印证这种猜想：它们都是面向特定领域的，所以更加容易模块化。第二个指标是注释和代码的比例，这个问题也有着类似的情况。注释并非越详尽越好，但总是需要一定量的注释来解释Why的问题。注释太少，说明项目的作者没有给后来的维护人员留下足够的线索，...
进行毕业设计时可以使用哪些技术工具?
2.集成开发环境（IDE）：如VisualStudio、Eclipse、PyCharm等，提供代码编辑、调试、编译等功能。3.版本控制工具：如Git、SVN等，用于管理代码版本和协同开发。4.数据库管理系统：如MySQL、Oracle、SQLServer等，用于存储和管理数据。5.网络爬虫工具：如BeautifulSoup、Scrapy等，用于从网页上抓取信息。6.数据...
学习python,用什么软件?
PyDev是Eclipse集成开发环境的一个插件，支持Python调试、代码补全和交互式Python控制台等，在Eclipse中安装PyDev非常便捷，只需从Eclipse中选择“Help”点击“Eclipse Marketplace”然后搜索PyDev，点击安装，必要的时候重启Eclipse即可，对于资深Eclipse开发者来说，PyDev可以很轻松上手！3. Visual Studio Visua...
你都用Python 来做什么?
2、抓取某系统内全部学生姓名学号及选课信息 3、扫描研究生系统上的弱密码用户、模拟登录图书馆系统并自动续借 4、给钓鱼网站批量提交垃圾信息 经常会收到含有钓鱼网站链接的短信的，一般都是盗取 QQ 密码的偏多，其实可以使用 Python 来批量给对方的服务器提交垃圾数据（需要先抓包），这样骗子看到信息...
python工具有哪些
Pycharm是程序员常常使用的开发工具，简单、易用，并且能够设置不同的主题模式，根据自己的喜好来设置代码风格。第十款：Python Tutor 这个工具可能对初学者比较有用，而对于中高级程序员则用处较少。这个工具的特色是能够清楚的理解每一行代码是如何在计算机中执行的，中高级程序员一般通过分步调试可以实现...
python计算要多久(python计算久期)
如何用pytho写rhino文件答:1、首先下载MAC版的64位Eclipse,然后解压缩。2、下载Python。MAC自带的是的python版本比较老,所以去下个新版本,下载后安装,dmg的pyth防抓取,突袭网提供内容,请查看原文。 8daysshowsas2weeks 为什么python中print可以运行,而print"ilo...答:为什么python中print可以运行,而防抓取,突袭网提...
编程语言有哪些?
我的jar包任何一种场景都有,我的生态系早就完善,怎么不如你老三? 老三Py:你在pom.xml安装什么任何信息告诉别人,而且你的dependency鬼死那么长,人家愿意写吗? 老二C和老四C++:我们gcc和cmake添加第三方库还要编译才可以。 老三Py:我的requests,selenium,beautifulsoup,pyquery,lxml,Scrapy,Crawley,Pyspider等一系列爬...
设计模式js阮一峰?
用EclipseEuropa进行Web开发 第1部分:EclipseJavaEE 第2部分:PHP开发工具 第3部分:RubyDevelopmentToolkit和RadRails 使用JavaServerFaces构建芦洞ApacheGeronimo应用程序 第1部分:使用Eclipse和ApacheMyFacesCore构建基本的应用程序 第2部分:在JavaServerFaces中使用Tomahawk 第3部分:使用ajax4jsf添加Ajax功能 第4部分:使用Ap...
node.js中文文档?
第1部分:使用Eclipse和ApacheMyFacesCore构建基本的应用程序 第2部分:在JavaServerFaces中使用Tomahawk 第3部分:使用ajax4jsf添加Ajax功能 第4部分:使用ApacheTrinidad组件扩展JSF 第5部分:将JSF应用程序与Spring集成 ApacheGeronimo和Spring框架 第1部分:开发方法学 第2部分:构建第一个应用程序 第3部分:集成DAO与ORM ...
