当前位置: 首页 >> 语言
【调试】在Pycharm中调试scrapy爬虫的两种方法

【调试】在Pycharm中调试scrapy爬虫的两种方法

通常,运行scrapy爬虫的方式是在命令行输入scrapy crawl <spider_name>,调试的常用方式是在命令行输入scrapy shell <url_name>。总的来说,调试方法比较单一。其实,还有两种调试方法,可以在pycharm中实现调试。1.使用scrapy.cmdline的execute方法首先,在项目文件scrapy.cfg的同级建立main.py文件(注意,必须是同级建立),在其中键入如下代码:from scrapy.cmdline&
5个月前 (03-16)    Jiaozn    Python    168    0    全文阅读
【爬虫】Python爬虫的urllib.error.HTTPError: HTTP Error 418错误

【爬虫】Python爬虫的urllib.error.HTTPError: HTTP Error 418错误

from urllib.request import urlopen url = 'https://movie.douban.com/top250?start=%s&filter=' ret = urlopen(url) aa = ret.read().decode('utf-8') print(aa)缺少headers,添加上:headers = {&#
5个月前 (03-16)    Jiaozn    Python    244    0    全文阅读
【拍错】from PIL import Image ModuleNotFoundError: No module named 'PIL'

【拍错】from PIL import Image ModuleNotFoundError: No module named 'PIL'

错误:from PIL import Image ModuleNotFoundError: No module named 'PIL'解决方法:运行命令:pip install pillow
6个月前 (02-19)    Jiaozn    Python    270    0    全文阅读
【配置】Pycharm配置环境及安装第三方库

【配置】Pycharm配置环境及安装第三方库

成功安装Python之后,我们可以继续后面的步骤。1.打开软件,通过路径【File】→【Settings】→【Project】→【Project Interpreter】来到我们配置Python环境的界面。一般情况下,这里是一片空白。2.点击小齿轮,在弹出的选项中点击【Show All】,然后再弹出的窗口中点击【+】号,进入配置页面。3.这里可以选择【New Environment】或【Existing Environment】,建议选择【Existing Environment】,然后根据自己
6个月前 (02-14)    Jiaozn    Python    260    0    全文阅读
【shell】linux之if [ $? -ne 0 ];

【shell】linux之if [ $? -ne 0 ];

$# 是启动脚本时携带的参数个数-ne 是不等于这个语句的意思是“如果shell的启动参数不等于1个”$# 表示提供到shell脚本或者函数的参数总数;$1 表示第一个参数。 -ne 表示 不等于另外:整数比较-eq     等于,如:if ["$a" -eq "$b" ]-ne     不等于,如:if ["$a" -ne "$b" ]-gt&n
9个月前 (11-19)    Jiaozn    Shell    330    0    全文阅读
【返回值】SHELL中的exit 0 和 exit 1

【返回值】SHELL中的exit 0 和 exit 1

当你 exit 0 的时候,在调用环境 echo $? 就返回0,也就是说调用环境就认为你的这个程序执行正确当你 exit 1 的时候,一般是出错定义这个1,也可以是其他数字,很多系统程序这个错误编号是有约定的含义的。 但不为0 就表示程序运行出错。 调用环境就可以根据这个返回值判断 你这个程序运行是否ok。如果你用 脚本 a 调用 脚本b ,要在a中判断b是否正常返回,就是根据 exit 0 or 1 来识别。执行完b后, 判断 $? 就是返回值
9个月前 (11-14)    Jiaozn    Shell    255    0    全文阅读
【备份】脚本备份tar的常用命令及日期命名

【备份】脚本备份tar的常用命令及日期命名

tar备份以日期命名****************************************************************************************#vi backup.sh DATE=`date +%Y-%m-%d` tar -cvzf /mnt/sdb1/AirFreightBK/AirF.$DATE.tar.gz  /mnt/120/IT/Databasebackup/DatabaseAirfreight/Air
9个月前 (11-14)    Jiaozn    Shell    259    0    全文阅读
【传输】使用rsync 解决scp断点续传问题

【传输】使用rsync 解决scp断点续传问题

基础命令:rsync -P --rsh=ssh home.tar 192.168.0.34:/home/home.tar你可以用alias命令把这条命令转义成scpc。这个命令的含义:-P 断点续传-rsh ssh 远程shellhome.rar 本地文件192.168.0.34:/home/home.tar 远程主机上的目的文件问题:bash: rsync: 未找到命令    要求2台服务器都需要安装rsync,  
9个月前 (11-14)    Jiaozn    Shell    320    0    全文阅读
【脚本】shell判断是否是IP地址

【脚本】shell判断是否是IP地址

shell判断是否是IP近来需要写个小shell判断用户输入的字符串是否为有效的ip地址,简单排除了以下几种情况:1. 以点号为分隔的域不等于4或6;2. 出现字符;3. 某域以0开头;4. 各域数值长度大于3;5. 各域数值大于2556. 第一个和最后一个域为0IPADDR=192.168.1.1 (有效)IPADDR=192.168.0.254(有效)IPADDR=10.0.0.0(无效)IPADDR=0.1.1.1(无效)IPADDR=192.168.001.001 (无效)IPADDR=
9个月前 (11-01)    Jiaozn    Shell    321    0    全文阅读
【模板】Divi WordPress企业建站主题模板中文正版原包带APIKEY密钥可更新

【模板】Divi WordPress企业建站主题模板中文正版原包带APIKEY密钥可更新

DiVi 是由 ElegantThemes公司精心制作的一个wordpress多功能主题,不论是个人博客也好,工作室网站也好,购物网站也好,DiVi 都能满足你的不同需求。DiVi相比国外的其他主题更加轻量,无需任何插件,官方已经提供中文汉化语言包,无需再次进行汉化,直接启用就好,如果您制作的是英文站点,只要后台设置为英文即可主题预览地址:https://www.elegantthemes.com/preview/Divi(英文版,复制到浏览器打开)主题预览地址:http://demo.them
10个月前 (10-08)    Jiaozn    HTML    329    0    全文阅读
【html】banner图居中的两种方法

【html】banner图居中的两种方法

第一种方法:    就是直接插入图片,给图片定义一个class,若是定义margin{0,auto;}的话,        在浏览器中预览,缩放到50%,我们会发现将大banner图会在左边,是不会居中的哦!        对于class的banner我们要经过如下定义{ position:rela
10个月前 (10-08)    Jiaozn    HTML    363    0    全文阅读
【排错】解决 error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"

【排错】解决 error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"

Pycharm中的scrapy安装教程运行环境:win7_64python 3.6.4pycharm 2017.3.4需要的包版本:pyOpenSSL-17.5.0zope.interface-4.4.3twisted-17.9.0lxml-4.2.1scrapy-1.5.0安装如下图1-1所示:按照从下往上的顺序安装就可以。1-1首先打开pycharm的左上角的File然后找到setting的选项,打开了setting之后就像下图选定的蓝色的选项,然后就会出现已经安装好了的第三方的包,输入你想
1年前 (2019-07-12)    Jiaozn    Python    511    0    全文阅读
【排错】UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

【排错】UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

python 读文件是碰到这个错误,查了一下python的文件编码机制python是 外部文件编码->内部编码->目标编码,这个报错的意思,是当内部编码转化成 gbk编码(默认)时出错,我也不知道为啥,改为utf-8就好了open('../atec_nlp_sim_train.csv', encoding='utf-8')加一个python支持的编码就可,我这选择的是 utf-8
1年前 (2019-07-09)    Jiaozn    Python    522    0    全文阅读
【排错】Requests有headers请求get网页,解析正常。无头不正常

【排错】Requests有headers请求get网页,解析正常。无头不正常

# -*- coding:utf-8 -*- import time import requests       headers={       'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36&nb
1年前 (2019-07-09)    Jiaozn    Python    378    0    全文阅读
【代码】网站底部添加网站运行时间代码,自动计算精确到秒

【代码】网站底部添加网站运行时间代码,自动计算精确到秒

<span id="runtime_span"></span> <script type="text/javascript">     function show_runtime(){window.setTimeout("show_runtime()",1000);     X=new&
1年前 (2019-06-28)    Jiaozn    HTML    377    0    全文阅读
【开发】Django--初始化

【开发】Django--初始化

1、Django介绍它是一个WEB框架Django--大而全tornado、flask--小而精2、Django安装    https://www.djangoproject.com/download/3、创建django程序手动创建file--new project--Django--Location--create(打开后最好不要有上层目录)命令创建cmd>django-admin startproject sitename4、程序目录各文件作用
1年前 (2019-06-21)    Jiaozn    Python    499    0    全文阅读
【Sqlite3】Django模型-数据库Sqlite3操作

【Sqlite3】Django模型-数据库Sqlite3操作

前言  前边记录的URLconf和Django模板全都是介绍页面展示的东西,也就是表现层的内容。由于Python先天具备简单而强大的数据库查询执行方法,Django 非常适合开发数据库驱动网站。 这篇开始,进入到了Django模型,也就是数据库操作。自带 Sqlite3 数据库查询方式为了简单,使用Python自带的Sqlite3数据库进行实例说明。先看一个传统的数据库操作示例: 1 from django.shortcuts import&nb
1年前 (2019-06-19)    Jiaozn    Python    424    0    全文阅读
【排错】python datetime offset-aware与offset-navie相互转换

【排错】python datetime offset-aware与offset-navie相互转换

有时,我们使用python 的datetime模块比较两个时间的前后关系时,会出现报错:TypeError: can't compare offset-naive and offset-aware datetimes这是因为两个时间不属于同一类型,offset-naive是不含时区的类型,而offset-aware是有时区类型,两者自然不能比较。我们可以通过判断datetime对象的tzinfo属性,来获悉他是何种类型In [17]: import datetime In [1
1年前 (2019-06-19)    Jiaozn    Python    369    0    全文阅读
【python】centos7安装卸载python3,pip3

【python】centos7安装卸载python3,pip3

yum安装python3    yum install epel-release -y    yum install https://centos7.iuscommunity.org/ius-release.rpm -y    yum install python36 u -y    ln -s /bin/python3.6 /bin/python3         
1年前 (2019-06-14)    Jiaozn    Python    951    0    全文阅读
【工具】Pycharm安装、设置、优化

【工具】Pycharm安装、设置、优化

一、版本选择建议安装5.0版本,因为好注册,这个你懂得。下载地址:https://confluence.jetbrains.com/display/PYH/Previous+PyCharm+Releases下载速度较慢,经常中断,所以建议使用迅雷等断点式下载工具。 二、配置2.1 Tab键设置成4个空格pycharm python编辑器默认开启Tab功能,但是windows下的Tab和linux下的Tab长度不同,在windows下的py文件上传到linux系统时会产生语法问
1年前 (2019-06-14)    Jiaozn    Python    458    0    全文阅读
【django】A server error occurred. Please contact the administrator.

【django】A server error occurred. Please contact the administrator.

关于django的站点管理,登录站点admin,如果出现标题这种问题,可能是以下原因: 1、本地化的时候,字母大小写没注意,正确的是LANGUAGE_CODE = 'zh-Hans'和TIME_ZONE = 'Asia/Shanghai',往上再分析是setting文件里的内容被改之后无法被解释器识别,所以以后碰见同类问题可以按照这个思路分析(然后如果再从新创建一个项目试试的话,如果还是报原来的错误,可能是之前那个项目没关)。 2、没有进行模型
1年前 (2019-06-14)    Jiaozn    Python    530    0    全文阅读
【笔记】初始化pycharm和mysql数据库及相关环境

【笔记】初始化pycharm和mysql数据库及相关环境

CSRF验证防止伪造数据添加数据库,关闭方式MIDDLEWARE = [     'django.middleware.security.SecurityMiddleware',     'django.contrib.sessions.middleware.SessionMiddleware',     'dj
1年前 (2019-06-14)    Jiaozn    Python    342    0    全文阅读
【初始化】Django项目初始化方法

【初始化】Django项目初始化方法

git clone https://github.com/feixuelove1009/CMDBcd CMDB/pip3 freeze > ./requirements.txtpip3 install -r requirements.txtpython3 manage.py makemigrationspython3 manage.py migratepython3 manage.py createsuperuserpython3 manage.py runserver 0.0.0.0:8
1年前 (2019-06-11)    Jiaozn    Python    103    0    全文阅读
【开发】验证码标准要求整理

【开发】验证码标准要求整理

验证码:作为用户,我可以通过手机号和短信验证码登录,以便于我更方便的登录。安全验收标准:短信验证码有效期 2 分钟。验证码为 6 位纯数字。每个手机号 60 秒内只能发送一次短信验证码,且这一规则的校验必须在服务器端执行。同一个手机号在同一时间内可以有多个有效的短信验证码。保存于服务器端的验证码,至多可被使用 3 次(无论和请求中的验证码是否匹配),随后立即作废,以防止暴力攻击。短信验证码不可直接记录到日志文件。发送短信验证码之前,先验证图形验证码是否正确(可选)。集成第三方 API 做登录保护
1年前 (2019-05-20)    Jiaozn    HTML    491    0    全文阅读
【投票】简单的投票页面,只有一个html页面

【投票】简单的投票页面,只有一个html页面

<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>动漫投票</title> </head> <!-- 这里使用了一张背景,注释掉了。 <body style="background-image:url(body.jpeg); backgro
1年前 (2019-04-30)    Jiaozn    HTML    459    0    全文阅读

分享:

支付宝

微信