Python自动化开发学习-爬虫2

Web服务的本质2 之前讲过这个，在这里：https://blog.51cto.com/steed/2071271不过当时没讲透，这次再展开一点点。Web服务的通信本质上就是通过socket发送字符串请求，然后也会返回响应。发送的请求有请求头和请求体。返回的响应也有响应头和响应体。 请求头：就是r...

进行人工智能机器人研发，应该选择哪种编程语言？

这个问题大多数新的机器人专家在他们的职业生涯中至少会思考一次。不幸的是，这也是一个没有直接答案的问题。如果你在 Stack Overflow、Quora、Trossen、Reddit 或 Research Gate 等机器人专家或者社区论坛上提问“机器人最好的编程语言是什么？” 你会得到不同的答案。...

python 开发之selenium

使用selenium和PhantomJS来模拟浏览器点击下一页，获取页面数据进行抓取分析用python写爬虫的时候，主要用的是selenium的Webdriver来获取页面数据使用webdriver需要安装对应浏览器的driver，并加入到环境变量中from selenium import webd...

什么是进程与线程

什么是线程（thread）和进程？#线程：是操作系统能够进行运算调度的最小单位，是一串指令的集合。#进程：（资源的集合）qq要以一个整体的形式暴露给操作系统管理，里面包含对各种资源的调用，内存的管理，网络接口等。。。对各种资源管理的集合，就可以称为进程#每一个程序的内存是独立的！#线程共享内存空间，...

线程锁，递归锁

##线程锁应用 import time,threading python中自己加锁了所以用不着！ def run(n): lock.acquire() #获取一把锁 global num num+=1 lock.release() #释放锁 lock=thread...

字符串常用总结

1、字符串大小写转换str = "wang"print(str.upper()) # 把所有字符中的小写字母转换成大写字母print(str.lower()) # 把所有字符中的大写字母转换成小写字母print(str.capitalize()...

python(三）2 User Agent

第一种 User-Agent方法：import urllib2if __name__ == '__main__' :        url = '想访问的网址'    head ={}  ...

网络爬虫中HTTP代理的重要性

本篇内容主要讲解“网络爬虫中HTTP代理的重要性”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“网络爬虫中HTTP代理的重要性”吧!现在大数据是个很火的行业，对于从事互联行业网的小伙伴来说，HTTP代理ip并不是一个陌生的存在，如果你恰好是做技术敲代码的专...

Linux网络管理--网络管理基本命令

Linux中主要使用三类网络管理命令: 1.ifconfig, route和netstat属于传统的功能单一类网络命令; 2.ip和ss属于综合类网络命令; 3.nmcli适用于RHEL7中的综合网络命令, 还可以通过配置文件来实现网络管理.本文主要讲解这三类网络管理命令和相关配置文件.注: 通过命...

通过队列完成进程间的通信

multiprocessing (q):     data = []     temp data:        ...