selenium爬虫源码（python爬虫爬网页的源码）
本文目录一览：
- 1、用python写爬虫程序怎么调用工具包selenium
- 2、python爬虫 求指点 查看源代码有个# 后面内容爬取不到
- 3、python爬虫怎么获取动态的网页源码
- 4、如何使用Selenium和PhantomJS解析带JS的网页
- 5、刚学爬虫，这为什么得到的不是源代码？
用python写爬虫程序怎么调用工具包selenium
一、什么是Selenium
selenium 是一套完整selenium爬虫源码的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit，完全由JavaScript编写，因此可以用于任何支持JavaScript的浏览器上。
selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。
二、selenium基本使用
用python写爬虫的时候，主要用的是selenium的Webdriver，selenium爬虫源码我们可以通过下面的方式先看看Selenium.Webdriver支持哪些浏览器
执行结果如下，从结果中我们也可以看出基本山支持了常见的所有浏览器selenium爬虫源码：
这里要说一下比较重要的PhantomJS,PhantomJS是一个而基于WebKit的服务端JavaScript API,支持Web而不需要浏览器支持，其快速、原生支持各种Web标准selenium爬虫源码：Dom处理，CSS选择器，JSON等等。PhantomJS可以用用于页面自动化、网络监测、网页截屏，以及无界面测试
声明浏览器对象
上面我们知道了selenium支持很多的浏览器，但是如果想要声明并调用浏览器则需要：
from selenium import webdriver
browser = webdriver.Chrome()
browser = webdriver.Firefox()
这里只写了两个例子，当然了其selenium爬虫源码他的支持的浏览器都可以通过这种方式调用
访问页面
from selenium import webdriver
browser = webdriver.Chrome()
browser.get("httidu.com")print(browser.page_source)
browser.close()
上述代码运行后，会自动打开Chrome浏览器，并登陆百度打印百度首页的源代码，然后关闭浏览器
查找元素
单个元素查找
from selenium import webdriver
browser = webdriver.Chrome()
browser.get("bao.com")
input_first = browser.find_element_by_id("q")
input_second = browser.find_element_by_css_selector("#q")
input_third = browser.find_element_by_xpath('//*[@id="q"]')print(input_first)print(input_second)print(input_third)
browser.close()
这里我们通过三种不同的方式去获取响应的元素，第一种是通过id的方式，第二个中是CSS选择器，第三种是xpath选择器，结果都是相同的。
结果如下：
这里列举一下常用的查找元素方法：
find_element_by_name
find_element_by_id
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
下面这种方式是比较通用的一种方式：这里需要记住By模块所以需要导入
from selenium.webdriver.common.by import By
from selenium import webdriverfrom selenium.webdriver.common.by import By
browser = webdriver.Chrome()
browser.get("obao.com")
input_first = browser.find_element(By.ID,"q")print(input_first)
browser.close()
当然这种方法和上述的方式是通用的，browser.find_element(By.ID,"q")这里By.ID中的ID可以替换为其他几个
多个元素查找
其实多个元素和单个元素的区别，举个例子：find_elements,单个元素是find_element,其他使用上没什么区别，通过其中的一个例子演示：
from selenium import webdriver
browser = webdriver.Chrome()
browser.get("obao.com")
lis = browser.find_elements_by_css_selector('.service-bd li')print(lis)
browser.close()
这样获得就是一个列表
当然上面的方式也是可以通过导入from selenium.webdriver.common.by import By 这种方式实现
lis = browser.find_elements(By.CSS_SELECTOR,'.service-bd li')
同样的在单个元素中查找的方法在多个元素查找中同样存在：
find_elements_by_name
find_elements_by_id
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
元素交互操作
对于获取的元素调用交互方法
from selenium import webdriverimport time
browser = webdriver.Chrome()
browser.get("bao.com")
input_str = browser.find_element_by_id('q')
input_str.send_keys("ipad")
time.sleep(1)
input_str.clear()
input_str.send_keys("MakBook pro")
button = browser.find_element_by_class_name('btn-search')
button.click()
运行的结果可以看出程序会自动打开Chrome浏览器并打开淘宝输入ipad,然后删除，重新输入MakBook pro，并点击搜索
交互动作
将动作附加到动作链中串行执行
from selenium import webdriverfrom selenium.webdriver import ActionChains
browser = webdriver.Chrome()
url = "ry/try.php?filename=jqueryui-api-droppable"browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source, target)
actions.perform()
执行JavaScript
这是一个非常有用的方法，这里就可以直接调用js方法来实现一些操作，
下面的例子是通过登录知乎然后通过js翻到页面底部，并弹框提示
from selenium import webdriver
browser = webdriver.Chrome()
browser.get("u.com/explore")
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')
获取元素属性
get_attribute('class')
from selenium import webdriver
browser = webdriver.Chrome()
url = 'hihu.com/explore'browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')print(logo)print(logo.get_attribute('class'))
获取文本值
text
from selenium import webdriver
browser = webdriver.Chrome()
url = 'com/explore'browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')print(input.text)
获取ID，位置，标签名
id
location
tag_name
size
from selenium import webdriver
browser = webdriver.Chrome()
url = 'com/explore'browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')print(input.id)print(input.location)print(input.tag_name)print(input.size)
Frame
在很多网页中都是有Frame标签，所以我们爬取数据的时候就涉及到切入到frame中以及切出来的问题，通过下面的例子演示
这里常用的是switch_to.from()和switch_to.parent_frame()
import timefrom selenium import webdriverfrom selenium.common.exceptions import NoSuchElementException
browser = webdriver.Chrome()
url = 'oob.com/try/try.php?filename=jqueryui-api-droppable'browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')print(source)try:
logo = browser.find_element_by_class_name('logo')except NoSuchElementException: print('NO LOGO')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')print(logo)print(logo.text)
等待
当使用了隐式等待执行测试的时候，如果 WebDriver没有在 DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常, 换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是0
隐式等待
到了一定的时间发现元素还没有加载，则继续等待我们指定的时间，如果超过了我们指定的时间还没有加载就会抛出异常，如果没有需要等待的时候就已经加载完毕就会立即执行
from selenium import webdriver
browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')print(input)
显示等待
指定一个等待条件，并且指定一个最长等待时间，会在这个时间内进行判断是否满足等待条件，如果成立就会立即返回，如果不成立，就会一直等待，直到等待你指定的最长等待时间，如果还是不满足，就会抛出异常，如果满足了就会正常返回
from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome()
browser.get('.taobao.com/')
wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))print(input, button)
上述的例子中的条件：EC.presence_of_element_located（）是确认元素是否已经出现了
EC.element_to_be_clickable（）是确认元素是否是可点击的
常用的判断条件：
title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 元素加载出，传入定位元组，如(By.ID, 'p')
visibility_of_element_located 元素可见，传入定位元组
visibility_of 可见，传入元素对象
presence_of_all_elements_located 所有元素加载出
text_to_be_present_in_element 某个元素文本包含某文字
text_to_be_present_in_element_value 某个元素值包含某文字
frame_to_be_available_and_switch_to_it frame加载并切换
invisibility_of_element_located 元素不可见
element_to_be_clickable 元素可点击
staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
element_to_be_selected 元素可选择，传元素对象
element_located_to_be_selected 元素可选择，传入定位元组
element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
alert_is_present 是否出现Alert
浏览器的前进和后退
back()
forward()
import timefrom selenium import webdriver
browser = webdriver.Chrome()
browser.get('ww.baidu.com/')
browser.get('aobao.com/')
browser.get('ww.python.org/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()
cookie操作
get_cookies()
delete_all_cookes()
add_cookie()
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('om/explore')print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': '', 'value': 'zhaofan'})print(browser.get_cookies())
browser.delete_all_cookies()print(browser.get_cookies())
选项卡管理
通过执行js命令实现新开选项卡window.open()
不同的选项卡是存在列表里browser.window_handles
通过browser.window_handles[0]就可以操作第一个选项卡
import timefrom selenium import webdriver
browser = webdriver.Chrome()
browser.get('baidu.com')
browser.execute_script('window.open()')print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('bao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('hon.org')
异常处理
这里只进行简单的演示，查找一个不存在的元素
from selenium import webdriverfrom selenium.common.exceptions import TimeoutException, NoSuchElementException
browser = webdriver.Chrome()try:
browser.get('du.com')except TimeoutException: print('Time Out')try:
browser.find_element_by_id('hello')except NoSuchElementException: print('No Element')finally:
browser.close()
所有的努力都值得期许，每一份梦想都应该灌溉！
python爬虫 求指点 查看源代码有个# 后面内容爬取不到
不知道你是用框架还是用 Selenium 爬的内容， iframe 里的内容实际上就是另一个网页了。
你只是爬它的源码是爬不到的， 你要提取 iframe 里的 src 所指向的网址， 重新打开它， 然后才爬他的源码。 或者如果你用框架， 里面应该有另外提供方法， 读取 iframe 中的内容
python爬虫怎么获取动态的网页源码
一个月前实习导师布置任务说通过网络爬虫获取深圳市气象局发布的降雨数据，网页如下：
心想，爬虫不太难的，当年跟zjb爬煎蛋网无（mei）聊（zi）图的时候，多么清高。由于接受任务后的一个月考试加作业一大堆，导师也不催，自己也不急。
但是，导师等我一个月都得让我来写意味着这东西得有多难吧。。。今天打开一看的确是这样。网站是基于Ajax写的，数据动态获取，所以无法通过下载源代码然后解析获得。
从某不良少年写的抓取淘宝mm的例子中收到启发，对于这样的情况，一般可以同构自己搭建浏览器实现。phantomJs，CasperJS都是不错的选择。
导师的要求是获取过去一年内深圳每个区每个站点每小时的降雨量，执行该操作需要通过如上图中的历史查询实现，即通过一个时间来查询，而这个时间存放在一个hidden类型的input标签里，当然可以通过js语句将其改为text类型，然后执行send_keys之类的操作。然而，我失败了。时间可以修改设置，可是结果如下图。
为此，仅抓取实时数据。选取python的selenium，模拟搭建浏览器，模拟人为的点击等操作实现数据生成和获取。selenium的一大优点就是能获取网页渲染后的源代码，即执行操作后的源代码。普通的通过 url解析网页的方式只能获取给定的数据，不能实现与用户之间的交互。selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好用的就是find_element_by_xpath("xxx")，通过该方式查找到元素后可执行点击、输入等事件，进而向服务器发出请求，获取所需的数据。
[python] view plain copy
# coding=utf-8
from testString import *
from selenium import webdriver
import string
import os
from selenium.webdriver.common.keys import Keys
import time
import sys
default_encoding = 'utf-8'
if sys.getdefaultencoding() != default_encoding:
reload(sys)
sys.setdefaultencoding(default_encoding)
district_navs = ['nav2','nav1','nav3','nav4','nav5','nav6','nav7','nav8','nav9','nav10']
district_names = ['福田区','罗湖区','南山区','盐田区','宝安区','龙岗区','光明新区','坪山新区','龙华新区','大鹏新区']
flag = 1
while (flag 0):
driver = webdriver.Chrome()
driver.get("hianCe/")
# 选择降雨量
driver.find_element_by_xpath("//span[@id='fenqu_H24R']").click()
filename = time.strftime("%Y%m%d%H%M", time.localtime(time.time())) + '.txt'
#创建文件
output_file = open(filename, 'w')
# 选择行政区
for i in range(len(district_navs)):
driver.find_element_by_xpath("//div[@id='" + district_navs[i] + "']").click()
# print driver.page_source
timeElem = driver.find_element_by_id("time_shikuang")
#输出时间和站点名
output_file.write(timeElem.text + ',')
output_file.write(district_names[i] + ',')
elems = driver.find_elements_by_xpath("//span[@onmouseover='javscript:changeTextOver(this)']")
#输出每个站点的数据，格式为：站点名，一小时降雨量，当日累积降雨量
for elem in elems:
output_file.write(AMonitorRecord(elem.get_attribute("title")) + ',')
output_file.write('\n')
output_file.close()
driver.close()
time.sleep(3600)
文件中引用的文件testString只是修改输出格式，提取有效数据。
[python] view plain copy
#Encoding=utf-8
def OnlyCharNum(s, oth=''):
s2 = s.lower()
fomart = 'abcdefghijklmnopqrstuvwxyz0123456789,.'
for c in s2:
if not c in fomart:
s = s.replace(c, '')
return s
def AMonitorRecord(str):
str = str.split(":")
return str[0] + "," + OnlyCharNum(str[1])
一小时抓取一次数据，结果如下：
如何使用Selenium和PhantomJS解析带JS的网页
一个全自动的渗透测试工具，无异于一个上好的爬虫＋一个上好的判断规则。但是很多时候，我们需要监听浏览器的Network请求，获取一个页面多所有子请求，然后分析每个url。这是一般的源码分析爬虫无法获取的，很多ajax请求并不能很好的通过正则来获取出来。这个时候就需要一个基于webkit的爬虫了，起码是带js引擎的。刚开始入眼的是基于QtWebkit的Ghost.py，无奈这个环境配置的蛋疼不说，到最后总是在读取复杂页面时候报错。后来找到了selenium，自动测试利器啊，首先自然是selenium+chrome，但是每打
刚学爬虫，这为什么得到的不是源代码？
需要对请求进行伪装一下，你对网址请求之后页面跳转到验证界面了，因此无法得到想要的内容。
对请求添加cookie,session伪装后可能就不需要进行验证了，你也可以手动进行验证，如果会用selenium的话，可以无视一切ajax/javascript等动态加载。如果本回答能帮到你，望采纳
