字节对象没有属性find_all
我一直在尝试过去3个小时来刮擦此并获得每个团队的排名,名称,胜利和损失. 实施此代码时: import requests from bs4 import BeautifulSoup halo = requests.get("https://www.halowaypoint.com/en-us/esports/standings") page = BeautifulSoup(halo.content, "html.parser") final = page.encode('utf-8') print(final.find_all("div")) 我一直在得到这个错误 如果有人可以帮助我,那将不胜感激! 谢谢! 解决方案 您正在调用错误变量上的方法,请使用Beautifutsoup对象 page 不是 byte string final : print(page.find_all("div")) 要获得表数据非常简单,所有数据都在DIV内
6 2024-04-05
编程技术问答社区
请求返回字节,但我无法对其进行解码
本质上,我向网站提出了请求,并收回了一个字节响应:b'[{"geonameId:"703448"}..........'.我很困惑,因为尽管它是类型的字节,但它是非常人性化的,看起来像JSON的列表.我确实知道该响应是从返回ISO-859-1的运行r.encoding中编码的latin1中,我尝试将其解码,但它只是返回一个空字符串.这是我到目前为止所拥有的: r = response.content string = r.decode("ISO-8859-1") print (string) 这是打印空白行的地方. 但是,当我运行 时 len(string) 我得到:返回31023 如何在不返回空字符串的情况下解码这些字符? 解决方案 您是否尝试用json模块对其进行解析? import json parsed = json.loads(response.content) 其他解决方案 另一个解决方案是使用响应.文本,它返回Unicode中的内容
0 2024-04-05
编程技术问答社区
如何用 Python 请求模拟浏览器
我想进行Google搜索或在网站上输入一些数据,然后与Python进行相同的操作. 基本上是在我的浏览器上做一个操作,然后与python相同的请求数据再次进行. 我有使用https traffic recorder(浏览器扩展程序)的想法,但是它太痛苦了,无法复制所有标题等. 我可以使用硒,但这太慢了,也不容易操纵正在发送的数据. 解决方案 任何将涉及在网站上输入某些数据或单击某些按钮的任何内容,除非您是经验丰富的黑客,却具有操纵和分析您请求的HTTP响应的经验. 我建议坚持使用常用的工具,例如Selenium,其中涉及单击并输入文本等. 但是,如果您只想使用Python获得Google搜索结果,则可以添加用户代理标头来实现. import requests url='https://www.google.com/search?q=hello+world' headers = {"User-Agent": "Mozilla/5.0", "accep
0 2024-04-04
编程技术问答社区
Python请求没有给我和我的浏览器一样的HTML。
我正在使用Python请求抓住Wikia页面.不过,有一个问题:请求请求没有给我相同的html 与我的浏览器相同的页面. 进行比较,这是Firefox Me 和此处是页面请求fetches fetches (fetches fetches )要查看 - 对不起,没有简单的方法可以从另一个站点视觉上托管一些HTML). 您会注意到一些区别(超级不友好的diff ).有一些小的东西,例如属性beinig的订购方式不同,但是也有一些非常非常大的东西.最重要的是缺乏最后六个 s,以及整个导航和页脚部分.即使在原始的HTML中,看起来页面突然切断了. 为什么会发生这种情况,并且有办法解决它吗?我已经想到了很多事情,它们都没有富有成果: 请求标题干涉?不,我尝试复制浏览器发送的标题,User-Agent,以及全部1:1,但没有任何更改. 加载HTML后JavaScript加载内容?不.即使禁用JS,Firefox也为我提供了"好"页面. 嗯...好吧...还有什
0 2024-04-03
编程技术问答社区
有没有可能在selenium.webdriver和request.session之间 "转移 "一个会话?
从理论上讲,如果我将硒的webdriver对象中的所有cookie复制到requests.Session对象,请求可以继续继续进行,就好像不会中断会话吗? 特别是,我有兴趣编写自动化,在该自动化中我可以通过硒在网页上获得特定位置,然后将某个下载链接传递给requests,该链接将下载并验证特定的字节从文件中,有时是一个完整文件. (下载的文件的值将根据我在硒中的互动而更改) 解决方案 是的,它肯定会起作用.以下代码段也应该有所帮助 - headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36" } s = requests.session() s.headers.update(headers) for cookie in driver.get_c
0 2024-04-03
编程技术问答社区
在Python中用Mailgun发送多个文件附件
请在此处的邮件枪文档中考虑此示例: http://documentation.mailgun .com/api-sending.html#示例 def send_complex_message(): return requests.post( "https://api.mailgun.net/v2/samples.mailgun.org/messages", auth=("api", "key-3ax6xnjp29jd6fds4gc373sgvjxteol0"), files=MultiDict([("attachment", open("files/test.jpg")), ("attachment", open("files/test.txt"))]), data={"from": "Excited User ", "to": "foo@
0 2024-04-03
编程技术问答社区
通过请求模块发送JSON,并使用bottle.py和cherrypy捕捉它
我有一台服务器,需要能够接受JSON然后对其进行处理,然后将JSON发送回.我的服务器端的代码使用 bott.py和cherrypy .关注的路线如下: @route ('/tagTweets', method='POST') def tagTweets(): response.content_type = 'application/json' # here I need to be able to parse JSON send along in this request. 为了要求此页面并测试功能,我正在使用请求模块代码: 我必须发送的数据是推文列表.数据本身是从一些返回推文列表的服务器中获取的.对于获取推文,我使用requests.get,然后使用响应对象的JSON方法.这很好.现在,经过一些处理后,我必须发送此JSON,就像我获取到另一台服务器一样. url = "http://localhost:8080/tagTweets"
2 2024-04-03
编程技术问答社区
在telegram bot中使用url时超过了最大重试次数
我开始在Python写电报机器人.但是,当我一段时间后运行它时,它会返回错误: Exception in thread updater: Traceback (most recent call last): File "/usr/lib/python3/dist-packages/urllib3/connection.py", line 137, in _new_conn (self.host, self.port), self.timeout, **extra_kw) File "/usr/lib/python3/dist-packages/urllib3/util/connection.py", line 91, in create_connection raise err File "/usr/lib/python3/dist-packages/urllib3/util/connection.py", line 81, in create_conn
8 2024-04-03
编程技术问答社区
使用 sendDocument 方法向机器人发布文件
我试图使用python中的requests将HTML文档发送到机器人. url = 'https://api.telegram.org/bot******/sendDocument' response = requests.post( url = url, data = { 'chat_id' : chat_id, 'document': open('/home/user/page.html', 'rb'), } ) 我得到.我遵循此 link ,并且能够使用curl将html文档发布到bot,但不使用requests. P> 我在这里做错了什么. 解决方案 这是您使用Telegram Bot API 发送本地文档的方式 import
0 2024-04-03
编程技术问答社区
使用 python 请求与 discord 交互
我正在尝试使用请求和python自动单击"不和谐"按钮,但是发送请求时我有错误. Discord按钮 我尝试了: header = { 'authorization' : 'XXX' } data = { "type": 3, "guild_id": "XXX", "channel_id": "XXX", "message_id": message['id'], "application_id": "XXX", "data": { "component_type": 2, "custom_id": message['components'][0]['components'][1]['custom_id'] } } try: r = requests.po
0 2024-04-03
编程技术问答社区
如何避免僵尸检测并使用 python 浏览网站?
我的问题: 我想刮擦以下网站: https://wwww.coches.net/segunda-mano/. 但是,每当我用python selenium打开它时,我都会收到信息,他们将我视为机器人. 我该如何绕过此检测? 首先,我尝试使用硒的简单代码: from selenium import webdriver from bs4 import BeautifulSoup browser = webdriver.Chrome('C:/Python38/chromedriver.exe') URL = 'https://www.coches.net/segunda-mano/' browser.get(URL) 然后我尝试了请求,但我也不起作用. from selenium import webdriver from bs4 import BeautifulSoup from fake_useragent import UserAgent import req
0 2024-04-03
编程技术问答社区
有要求的 "点击 "按钮
我有这个小网站,我想填写带有请求库的表格.问题是,在填写表单数据并按下按钮时,我无法进入下一个站点(Enter不起作用). 重要的是,我无法通过某种单击的机器人来做到这一点.这需要做到这一点,以便我可以不用图形. info = {'name':'JohnJohn', 'message':'XXX', 'sign':"XXX", 'step':'1'} 前三个条目名称,消息,符号是文本区域,步骤是我认为按钮. r = requests.get(url) r = requests.post(url, data=info) print(r.text) 当我手动通过chrome发送请求时,表单数据看起来像这样: 名称:Johnjohn 消息:xxx 标志:xxx 步骤:1 按钮元素看起来像这样:
2 2024-04-03
编程技术问答社区
在Flask中使用嵌入式Bokeh服务器应用程序通过request.get()获取jsonified数据的503代码
我正在通过让烧瓶应用程序通过专用于jsonify通过查询字符串参数传递的请求的数据来揭示模型数据来参数化散景应用程序.我知道发送路由的数据是有效的,因为当我将其用作URL到AjaxDataSource时,我会得到预期的数据.但是,当我尝试使用requests.get api进行同等操作时,我会得到503响应代码,这使我认为我在这里违反了一些基本的东西,我无法完全掌握我的WebDEV经验有限的经验.我在做什么错或违反? 实际上,我需要比AjaxDataSource提供的柱状限制更多的数据检索灵活性.我希望依靠requests模块通过任意类实例,而不是通过序列化和进行序列化JSON. . 这是我已经证明了从import requests from flask import Flask, jsonify, render_template import pandas from tornado.ioloop import IOLoop from bokeh.application imp
4 2024-04-01
编程技术问答社区
Python:使用请求来读取图像(url),然后作为BLOB数据保存到MySQL中
假设我正在使用请求打开图像URL并读取数据,将作为blob数据另存至mysql,最有效的方法是什么? 我进行了一些搜索,看起来像pil.image&stringio方法,如本文档: http://docs.python-requests.org/en/latest/latest/user/quickstart/#binary-response-content 如此问题所述,还有其他一些方法:我如何从python中的URL读取图像数据? 但是,我似乎正在使用一种"简单"的方式来实现任务,我"认为"代码正常工作,因为从我的数据库中我可以打开保存的映像.所以我不应该为此担心...但是,我不确定是否存在潜在的问题(因为在任何地方没有建议,而不是我知道的)...有人可以帮助我查看以下内容代码,让我知道是否有问题. import requests import pymysql import pymysql.cursor connection = pymysql.connec
2 2024-04-01
编程技术问答社区
Python: 如何下载一个blob url视频?
我想从带有Python脚本的网站上下载视频,但是,该视频由Blob URL如下提供. 解决方案 Blob视频可以使用以下Python代码下载 您必须像给出的图像一样从页面检查中获取主段URL,经过代码中的URL import requests import m3u8 import subprocess master_url ='master_url_from_inspect_network' #past your page inspect request header r = requests.get(master_url) m3u8_master = m3u8.
0 2024-04-01
编程技术问答社区
Bitnami Django Stack和模块 "request":无法导入名称'certs'。
非常具体的东西.我正在亚马逊上运行Bitnami Django堆栈云VM.在两台不同的"常规"机器上,我可以通过运行sudo pip install requests来安装requests,但是看来Bitname使用它自己的特定结构,并且在以这种方式安装requests时出现问题.它也可能与发行有关#2028 /p> 我有以下追溯: Environment: Request Method: GET Request URL: http://54.94.226.137/ Django Version: 1.7.7 Python Version: 2.7.6 Installed Applications: ('django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.messages', '
2 2024-03-31
编程技术问答社区
比特币json rpc与python requests模块?
我已经尝试了几个小时,我只是不知道自己在做什么.它仅用于计划/研究(不是表演者) - 播放GitHub的一些代码 - 但我需要看到它功能正常. RPC_USER = username RPC_PASS = pasword rpc_id = ID HERE jsonrpc = "2.0" payload = {"jsonrpc": jsonrpc, "id": rpc_id, "method": method, "params": params} authstr = base64.encodestring(bytes('%s:%s' % (RPC_USER, RPC_PASS), 'utf-8')).strip() request_headers = {"Authorization": "Basic %s" % authstr, 'content-type': 'application/json'} try: response = requests.get(RPC_URL
6 2024-03-31
编程技术问答社区
无授权的重定向
根据 docs ,应该很简单, data = self.http_pool.urlopen('GET', file_url, preload_content=False, retries=max_download_retries) request.add_unredirected_header(key, header) Add a header that will not be added to a redirected request. ,但我似乎找不到有关如何实现这一目标的任何例子. 我正在使用pyupdater从Bitbucket下载更新,并启动最新版本的EXE.我正在使用此库来创建一个连接到Bitbucket Fine的脚本,但随后它以nauthorization: Basic \r\n\r\n>(这是Bitbucke
2 2024-03-31
编程技术问答社区
Python Requests与PyCurl的性能对比
请求库与Pycurl性能的明智相比如何? 我的理解是,请求是Urllib的Python包装纸,而Pycurl是本地人的Libcurl的Python包装器,因此Pycurl应该获得更好的性能,但不确定多少. . 我找不到任何比较基准. 解决方案 我给您写了一个完整的基准测试 由Gunicorn/Meinheld + Nginx(用于性能和HTTPS)支持的应用程序,并查看完成10,000个请求需要多长时间.测试在一对卸载的C4.large实例上进行AWS进行,并且服务器实例不受CPU限制. tl; dr摘要:如果您进行了大量的网络,请使用pycurl,否则请使用请求. pycurl完成小请求2x-3X的速度与请求一样快,直到您以大的请求达到带宽限制(此处约为520 mbit或65 Mb/s),并且使用CPU功率减少3倍至10倍.这些数字比较了连接汇总行为相同的情况.默认情况下,pycurl使用连接池和DNS缓存,在不需要的情况下,幼稚的实现将为10倍.
0 2024-03-30
编程技术问答社区
使用 Python 浏览动态网页
我试图刮擦动态生成的网页 import requests from bs4 import BeautifulSoup` r = requests.get("https://www.governmentjobs.com/careers/capecoral?page=1") soup = BeautifulSoup(r.content) n_jobs = soup.select("#number-found-items")[0].text.strip() print(n_jobs) 它总是返回找到0个作业 解决方案 由于URL是动态的,因此您可以使用BS4使用Selenium来获取所需的数据.这是一个示例.请,只需运行代码即可. import time from bs4 import BeautifulSoup from selenium import webdriver from webdriver_manager.chrome import ChromeDriverM
0 2024-03-30
编程技术问答社区