用python搜google,突破网页限制(forbidden)

AI权益加码!Claude Code、Cursor等20+工具免费用! 购周边限时加赠Coding Plan Lite,畅享主流AI工具!学习进阶更高效! 阅读详情

 昨天上网查了一下资料,终于可以用python下载google的搜索页了。 

如果直接用urllib.urlopen(url)会返回一个forbidden的,其实加一个add_header就可以了.
给出一个关键字
word 就会返回搜索结果了。 

 

import urllib

import urllib2

def search(word):

 url=r'http://www.google.cn/search?hl=zh-CN&newwindow=1&q='+word+"&start=10&sa=N"

 req=urllib2.Request(url)

 req.add_header("User-Agent",'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)')

 opener=urllib2.build_opener()

 text=opener.open(req).read()

 return text

Python 之谷歌瓦片地图影像批量下载 最近在写毕业论文,想用谷歌影像作为底图来展示研究区,然后Google了很多脚本,结果发现输出的影像都不带空间坐标系,所以就自己写了个小工具,只需要输入空间范围、地图缩放等级就可以实现Google地图的下载,并输出为TIFF格式,含WGS 84空间坐标系。 阅读详情

相关推荐

OpenClaw集成Google Model Armor:构建AI对话安全护栏的实战指南

在AI应用开发中,大语言模型的安全性与可靠性是核心挑战。其原理在于模型本身可能产生包含偏见、幻觉或泄露敏感信息的输出。为解决这一问题,业界提出了内容安全与合规框架,通过输入过滤、提示词加固和输出审核等技术手段,为AI对话构建“安全护栏”,这对于企业级应用部署至关重要。Google Model Armor正是此类安全理念的实践集合。本文以OpenClaw智能体平台为例,详细阐述了如何将安全框架分层集成,通过中间件实现输入预处理与输出后处理,并结合Vertex AI原生安全设置,系统性地防御提示词注入等攻击,最

weixin_34414650的博客 465

访问一些网站时,谷歌浏览器提示403 Forbidden

windows系统。谷歌浏览器可以正常访问baidu.com以及mail.163.com尝试关闭所有的防火墙,清楚所有cookie缓存。当访问https://kanbanflow.com/时,火狐浏览器可以正常访问,但谷歌浏览器依旧会提示403 Forbidden

weixin_42052249的博客 2112

Gemini 3.1 Pro网页版实操指南:解锁长上下文与多模态能力

大语言模型的网页化应用正成为AI落地的关键路径,其中长上下文处理与多模态理解是衡量‘真可用’AI的核心指标。Gemini 3.1 Pro作为当前头部多模态大模型,在1M tokens上下文支持、跨模态联合推理、结构化输出等维度实现显著突破,其能力已超越多数国产网页版AI。技术价值体现在无需本地部署即可完成PDF深度解析、音视频语义联动分析、工具调用编排等复杂任务;典型应用场景覆盖技术文档智能问答、工业设备故障诊断、会议纪要自动化生成等工程实践场景。本文聚焦gemini.google.com官方网页端,结合A

weixin_30411819的博客 327

Google犯傻了,给我 403 Forbidden,竟提示我中病毒了,我会中毒么?

我实验室有3个路由通过校园网出去,其中一个的用户使用google索的话,总是报403 forbidden,说该请求可能通过病毒或间谍软件发出的,要求输入验证码,而输入验证码继续的话,还是没有任何东西。如果该电脑上把网关改成其他路由,一切都是正常的。一,还有好多人都遇到了,还怪了,Google出错了。下面这张英文的是我抓的,中文的是faceker.com的(谢谢)。可是我没有使用Tor啊,第一次...

yzd 939

OpenWebRL:40亿参数网页智能体实战指南

网页智能体是指AI通过真实浏览器交互完成任务的系统,其核心原理在于多模态感知、动作规划与环境反馈闭环。技术价值体现在降低训练门槛、提升抗干扰性与长尾网站泛化能力,突破传统监督学习依赖静态截图和人工标注的局限。典型应用场景包括自动化比价、RPA流程增强、无障碍网页导航及教育类交互演示。OpenWebRL以4B小模型+真实环境试错训练+文字反馈驱动,实现了对验证码、反爬、页面改版等现实干扰的鲁棒响应,成为当前开源领域最具落地潜力的网页操作智能体方案。

weixin_33691700的博客 337

Antigravity + Gemini 免费层高效工作流实战指南

大模型智能体(Agent)是当前AI工程化落地的核心范式,其本质是将基础语言模型能力与可编排的工具链、上下文管理及权限控制机制深度集成。Antigravity 作为开源智能体平台,不替代 Gemini 等大模型,而是通过 MCP 协议、OAuth2.0 凭据继承、制品(Artifacts)系统和技能(Skills)框架,实现对 Gemini 免费 API 层(如 gemini-1.5-pro-latest)的合法、稳定、高配额利用率调用。技术价值在于绕过商业订阅限制,以工程化方式突破免费版的上下文长度、多模

weixin_34235457的博客 371

Chrome Gemini侧边栏激活全指南:系统语言、账户资格与API接入

Gemini 是 Google 推出的多模态大模型服务,其能力通过三种技术形态落地:浏览器内置侧边栏、Web 网站界面和 Generative Language API。理解这三层架构是解决‘无法使用’问题的关键——侧边栏依赖 Chrome v125+、系统语言设为 English (United States)Google One 或教育认证账户;Web 版功能最全但受地理围栏限制;API 则面向开发者提供稳定、可编程的底层能力。本文聚焦真实环境下的合规接入路径,涵盖系统级配置、账户健康度优化、AP

weixin_33885676的博客 360

Gemini 3.5 API接入全链路指南:Vertex AI认证、模型调用与生产避坑

生成式AI模型调用已从简单API请求演进为融合云平台权限、身份认证、配额管理与多模态工程的系统性实践。Gemini作为Google新一代多模态大模型,其企业级能力必须依托Vertex AI平台实现,而非消费级Web界面;核心交互依赖google-genai SDK与标准化API协议,涉及四层认证(GCP项目、API启用、ADC凭据、IAM角色)和严格模型资源路径规范。技术价值体现在1M上下文支持、代码执行与图像理解等高阶能力,但需警惕base64编码膨胀、安全护栏误拦截、流式连接稳定性等隐性瓶颈。典型应用场

chaoyv 565

Gemini 3.5 Flash速度革命:300ms认知阈值如何重塑AI工作流

大模型响应速度已从性能指标升维为认知基础设施——当首token延迟突破300ms临界点,人类注意力不再中断,思维流得以连续。这背后是计算图动态剪枝、KV缓存时空折叠与编译器级指令融合三大架构革新,而非简单算力堆叠。技术价值在于将AI从‘等待式工具’转化为‘思考延伸体’,支撑文档摘要、编程调试、多轮协商等高频办公场景的实时闭环。真实工作流验证显示,Flash在PPT文案优化、销售线索清洗、会议录音摘要等任务中,显著降低认知负荷并提升单任务完成率。本文聚焦Gemini 3.5 Flash这一典型代表,解析其如何

aigui1439的博客 324

Gemini不是挑战ChatGPT,而是重构工作流的AI操作系统

大模型正从单轮问答(Q&A)范式迈向多模态协同工作流——这一技术演进本质是AI从‘回答问题’转向‘消解问题’。其核心原理在于统一架构下的跨模态对齐、原生工具调用与动态知识图谱构建,技术价值体现在低延迟、高准确率与强场景自适应性。典型应用场景覆盖Gmail智能摘要、Docs实时重写、Sheets图表联动等企业级办公闭环。区别于通用对话模型,Gemini依托Google索基建与Workspace生态,实现身份、API、设备端深度集成,让AI能力自然嵌入用户每日第17个标签页。本文聚焦Gemini作为‘下一代工

weixin_33835103的博客 452

Python爬虫实战:批量抓取Web of Science论文数据

网络爬虫是数据采集的基础技术,通过模拟浏览器请求和解析HTML,实现自动化获取结构化数据。其核心原理包括请求构造、会话管理和响应解析。在学术研究领域,爬虫技术能高效解决文献数据的批量获取与清洗问题,尤其适用于文献计量和科研管理场景。Web of Science作为核心引文数据库,采用会话状态和结果集缓存机制,官方导出限制多。利用Python requests和BeautifulSoup,可以定制化抓取检索结果和详情页字段,结合限速、重试、断点续抓和多线程优化,实现稳定高效的数据采集。本文完整解析了从检索式构

weixin_29722783的博客 325

MCP服务器实战指南:12个生产级AI工具集成方案

Model Context Protocol(MCP)是当前大模型工程化落地的关键协议,它通过标准化工具调用接口,解决AI‘能理解但不能执行’的核心瓶颈。其原理在于将异构系统(如GitHub、PostgreSQL、Docker)的能力抽象为结构化、可验证、带安全边界的MCP工具,由支持MCP的Agent(如Claude)按需调度。技术价值体现在降低集成复杂度、统一认证与错误处理、强化执行安全与人工确认机制。典型应用场景覆盖代码自动化、数据库智能查询、容器实时编排、SaaS数据联动等真实生产环境。本文聚焦wc

362

Gemini Advanced真实成本模型:场景化计费与动态用量解析

AI助手订阅服务已从固定月费转向基于使用强度、功能模块和算力消耗的动态计费模式。其核心原理是将基础能力、扩展模块与弹性资源池分层解耦,技术价值体现在按需付费、避免闲置浪费,并支持企业级用量优化与成本归因。典型应用场景包括法律合同批量分析、多源竞品研究、API嵌入CRM等高价值工作流。Gemini Advanced正是这一范式的代表——它不卖工具,而交付可度量、可规划、可协同的智能工作流加速能力,尤其依赖Multi-Document Synthesis和Real-time Collaboration API两

dicha7140的博客 522

Gemini 3.1 Pro百万token实战指南:长上下文可用性与混合模态工程落地

大语言模型的长上下文能力已从理论指标走向真实可用,其核心在于突破传统token计算范式、实现跨模态信息对齐与KV Cache高效调度。Gemini 3.1 Pro以1048576 token输入窗口为标志,不仅支持超长文本,更原生兼容PDF、图像、音频等多模态输入,但实际可用性受制于隐性token消耗(如OCR编码、元数据解析、缓存占用)和模态间资源博弈。理解‘token三重税’与输出流控机制,是构建金融文档分析、智能体工作流等高价值场景的前提。本文聚焦工程化落地,详解如何规避常见认证失败、context_

weixin_30634661的博客 429

用LangChain为GPT添加浏览能力:构建可自主索阅读的AI智能体

AI智能体(Agent)是大语言模型从静态推理迈向动态感知的关键范式,其核心在于将LLM作为决策中枢,通过工具(Tools)调用实现对外部世界的实时交互。LangChain提供的Agent框架,以标准化方式抽象了‘思考-行动-观察’闭环,使开发者无需重写爬虫或管理反爬逻辑,即可赋予GPT浏览器般的索、网页抓取与内容解析能力。该技术显著缓解模型知识截止、事实性弱等固有缺陷,广泛应用于实时资讯聚合、竞品监控、动态知识库问答等工程场景。本文聚焦基于LangChain Tools构建具备真实浏览能力的GPT智能体

weixin_30883311的博客 398

Claude Opus 4.6 实战接入指南:企业级AI代理的合规渠道与工程化落地

Claude Opus 4.6 是 Anthropic 推出的旗舰级推理模型,具备百万级上下文、强工具调用与跨会话记忆能力,其核心价值在于支撑高可靠AI代理(AI Agent)和企业级知识工作流。它并非消费级‘Claude 4.6’,而是面向专业场景的严格受控服务,技术原理基于结构化系统提示、自适应token编排与HTTP/2流式响应机制。其技术价值体现在对长周期代码交付、动态知识图谱构建及合规敏感型推理任务的深度支持。典型应用场景包括金融系统重构、法律并购智能助理、制药企业FDA材料生成等。本文聚焦真实可

weixin_33691700的博客 457

SSRF漏洞攻防实战:从原理到防御的服务器端请求伪造全解析

服务器端请求伪造(SSRF)是一种常见且危害巨大的Web安全漏洞,其核心原理在于攻击者能够操控服务器向任意地址发起网络请求,从而突破内外网隔离的信任边界。从技术实现上看,SSRF通常源于应用程序在处理用户提供的URL时,未对目标地址进行有效校验,导致服务器被用作攻击内网系统的跳板。这种漏洞的技术价值在于它能够绕过客户端防火墙限制,直接访问内部敏感服务,如数据库、缓存系统及云平台元数据服务。在应用场景上,SSRF常出现在远程资源获取、网页抓取、Webhook测试等功能模块中,攻击者可利用gopher、dict

weixin_34335458的博客 387
下一篇: 要不要本科毕业证?大二学生
MAKAO008
博客等级 码龄20年 1粉丝 2原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值