问个PHP获取网页源代码的问题

Telegramr · 发表于 2024-4-13 17:33:37

icon 发表于 2024-4-13 17:38
前两个连接，我的浏览器是直接404。应该是检查了referer。

我也加过referer，但同样没有效果，它的referer在本地用浏览器看是 2024.ip138.com这种页面会有各种限制的，多访问几下。直接浏览器都不让访问。直接找api接口。

似毛非毛 · 发表于 2024-4-13 17:31:00

似毛非毛发表于 2024-4-13 17:56
这种页面会有各种限制的，多访问几下。直接浏览器都不让访问。直接找api接口。 ...

我试过很多次了，但是要么是空白，要么是302

Telegramr · 发表于 2024-4-13 17:34:47

我本地小鸡和国外小鸡试了，不加ua.302。加了ua返回一个特定的404页面

Telegramr · 发表于 2024-4-13 17:31:00

似毛非毛发表于 2024-4-13 17:56
这种页面会有各种限制的，多访问几下。直接浏览器都不让访问。直接找api接口。 ...

这命令在cmd下执行，404，我在debian下运行却没有事

curl --user-agent "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36" https://www.ip138.com/iplookup.php?ip=110.242.68.66&action=2

larry · 发表于 2024-4-13 17:38:21

用浏览器来打开，也是404了

poe · 发表于 2024-4-13 17:44:06

这种工具类，要么买接口，要么下免费库自己解析。
不要想着一个curl就白piao，谁也不傻，早都做限制了

菜鸡鲲 · 发表于 2024-4-13 18:19:39

Telegramr 发表于 2024-4-13 18:23
用浏览器来打开，也是404了

额，好像是他们网站挂了吧，我这也是404

尚书 · 发表于 2024-4-13 18:09:35

pc访问页面也是404，

姊姊 · 发表于 2024-4-13 17:56:00

301和302的状态码是临时重定向，会用到CURLOPT_FOLLOWLOCATION选项

伪装UA和Referer，使用cookie如果依然404，网站可能使用了防爬虫机制，需要 IP代理池。话说为个ip有必要吗

菜鸡鲲 · 发表于 2024-4-13 18:17:15

第三个 www.ipshudi.com 我用php实现过是可以获取的但是有时候会出现跳转的问题正常访问有时候也会这样
应该是做了限制

		自动登录	找回密码
密码			立即注册