Global Feed Post Login
Replying to Avatar CXPLAY

在思考如何存档 #酷安 上的文章. 目前通过携带 sharekey 参数可以做到网页预览, 但是这是在暴露分享者身份的前提下做到的. 此外酷安的 WAF 似乎还屏蔽了海外 IP, archive.ph 和 12ft 都无法直接代理查看.

或许可以用 SingleFileZ 转储网页后再上传到一个临时 Web 服务器, 把 Web 服务器路径里的 HTML 再喂给 archive.ph, 存档完成后就删除 Web 服务器里的文件. 也可以同时喂给 web.archive.org, 不过可能它们的爬虫后端不支持这种含有自解压资源的 HTML, archive.ph 爬虫用的是无头 Chromium, 也许能用.

Avatar
CXPLAY 1y ago

突然感觉如果只是为了让 archive.ph 绕过它的 WAF, 还不如起一个国内源的反代, sharekey 可以直接在服务端过滤后添加.

Reply to this note

Please Login to reply.

Discussion

No replies yet.