怎么抓取bbs上的轻小说呢

NineMeow

                               
登录/注册后可看大图

前几天拿python配bs库写了个用来提取bbs主题内轻小说内容的脚本

用来处理的html文件是我简单粗暴地拿pagetual把某论坛某卷小说主题全部页加载之后，直接ctrl+s保存出来的

结果处理的时候出现报错，说html文件里面有utf-8编码对应不上字符集……试了好几次抓网页都是这样，原因未知，这种情况是硬把不明确的unicode字符去掉再处理，还是另辟蹊径呢？

rdo2pr

好奇，把文件传上来让大伙试试.jpg

立花莉花

肯定是进行加密了，你要是能破解就慢慢破解吧

NineMeow

立花莉花 发表于 2023-6-23 21:38
肯定是进行加密了，你要是能破解就慢慢破解吧

拿正则匹配了一下发现对应不上的全都是中文字符，这是什么玄学

NineMeow

rdo2pr 发表于 2023-6-23 20:56
好奇，把文件传上来让大伙试试.jpg

https://t.wss.ink/f/bixx7znu3in

rdo2pr

NineMeow 发表于 2023-6-23 22:33
https://t.wss.ink/f/bixx7znu3in

一个想法，不一定对
读取的时候先加上 encoding？

1. with open(dir, 'r', encoding='utf-8') as file:

复制代码

NineMeow

rdo2pr 发表于 2023-6-23 23:10
一个想法，不一定对
读取的时候先加上 encoding？

加上之后能正常读取了，感谢！不过python编码效率真的低，而且只会调单核，我试试其他方案先把编码问题解决了

rdo2pr

NineMeow 发表于 2023-6-24 08:26
加上之后能正常读取了，感谢！不过python编码效率真的低，而且只会调单核，我试试其他方案先把编码问题解 ...

那个html文件太大了，解析直接给卡住了
一页页爬倒是轻松，两三分钟就处理完了

只会调单核可能加个线程池就行了？

NineMeow

rdo2pr 发表于 2023-6-24 09:44
那个html文件太大了，解析直接给卡住了
一页页爬倒是轻松，两三分钟就处理完了

我水平不行，还不会做并行，不过谢谢你的帮助！

eiauo

用阅读app，不要自己伤脑筋了。

satel41

字体加密了，除非你有网站字库，否则老老实实截图然后直接识图把。

ytdushu

satel41 发表于 2023-7-13 10:29
字体加密了，除非你有网站字库，否则老老实实截图然后直接识图把。

我试过下载网页字体导入本地，然后把复制过来的“乱码”加密文用word打开，转换成导入的字体，然后就正常显示了，但就结论来说还是没什么卵用，这不是我这种外行人可以涉入的领域

satel41

ytdushu 发表于 2023-7-13 12:22
我试过下载网页字体导入本地，然后把复制过来的“乱码”加密文用word打开，转换成导入的字体，然后就正常 ...

这种一般是先用加密字体把正常文章转成乱码，然后网站上贴的的其实是乱码，你复制下来的也是乱码，但通过网站内置字体加载后显示的就是正常的。像你说的，就算解密也没什么卵用。

南宮幽日

satel41 发表于 2023-7-14 09:49
这种一般是先用加密字体把正常文章转成乱码，然后网站上贴的的其实是乱码，你复制下来的也是乱码，但通过 ...

做個字元對應/字符映射

yqing1204

可以试试网上的破解版字体？加载出来好像挺适配的

a12345678

可以用一下selenium,直接抓实时网页