20分钟下载完mm131整站5000套16G全部图片
采集代码
如果有兴趣采集的话,可以看看这个,没兴趣往下看。
感觉这个站一直被采,网上太多采这个站的教程了。
采集程序代码:https://dev.tencent.com/u/iht/p/crawler
下载程序代码:https://dev.tencent.com/u/iht/p/download
把采集到的数据导入到下载程序的数据库的代码:https://dev.tencent.com/u/iht/p/album2download
把采集到的数据导入到typecho数据库3张表的代码:https://dev.tencent.com/u/iht/p/album2typecho
------------------四个项目的运行顺序应该是这样的-----------------------
当然是先运行采集程序了,没有数据怎么下载和导入
运行album2download,把需要下载的图片链接导入到下载表
运行下载程序,看你带宽吧,我本地150M是跑满了,32线程
运行导入typecho的程序,导入完成后记得到metas表中把分类的slug给设置上,这个需要手动这是,没在程序里写死
随便看看
如果你只想看图片:http://t.cn/AiCOCpss
如果想全站图片下载:
需要注意的是,下载回来的图片文件夹名字是随机8个字母的。
配置windows环境:https://coding.ee/105/ ,安装JDK并且配置环境变量。
打开win32.jar所在的文件夹,按下 Shift + 鼠标右键,在此处打开Powercell窗口
进去之后输入 java -jar win32.jar ,等几秒钟,不要关这个窗口,打开 d盘 看看 img/mm131文件夹下是不是已经开始下载了。
更简单的下载mm131全站图片
原文地址:https://www.hostloc.com/thread-556779-1-1.html
源码地址:https://github.com/eicky/mm131
优点:文件夹使用中文名字命名。
缺点:只开启了6个线程跑,时间略长一点
使用方法
安装python3还有pip3(具体的安装方法请找度娘)
下载源码到本地
cmd 切换到源码目录,执行python mm131.py

