之前使用Python爬小说写的一个合并脚本,有需要的自取,如需要小说爬取脚本请留言评论。 

#!/usr/bin/env python
# encoding: utf-8

"""
Created on 2022年02月21日
@author: hfasdh
@site: https://blog.csdn.net/hfasdh
@email: 35***@qq.com
@description: 本程序用于多线程批量爬取小说完成后的文本文件合并,如有其他需求可自行拓展
"""

import os
import sys

# 获取目标文件夹的路径
fileDir = 'F:\\work\\python\\bookSpider\\book\\某念某恒'
# 获取当前文件夹中的文件名称列表
filenames = os.listdir(fileDir)

# 打开目标txt文件,如果没有则创建
f = open(fileDir + '.txt', 'a', encoding='utf-8')

# 先遍历文件名,建议下载的文件在文件名前加上序号,便于按照顺序合并
print('开始合并[' + fileDir + ']目录下文件...')

# 遍历单个文件
count = 0
total = len(filenames)
for filename in filenames:
    filepath = fileDir + os.sep + filename
    # 读取文件的行数增量写到目标文件去
    for line in open(filepath, 'r', encoding='utf-8'):
        f.writelines(line)
    count = count + 1
    sys.stdout.write("\r已下载: %.2f%%" % float((count / total) * 100))
    sys.stdout.flush()

# 关闭文件
f.close()

print('\n合并完成: ' + fileDir)

# 打开目标文件夹
os.startfile(os.path.dirname(fileDir))

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐