能不能增加批量解析json文件和下载视频优先选择高分辨率的功能？

[songhongrui]

您好，我爬取了所需的1000多个json文件，但在解析json和下载文件时碰到了问题，所以查阅了您的代码，但是您的代码是VB写的，完全看不懂，所以只能寄希望于您修改代码了。
我的需求是，能够批量读取json文件，将课程资源都批量下载下来。然后将视频也同时下载，优先选择高清晰度的，如“1920x1080”的。

如果您觉得麻烦，或许能告知如何使用x-nd-auth构建请求头？需要怎么解码？我卡在这一步了（我只会python）。

[cjhdevact]

批量解析json很麻烦，因为不同资源json架构不一样，而且很难判断是什么类型的json
下载视频本工具暂时不考虑，不过可以解析出m3u8文件链接，然后手动去下载

[songhongrui]

是的，json结构很复杂，但我使用py实现了批量解析不同类型的json、文件下载，实际运行中能处理99.99%的json（代码报错的json通常是课程资源自身有问题，未上传完成、资源更新导致pdf、mp4不存在等），以下解析json的代码供您参考：

`
import json
import os
import sys

常量定义

VALID_VIDEO_TITLES = {'视频课程', '微课视频', '实验视频'}
VALID_DOC_TITLES = {'课件', '教学设计', '教案设计', '学习任务单', '作业练习', '课后练习'}
VALID_CLASSROOM_TYPES = {'课堂实录', '素材'}

提取机构名称

def extract_provider_name(data):
return data.get('provider_list', [{}])[0].get('name', '') if data.get('provider_list') else ''

提取标签信息

def extract_tags(data):
order = ['zxxxd', 'zxxbb', 'zxxxk', 'zxxcc']
tags = {t['tag_dimension_id']: t['tag_name'] for t in data.get('tag_list', [])}
return '-'.join([tags.get(k, '') for k in order if k in tags])

提取教师名称

def extract_teacher_name(data):
return data.get('teacher_list', [{}])[0].get('name', '') if data.get('teacher_list') else ''

验证PDF链接的格式

def validate_pdf_urls(urls, filename):
if not all(u.lower().endswith('.pdf') for u in urls):
print(f"PDF链接错误于文件: {filename}")
return False
return True

校验输出文件中是否存在 m3u8 或 pdf 的 URL

def validate_output_file(output, filename):
field5 = output.get('字段5', [])
if not field5:
print(f"未找到有效的 m3u8 或 pdf URL 于文件: {filename}")
return False

# 检查是否为 m3u8 或 pdf 链接
is_valid = any(
    url.lower().endswith('.m3u8') or url.lower().endswith('.pdf')
    for url in field5
)
if not is_valid:
    print(f"未找到有效的 m3u8 或 pdf URL 于文件: {filename}")
    return False
return True

处理活动类型资源

def process_activity_resource(resource, filename):
result = {}
title = resource.get('title', '')

if title in VALID_VIDEO_TITLES:
    result['字段3'] = title
    result['字段4'] = resource.get('custom_properties', {}).get('original_title', '')
    ti_items = next((i for i in resource.get('un_ti_items', []) if i.get('ti_file_flag') in ['href', 'href-m3u8']), None)
    if not ti_items:
        print(f"未找到视频资源于文件: {filename}")
        return None
    result['字段5'] = ti_items.get('ti_storages', [])

elif title in VALID_DOC_TITLES:
    result['字段3'] = title
    result['字段4'] = resource.get('custom_properties', {}).get('original_title', '')
    ti_items = next((i for i in resource.get('ti_items', []) if i.get('ti_format', '').lower() == 'pdf' and i.get('ti_file_flag', '').lower() == 'pdf'), None)
    if not ti_items:
        print(f"未找到PDF资源于文件: {filename}")
        return None
    result['字段5'] = ti_items.get('ti_storages', [])
    if not validate_pdf_urls(result['字段5'], filename):
        return None

return result

处理教案类型资源

def process_lesson_resource(resource, filename, root_title=None):
result = {}
res_type = resource.get('resource_type_code_name', '')

if res_type in VALID_CLASSROOM_TYPES:
    result['字段3'] = res_type
    result['字段4'] = root_title if res_type == 'teaching_assets' else resource.get('title', '')
    ti_items = next((i for i in resource.get('un_ti_items', []) if i.get('ti_file_flag') in ['href', 'href-m3u8']), None)
    if not ti_items:
        print(f"未找到视频资源于文件: {filename}")
        return None
    result['字段5'] = ti_items.get('ti_storages', [])

elif res_type == '课件':
    result['字段3'] = res_type
    result['字段4'] = root_title if res_type == 'teaching_assets' else resource.get('title', '')
    ti_items = next((i for i in resource.get('ti_items', []) if i.get('ti_format', '').lower() == 'pdf' and i.get('ti_file_flag', '').lower() == 'pdf'), None)
    if not ti_items:
        print(f"未找到PDF资源于文件: {filename}")
        return None
    result['字段5'] = ti_items.get('ti_storages', [])
    if not validate_pdf_urls(result['字段5'], filename):
        return None

elif res_type == '教学设计':
    result['字段3'] = res_type
    result['字段4'] = root_title if res_type == 'teaching_assets' else resource.get('title', '')
    ti_items = next((i for i in resource.get('ti_items', []) if i.get('ti_format', '').lower() == 'pdf' and i.get('ti_file_flag', '').lower() == 'pdf'), None)
    if not ti_items:
        print(f"未找到PDF资源于文件: {filename}")
        return None
    result['字段5'] = ti_items.get('ti_storages', [])
    if not validate_pdf_urls(result['字段5'], filename):
        return None

return result

处理单个文件

def process_file(filepath):
with open(filepath, 'r', encoding='utf-8') as f:
data = json.load(f)

base_output = {
    '字段1': extract_provider_name(data),
    '字段2': extract_tags(data),
    '字段6': extract_teacher_name(data)
}

outputs = []
filename = os.path.basename(filepath)

# 处理活动类型资源
if 'national_course_resource' in data.get('relations', {}):
    resources = data['relations']['national_course_resource']
    for resource in resources:
        res = process_activity_resource(resource, filename)
        if res is not None:
            outputs.append({**base_output, **res})

# 处理课程类型资源
elif 'course_resource' in data.get('relations', {}):
    resources = data['relations']['course_resource']
    for resource in resources:
        res = process_activity_resource(resource, filename)
        if res is not None:
            outputs.append({**base_output, **res})

# 处理教案类型资源
else:
    resources = []
    for res_type in ['lesson_plan_design', 'classroom_record', 'teaching_assets']:
        if res_type in data.get('relations', {}):
            resources.extend(data['relations'][res_type])
    root_title = data.get('title', '')  # 获取根目录的title
    for resource in resources:
        res = process_lesson_resource(resource, filename, root_title)
        if res is not None:
            outputs.append({**base_output, **res})

# 校验每个输出文件是否存在 m3u8 或 pdf 的 URL
valid_outputs = []
for output in outputs:
    if validate_output_file(output, filename):
        valid_outputs.append(output)

return valid_outputs

主函数

def main():
input_dir = '1.课程json'
output_dir = '1.课程json提取为单个文件地址'

if not os.path.exists(output_dir):
    os.makedirs(output_dir)

# 测试阶段：检查所有文件是否符合提取规则
test_results = {}
for filename in os.listdir(input_dir):
    if not filename.endswith('.json'):
        continue
    
    filepath = os.path.join(input_dir, filename)
    try:
        results = process_file(filepath)
        test_results[filename] = bool(results)
    except Exception as e:
        print(f"处理文件 {filename} 时出错: {str(e)}")
        test_results[filename] = False

# 输出测试结果
print("\n测试结果：")
for filename, passed in test_results.items():
    print(f"{filename}: {'通过' if passed else '未通过'}")

# 检查是否有文件未通过测试
if not all(test_results.values()):
    print("\n部分文件未通过测试，但仍可生成新文件。")

# 提示用户是否生成新文件
user_input = input("\n是否生成新文件？(y/n): ")
if user_input.lower() != 'y':
    print("用户取消生成新文件。")
    sys.exit(0)

# 生成新文件
for filename in os.listdir(input_dir):
    if not filename.endswith('.json'):
        continue
    
    filepath = os.path.join(input_dir, filename)
    try:
        results = process_file(filepath)
        if not results:
            continue
        
        base_name = os.path.splitext(filename)[0]
        for idx, res in enumerate(results, 1):
            output_filename = f"{base_name}-提取{idx}.json"
            output_path = os.path.join(output_dir, output_filename)
            
            with open(output_path, 'w', encoding='utf-8') as f:
                json.dump(res, f, ensure_ascii=False, indent=2)
    except Exception as e:
        print(f"生成文件 {filename} 时出错: {str(e)}")

if name == 'main':
main()`