chaitiao_and_ASR/4.结构化json-Ai标注/batch_deduplication_report_...

=== 批量多级别去重详细报告 ===

处理日期: 2025-08-11 17:04:28
总共处理: 50 个ID
成功处理: 50 个ID

总体统计:
- 平均压缩比: 24.59%
- 总原始字符数: 108,025
- 总最终字符数: 57,951
- 总减少字符数: 50,038


--- ID 1104 详细报告 ---
原始文本长度: 791 字符
最终文本长度: 791 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1105 详细报告 ---
原始文本长度: 791 字符
最终文本长度: 791 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1106 详细报告 ---
原始文本长度: 7591 字符
最终文本长度: 801 字符
总体压缩比: 89.45%
各级别处理效果:
1. 段落级去重: 减少 6791 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 161 项内容

--- ID 1107 详细报告 ---
原始文本长度: 19 字符
最终文本长度: 19 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1108 详细报告 ---
原始文本长度: 3738 字符
最终文本长度: 1248 字符
总体压缩比: 66.61%
各级别处理效果:
1. 段落级去重: 减少 2491 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 60 项内容

--- ID 1109 详细报告 ---
原始文本长度: 4841 字符
最终文本长度: 4841 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1110 详细报告 ---
原始文本长度: 177 字符
最终文本长度: 104 字符
总体压缩比: 41.24%
各级别处理效果:
1. 段落级去重: 减少 74 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 1 项内容

--- ID 1111 详细报告 ---
原始文本长度: 212 字符
最终文本长度: 212 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1112 详细报告 ---
原始文本长度: 190 字符
最终文本长度: 116 字符
总体压缩比: 38.95%
各级别处理效果:
1. 段落级去重: 减少 75 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 1 项内容

--- ID 1113 详细报告 ---
原始文本长度: 1282 字符
最终文本长度: 1282 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1114 详细报告 ---
原始文本长度: 5262 字符
最终文本长度: 5262 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1115 详细报告 ---
原始文本长度: 5328 字符
最终文本长度: 2005 字符
总体压缩比: 62.37%
各级别处理效果:
1. 段落级去重: 减少 2707 字符
2. 句子级去重: 减少 616 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 33 项内容
SENTENCES级别移除了 7 项内容

--- ID 1116 详细报告 ---
原始文本长度: 5127 字符
最终文本长度: 5117 字符
总体压缩比: 0.20%
各级别处理效果:
1. 段落级去重: 减少 11 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 1 项内容

--- ID 1117 详细报告 ---
原始文本长度: 400 字符
最终文本长度: 400 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1118 详细报告 ---
原始文本长度: 1296 字符
最终文本长度: 817 字符
总体压缩比: 36.96%
各级别处理效果:
1. 段落级去重: 减少 480 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 11 项内容

--- ID 1119 详细报告 ---
原始文本长度: 445 字符
最终文本长度: 284 字符
总体压缩比: 36.18%
各级别处理效果:
1. 段落级去重: 减少 162 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 2 项内容

--- ID 1120 详细报告 ---
原始文本长度: 795 字符
最终文本长度: 422 字符
总体压缩比: 46.92%
各级别处理效果:
1. 段落级去重: 减少 374 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 10 项内容

--- ID 1121 详细报告 ---
原始文本长度: 796 字符
最终文本长度: 424 字符
总体压缩比: 46.73%
各级别处理效果:
1. 段落级去重: 减少 373 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 10 项内容

--- ID 1122 详细报告 ---
原始文本长度: 125 字符
最终文本长度: 125 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1123 详细报告 ---
原始文本长度: 37 字符
最终文本长度: 37 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1124 详细报告 ---
原始文本长度: 3675 字符
最终文本长度: 3175 字符
总体压缩比: 13.61%
各级别处理效果:
1. 段落级去重: 减少 501 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 14 项内容

--- ID 1125 详细报告 ---
原始文本长度: 498 字符
最终文本长度: 249 字符
总体压缩比: 50.00%
各级别处理效果:
1. 段落级去重: 减少 250 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 1 项内容

--- ID 1126 详细报告 ---
原始文本长度: 2461 字符
最终文本长度: 486 字符
总体压缩比: 80.25%
各级别处理效果:
1. 段落级去重: 减少 1976 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 40 项内容

--- ID 1127 详细报告 ---
原始文本长度: 2442 字符
最终文本长度: 1120 字符
总体压缩比: 54.14%
各级别处理效果:
1. 段落级去重: 减少 1323 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 15 项内容

--- ID 1128 详细报告 ---
原始文本长度: 2560 字符
最终文本长度: 1779 字符
总体压缩比: 30.51%
各级别处理效果:
1. 段落级去重: 减少 782 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 8 项内容

--- ID 1129 详细报告 ---
原始文本长度: 2561 字符
最终文本长度: 1788 字符
总体压缩比: 30.18%
各级别处理效果:
1. 段落级去重: 减少 774 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 7 项内容

--- ID 1130 详细报告 ---
原始文本长度: 673 字符
最终文本长度: 673 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1131 详细报告 ---
原始文本长度: 264 字符
最终文本长度: 264 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1132 详细报告 ---
原始文本长度: 1566 字符
最终文本长度: 1442 字符
总体压缩比: 7.92%
各级别处理效果:
1. 段落级去重: 减少 125 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 2 项内容

--- ID 1133 详细报告 ---
原始文本长度: 1559 字符
最终文本长度: 1559 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1134 详细报告 ---
原始文本长度: 2510 字符
最终文本长度: 356 字符
总体压缩比: 85.82%
各级别处理效果:
1. 段落级去重: 减少 2155 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 141 项内容

--- ID 1135 详细报告 ---
原始文本长度: 2530 字符
最终文本长度: 380 字符
总体压缩比: 84.98%
各级别处理效果:
1. 段落级去重: 减少 2151 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 158 项内容

--- ID 1136 详细报告 ---
原始文本长度: 251 字符
最终文本长度: 251 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1137 详细报告 ---
原始文本长度: 3153 字符
最终文本长度: 571 字符
总体压缩比: 81.89%
各级别处理效果:
1. 段落级去重: 减少 2583 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 147 项内容

--- ID 1138 详细报告 ---
原始文本长度: 917 字符
最终文本长度: 883 字符
总体压缩比: 3.71%
各级别处理效果:
1. 段落级去重: 减少 35 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 1 项内容

--- ID 1139 详细报告 ---
原始文本长度: 908 字符
最终文本长度: 857 字符
总体压缩比: 5.62%
各级别处理效果:
1. 段落级去重: 减少 52 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 1 项内容

--- ID 1140 详细报告 ---
原始文本长度: 2797 字符
最终文本长度: 1656 字符
总体压缩比: 40.79%
各级别处理效果:
1. 段落级去重: 减少 1142 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 25 项内容

--- ID 1141 详细报告 ---
原始文本长度: 800 字符
最终文本长度: 800 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1142 详细报告 ---
原始文本长度: 618 字符
最终文本长度: 598 字符
总体压缩比: 3.24%
各级别处理效果:
1. 段落级去重: 减少 21 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 1 项内容

--- ID 1143 详细报告 ---
原始文本长度: 1330 字符
最终文本长度: 732 字符
总体压缩比: 44.96%
各级别处理效果:
1. 段落级去重: 减少 599 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 11 项内容

--- ID 1144 详细报告 ---
原始文本长度: 22010 字符
最终文本长度: 1494 字符
总体压缩比: 93.21%
各级别处理效果:
1. 段落级去重: 减少 20517 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 342 项内容

--- ID 1145 详细报告 ---
原始文本长度: 42 字符
最终文本长度: 42 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1146 详细报告 ---
原始文本长度: 771 字符
最终文本长度: 771 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1147 详细报告 ---
原始文本长度: 1183 字符
最终文本长度: 1183 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1148 详细报告 ---
原始文本长度: 1184 字符
最终文本长度: 1184 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1149 详细报告 ---
原始文本长度: 3964 字符
最终文本长度: 3964 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符

--- ID 1150 详细报告 ---
原始文本长度: 1263 字符
最终文本长度: 1191 字符
总体压缩比: 5.70%
各级别处理效果:
1. 段落级去重: 减少 73 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 3 项内容

--- ID 1151 详细报告 ---
原始文本长度: 1611 字符
最终文本长度: 1524 字符
总体压缩比: 5.40%
各级别处理效果:
1. 段落级去重: 减少 88 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 8 项内容

--- ID 1152 详细报告 ---
原始文本长度: 1810 字符
最终文本长度: 1046 字符
总体压缩比: 42.21%
各级别处理效果:
1. 段落级去重: 减少 765 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符
PARAGRAPHS级别移除了 16 项内容

--- ID 1153 详细报告 ---
原始文本长度: 835 字符
最终文本长度: 835 字符
总体压缩比: 0.00%
各级别处理效果:
1. 段落级去重: 减少 1 字符
2. 句子级去重: 减少 -1 字符
3. 短语级去重: 减少 0 字符
4. 最终标点规范化: 减少 0 字符