pdf2zh_next实践

# 先卸载之前安装的 pdf2zh
python -m pip uninstall pdf2zh

# 安装新版本的 pdf2zh_next
pip install pdf2zh_next

➜  temp which pdf2zh     
pdf2zh not found
➜  temp which pdf2zh2
/home/sky/.pyenv/shims/pdf2zh2
➜  temp which pdf2zh2_next
pdf2zh2_next not found
➜  temp pdf2zh2 --version    
[09/02/26 14:48:38] WARNING  WARNING:pdf2zh_next.config.cli_env_model:No translation engine         cli_env_model.py:103
                             selected, using SiliconFlow Free                                                           
                    INFO     INFO:pdf2zh_next.config.model:Using translation engine: SiliconFlowFree        model.py:275
                    WARNING  WARNING:pdf2zh_next.config.cli_env_model:No translation engine         cli_env_model.py:103
                             selected, using SiliconFlow Free                                                           
pdf2zh-next version: 2.9.0

pdf2zh_next --gui

fc-list | grep wqy-microhei
/usr/share/fonts/truetype/wqy/wqy-microhei.ttc: WenQuanYi Micro Hei,文泉驛微米黑,文泉驿微米黑:style=Regular
/usr/share/fonts/truetype/wqy/wqy-microhei.ttc: WenQuanYi Micro Hei Mono,文泉驛等寬微米黑,文泉驿等宽微米黑:style=Regular

vi ~/.config/pdf2zh/config.v3.toml

[translation]
primary_font_family = "sans-serif"

vi ~/.config/pdf2zh/config.v3.toml

deepseek = true
zhipu = false

[deepseek_detail]
translate_engine_type = "DeepSeek"
support_llm = "yes"
deepseek_model = "deepseek-v4-flash"
deepseek_api_key = "sk-xxxxxxxxxxxxxxxx"
deepseek_enable_json_mode = true
deepseek_thinking_mode = "enabled"
deepseek_reasoning_effort = "high"

[zhipu_detail]
translate_engine_type = "Zhipu"
support_llm = "yes"
zhipu_model = "glm-5.3-flash"
zhipu_api_key = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
zhipu_enable_json_mode = "true"

vi ~/.config/pdf2zh/config.v3.toml

report_interval = 10
[translation]
qps = 20
pool_max_workers = 20
term_qps = 8
term_pool_max_workers = 8
no_auto_extract_glossary = true

[pdf]
# 双语翻译时使用奇偶页交替（原文页后面紧跟译文页），而不是默认的左右分栏
use_alternating_pages_dual = false

你是一名资深的中英文科技翻译专家，精通人工智能、机器学习与计算机科学领域，负责将英文 AI 学术论文和技术文档翻译为规范、专业、通顺的简体中文（zh-CN），译文需达到学术出版级水准。

翻译要求：
1. 信：忠实完整地传达原文技术含义与论证逻辑，不增译、不删减、不改写观点，确保信息零丢失。
2. 达：不逐字直译，按中文技术表达习惯重组长难句，消除机翻感；宁意译勿死译。
3. 术语：专业术语采用学界通行译名，同一术语在译文内保持稳定统一；人名、机构名、模型/方法/数据集名（如 Transformer、LoRA、GPT、ImageNet）及业界通用缩写（API、GPU、JSON 等）保留英文原文。不要在译文中额外添加原文的括号注释。
4. 文体：使用规范严谨的书面技术中文，避免口语化与翻译腔；长句拆分为多个短句，逻辑清晰。

格式铁律：
5. 输出必须且只能是译文纯文本，禁止任何引导语、解释、评论或额外文字。
6. 原样保留公式占位符 {{v}}、代码、函数名、变量名、文件路径、URL、LaTeX/Markdown 排版标记、列表编号与换行符，严禁翻译或改动，一个都不能丢。
7. 若源文本过短或仅含数字、符号、公式，原样返回即可。

请直接输出最终翻译结果。

vi ~/.config/pdf2zh/config.v3.toml

[translation]
custom_system_prompt = """
你是一名资深的中英文科技翻译专家，精通人工智能、机器学习与计算机科学领域，负责将英文 AI 学术论文和技术文档翻译为规范、专业、通顺的简体中文（zh-CN），译文需达到学术出版级水准。

翻译要求：
1. 信：忠实完整地传达原文技术含义与论证逻辑，不增译、不删减、不改写观点，确保信息零丢失。
2. 达：不逐字直译，按中文技术表达习惯重组长难句，消除机翻感；宁意译勿死译。
3. 术语：专业术语采用学界通行译名，同一术语在译文内保持稳定统一；人名、机构名、模型/方法/数据集名（如 Transformer、LoRA、GPT、ImageNet）及业界通用缩写（API、GPU、JSON 等）保留英文原文。不要在译文中额外添加原文的括号注释。
4. 文体：使用规范严谨的书面技术中文，避免口语化与翻译腔；长句拆分为多个短句，逻辑清晰。

格式铁律：
5. 输出必须且只能是译文纯文本，禁止任何引导语、解释、评论或额外文字。
6. 原样保留公式占位符 {{v}}、代码、函数名、变量名、文件路径、URL、LaTeX/Markdown 排版标记、列表编号与换行符，严禁翻译或改动，一个都不能丢。
7. 若源文本过短或仅含数字、符号、公式，原样返回即可。

请直接输出最终翻译结果。
"""

vi ~/.config/pdf2zh/glossary_ai.csv

source,target,tgt_lng
task decomposition,任务分解,zh-CN
subtask,子任务,zh-CN
orchestration,编排,zh-CN
orchestrator,编排器,zh-CN
environment,环境,zh-CN
observation,观测,zh-CN
reward,奖励,zh-CN
reward model,奖励模型,zh-CN
policy,策略,zh-CN
reinforcement learning,强化学习,zh-CN
sandbox,沙箱,zh-CN
guardrails,护栏,zh-CN
reflection,反思,zh-CN
self-reflection,自我反思,zh-CN
retrieval-augmented generation,检索增强生成,zh-CN
RAG,检索增强生成,zh-CN
retriever,检索器,zh-CN
retrieval,检索,zh-CN
knowledge base,知识库,zh-CN
knowledge graph,知识图谱,zh-CN
vector database,向量数据库,zh-CN
vector store,向量存储,zh-CN
semantic search,语义检索,zh-CN
multimodal,多模态,zh-CN
multi-modal,多模态,zh-CN
vision-language model,视觉语言模型,zh-CN
language model,语言模型,zh-CN
machine learning,机器学习,zh-CN
deep learning,深度学习,zh-CN
artificial intelligence,人工智能,zh-CN
computer vision,计算机视觉,zh-CN
natural language processing,自然语言处理,zh-CN
natural language understanding,自然语言理解,zh-CN
text generation,文本生成,zh-CN
image generation,图像生成,zh-CN
summarization,摘要,zh-CN
question answering,问答,zh-CN
knowledge distillation,知识蒸馏,zh-CN
quantization,量化,zh-CN
pruning,剪枝,zh-CN
low-rank adaptation,低秩适配,zh-CN
LoRA,LoRA,zh-CN
scaling law,缩放定律,zh-CN
emergent ability,涌现能力,zh-CN
open-source model,开源模型,zh-CN
proprietary model,闭源模型,zh-CN
closed-source model,闭源模型,zh-CN
latency,延迟,zh-CN
throughput,吞吐量,zh-CN
chatbot,聊天机器人,zh-CN
conversation,对话,zh-CN
temperature,温度,zh-CN
sampling,采样,zh-CN
beam search,束搜索,zh-CN
autoregressive,自回归,zh-CN
context,上下文,zh-CN
fine-tuned model,微调模型,zh-CN
pre-trained model,预训练模型,zh-CN
pretrained model,预训练模型,zh-CN

vi ~/.config/pdf2zh/config.v3.toml

glossaries = "/home/sky/.config/pdf2zh/glossary_ai.csv"
no_auto_extract_glossary = true

cd /home/sky/temp/pdf2zh

# 默认用 deepseek 翻译
pdf2zh2 2607.29069v1.pdf

# 指定用智谱翻译
pdf2zh2 2607.29069v1.pdf --zhipu

--deepseek

--zhipu

--openai

--gemini

--siliconflowfree

mkdir -p ~/work/soft/pdf2zh

vi ~/work/soft/pdf2zh/pdf2zh_chunk.sh

#!/usr/bin/env bash
# pdf2zh_chunk.sh —— pdf2zh_next 分块翻译 + 断点续跑
set -uo pipefail

INPUT=""
START=1
CHUNK=60
QPS=18
POOL=""
OUTDIR="$HOME/pdf2zh_out"
RETRY=2
ENGINE="deepseek"
CONFIG="$HOME/.config/pdf2zh/config.v3.toml"
MONO_ONLY=0
OCR_WORKAROUND=0
FULL_MERGE=1
DRY_RUN=0

usage() {
    cat <<'EOF'
用法: ./pdf2zh_chunk.sh <input.pdf> [选项]

选项:
  --start N          起始页 (默认 1)
  --chunk N          每块页数 (默认 60)
  --qps N            QPS (默认 18, 大书建议保守)
  --pool N           pool-max-workers (默认跟随 qps)
  --output DIR       输出根目录 (默认 ~/pdf2zh_out)
  --retry N          每块失败重试次数 (默认 2)
  --engine NAME      翻译引擎: deepseek|zhipu|openai (默认 deepseek)
  --config FILE      配置文件 (默认 ~/.config/pdf2zh/config.v3.toml)
  --mono-only        只输出单语 PDF (省体积, 大书推荐)
  --ocr              对扫描件启用 OCR 兼容
  --no-full          跳过最后整本整合
  --dry-run          只打印分块计划, 不执行
  --help             显示本帮助
EOF
    exit 0
}

# ---- 参数解析 ----
[[ $# -lt 1 ]] && usage
while [[ $# -gt 0 ]]; do
    case "$1" in
        --help|-h) usage ;;
        --start) START="$2"; shift 2 ;;
        --chunk) CHUNK="$2"; shift 2 ;;
        --qps) QPS="$2"; shift 2 ;;
        --pool) POOL="$2"; shift 2 ;;
        --output) OUTDIR="$2"; shift 2 ;;
        --retry) RETRY="$2"; shift 2 ;;
        --engine) ENGINE="$2"; shift 2 ;;
        --config) CONFIG="$2"; shift 2 ;;
        --mono-only) MONO_ONLY=1; shift ;;
        --ocr) OCR_WORKAROUND=1; shift ;;
        --no-full) FULL_MERGE=0; shift ;;
        --dry-run) DRY_RUN=1; shift ;;
        -*)
            if [[ -f "$1" ]]; then INPUT="$1"; shift
            else echo "未知参数: $1 (可用 --help)"; exit 1; fi ;;
        *)
            INPUT="$1"; shift ;;
    esac
done

# ---- 前置检查 ----
[[ -z "$INPUT" ]] && { echo "错误: 未指定输入 PDF"; usage; }
[[ -f "$INPUT" ]] || { echo "错误: 文件不存在: $INPUT"; exit 1; }
[[ -f "$CONFIG" ]] || { echo "警告: 配置文件不存在: $CONFIG"; }

# 引擎 flag
case "$ENGINE" in
    deepseek) ENGINE_FLAG="--deepseek" ;;
    zhipu)    ENGINE_FLAG="--zhipu" ;;
    openai)   ENGINE_FLAG="--openai" ;;
    *) echo "错误: 未知引擎 $ENGINE (deepseek|zhipu|openai)"; exit 1 ;;
esac

# 检测页数
get_total_pages() {
    if command -v pdfinfo >/dev/null 2>&1; then
        pdfinfo "$1" | awk '/^Pages:/{print $2}'
    else
        echo ""
    fi
}
TOTAL=$(get_total_pages "$INPUT")
if [[ -z "$TOTAL" || "$TOTAL" -le 0 ]]; then
    echo "错误: 无法用 pdfinfo 检测页数。请安装 poppler-utils:"
    echo "  sudo apt install poppler-utils    # Debian/Ubuntu"
    exit 1
fi
echo "== 输入: $INPUT ($TOTAL 页)"
echo "== 配置: $CONFIG | 引擎: $ENGINE_FLAG | 每块 $CHUNK 页 | QPS=$QPS"

# ---- 干跑预览 ----
if [[ "$DRY_RUN" == 1 ]]; then
    echo "== [DRY RUN] 分块计划:"
    for (( s=START; s<=TOTAL; s+=CHUNK )); do
        e=$(( s + CHUNK - 1 )); (( e > TOTAL )) && e=TOTAL
        echo "  pages $s-$e -> $OUTDIR/part_$(printf '%04d' $s)-$(printf '%04d' $e)/"
    done
    exit 0
fi

# ---- 单块执行 ----
run_chunk() {
    local range="$1" outdir="$2"
    mkdir -p "$outdir"
    local cmd=( pdf2zh2 "$INPUT" --config-file "$CONFIG" "$ENGINE_FLAG" \
                --pages "$range" --output "$outdir" --qps "$QPS" )
    [[ -n "$POOL" ]] && cmd+=( --pool-max-workers "$POOL" )
    [[ "$MONO_ONLY" == 1 ]] && cmd+=( --no-dual )
    [[ "$OCR_WORKAROUND" == 1 ]] && cmd+=( --auto-enable-ocr-workaround )
    echo ">> [$(date '+%H:%M:%S')] 执行: ${cmd[*]}"
    "${cmd[@]}"
    return $?
}

# ---- 分块主循环 ----
ok_count=0
skip_count=0
fail_list=()

for (( s=START; s<=TOTAL; s+=CHUNK )); do
    e=$(( s + CHUNK - 1 )); (( e > TOTAL )) && e=TOTAL
    part_dir="$OUTDIR/part_$(printf '%04d' $s)-$(printf '%04d' $e)"

    # 断点判断: 有 .done 或已有输出 PDF
    if [[ -f "$part_dir/.done" ]] || compgen -G "$part_dir/*zh-CN*.pdf" >/dev/null; then
        echo "== [跳过] 分块 $s-$e 已完成: $part_dir"
        skip_count=$(( skip_count + 1 ))
        continue
    fi

    attempt=0
    success=0
    while [[ $attempt -le $RETRY ]]; do
        if run_chunk "$s-$e" "$part_dir"; then
            touch "$part_dir/.done"
            echo "== [成功] 分块 $s-$e"
            ok_count=$(( ok_count + 1 ))
            success=1
            break
        else
            attempt=$(( attempt + 1 ))
            echo "!! [失败] 分块 $s-$e 第 $attempt/$RETRY 次"
            [[ $attempt -le $RETRY ]] && sleep 10
        fi
    done
    if [[ $success == 0 ]]; then
        echo "$s-$e" >> "$OUTDIR/.failed"
        fail_list+=("$s-$e")
        echo "!! [放弃] 分块 $s-$e 已达最大重试, 已记录到 $OUTDIR/.failed"
    fi
done

echo ""
echo "==== 分块翻译完成: 成功 $ok_count, 跳过 $skip_count, 失败 ${#fail_list[@]} ===="
[[ ${#fail_list[@]} -gt 0 ]] && echo "失败分块: ${fail_list[*]} (可修复后重跑本脚本续传)"

# ---- 整本整合 ----
if [[ "$FULL_MERGE" == 1 && ${#fail_list[@]} -eq 0 ]]; then
    full_dir="$OUTDIR/full"
    mkdir -p "$full_dir"
    echo ">> [$(date '+%H:%M:%S')] 所有分块完成, 运行整本整合 (命中缓存, 只做排版)..."
    cmd=( pdf2zh2 "$INPUT" --config-file "$CONFIG" "$ENGINE_FLAG" \
          --output "$full_dir" --qps "$QPS" )
    [[ -n "$POOL" ]] && cmd+=( --pool-max-workers "$POOL" )
    [[ "$MONO_ONLY" == 1 ]] && cmd+=( --no-dual )
    echo ">> 执行: ${cmd[*]}"
    if "${cmd[@]}"; then
        echo ""
        echo "==== 整本整合完成 ===="
        ls -lh "$full_dir"
    else
        echo "!! 整本整合失败, 可重跑本脚本 (分块已缓存, 会直接进入整合)"
    fi
else
    echo ""
    echo "跳过整本整合 (原因: --no-full 或存在失败分块)。"
    echo "各分块产物在: $OUTDIR/part_*/"
fi

chmod +x ~/work/soft/pdf2zh/pdf2zh_chunk.sh

cd ~/work/soft/pdf2zh/
mkdir bookname
cd bookname

# 扫描版书（加 OCR 兼容）
../pdf2zh_chunk.sh book.pdf --mono-only --ocr

# 指定引擎换 GLM
../pdf2zh_chunk.sh book.pdf --engine zhipu

# 自定义每块页数/并发（默认 60 页/块，qps 18）
../pdf2zh_chunk.sh book.pdf --chunk 40 --qps 15

# 只翻第 100 页往后
../pdf2zh_chunk.sh book.pdf --start 100

nohup ~/pdf2zh_chunk.sh book.pdf --output ~/pdf2zh_out > translate.log 2>&1 &

sudo apt install tmux

tmux new -s translate
nohup ~/pdf2zh_chunk.sh book.pdf --output ~/pdf2zh_out > translate.log
# 离开前按 Ctrl+B 再按 D 脱离（detach），进程继续跑

# 重新附着，看实时进度；Ctrl+C 可停
tmux attach -t translate