TranslatePreprocessor: 段落を保持するグーグル翻訳ペースト前処理機

英語論文PDF内の英文をグーグル翻訳にペーストする際, 同じ段落にもかかわらず改行が含まれており, 正しく翻訳できません.

これまで多くの方法が提案されています^[1][2][3]が, 基本的に改行を削除しているだけで, 複数の段落が一つの段落になる問題があります.

そこで, 段落を保持したまま改行を取り除く前処理機を紹介します. 入力した文章を行ごとに処理し, 行文字が他と比べて少ない場合は, 改行をそのままにします.

英語PDFからの文字列を対象としていますが, 処理としては, 文字数と改行コードを見ているだけなので, 日本語などほかの言語にも対応しています.