改行削除

PDFには段落という情報がありません。保存されているのは、ページ上の決まった位置に置かれた行ごとのテキストです。そのため、コピーすると、印刷された段の各行がそれぞれ改行付きで貼り付けられることがほとんどです。プレーンテキストのメールにも似た事情があります。RFC 5322 は1行を998文字までとし、78文字以内を推奨しています。このため多くのメールソフトは72〜76文字前後で折り返し、その改行はテキストを別の場所に貼り付けても残ります。ターミナルの出力、字幕、OCRの結果、幅の狭いWebページの段からコピーしたテキストも同じ動きをします。

こうした改行を含んだまま文書やフォーム、翻訳ツールに貼り付けると、文の途中で行が分かれてしまい、スペルチェックや機械翻訳が正しく働きません。行を結合すれば文がつながります。空行を区切りとして残せば、筆者が意図した段落構成も保てます。

改行コードの由来はタイプライターやテレプリンターです。キャリッジリターン（CR）は印字ヘッドを左端に戻し、ラインフィード（LF）は用紙を1行分送ります。Windowsは両方の文字を受け継いだため、テキストファイルの各行はCRLFで終わります。Unix、Linux、現在のmacOSはLFのみ、OS X以前の旧Mac OSはCRのみを使っていました。システム間でテキストをやり取りするとこれらが混在しやすく、あるエディタでは1行おきに見えるファイルが、別のエディタでは行間が空いたり、つながって表示されたりするのはそのためです。

このツールは3種類すべてを改行として扱うので、テキストにどれが含まれているかを知る必要はありません。段落を保持するオプションをオンにすると、空行、またはスペースとタブだけの行が段落の区切りとして扱われます。段落は、LFを使った1行の空行で区切って出力されます。

英語など単語をスペースで区切る言語では、スペースで結合します。中国語、日本語、タイ語では、スペースを入れると文の途中に余計な空白が入るため、何も挟まずに結合します。「スペースを1つにまとめる」を使うと、両端揃えのPDFテキストに残った2つ、3つ連続したスペースが1つになります。行末のハイフンは、あえて処理しません。「infor-」と「mation」は「infor- mation」になります。途切れた単語なのか、「well-known」のような本来ハイフンを含む複合語なのかは、人間にしか判断できないためです。処理後に「- 」を検索して修正してください。整形したテキストが一覧なら、重複行の削除に進むか、文字数カウントで長さを確認できます。