استخراج جدول از عکس و PDF و تبدیل به اکسل یا CSV

پیش از انتخاب ابزار، بفهمید دقیقاً چه نوع جدولی دارید، چون سه منبع رایج هر کدام به شکل متفاوتی خراب می‌شوند. PDF را باز کنید و با نشانگر سعی کنید یک عدد را انتخاب کنید. اگر عدد خودش هایلایت شد، فایل PDF متنی است: هر نویسه به‌صورت متن در یک موقعیت دقیق ذخیره شده و استخراج بیشتر به گروه‌بندی این نویسه‌ها در ردیف و ستون برمی‌گردد. اگر کل صفحه یک‌تکه هایلایت شد یا چیزی هایلایت نشد، با تصویر یک جدول سروکار دارید و باید اول پیکسل‌ها خوانده شوند.

حالت سوم را راحت می‌توان نادیده گرفت. بسیاری از گزارش‌های سیستم‌های حسابداری قدیمی، برنامه‌های ترمینال و متن ایمیل‌ها شبیه جدول‌اند، اما فقط متن ساده‌ای هستند که با تب یا چند فاصله تراز شده است. هیچ سلولی وجود ندارد و فقط یک چیدمان تک‌فاصله است. اجرای OCR روی اسکرین‌شات این متن اطلاعاتی را دور می‌ریزد که از قبل دارید؛ کپی متن و جدا کردن آن به ستون سریع‌تر و دقیق است. کارت‌های زیر نیاز هر منبع را خلاصه می‌کنند.

تشخیص جدول گذر دوم است که پس از شناخته شدن نویسه‌ها اجرا می‌شود. اول سلول‌ها را پیدا می‌کند: در جدول‌های خط‌دار خطوط افقی و عمودی را دنبال می‌کند و هر کادر بسته را یک سلول می‌گیرد؛ در جدول‌های بدون حاشیه دنبال شیارهای عمودی فضای خالی می‌گردد که کل ارتفاع بلوک را طی می‌کنند. سپس ستون‌ها را تراز می‌کند و تصمیم می‌گیرد عددی که چند پیکسل کنار عدد بالایی است هنوز به همان ستون تعلق دارد.

بعد نوبت ردیف سرستون است. تشخیص‌دهنده‌ها دنبال ردیف اولی می‌گردند که پررنگ، سایه‌دار یا شامل کلماتی بالای ستون‌های عددی باشد، و سرستون‌هایی را که در دو خط شکسته‌اند در یک سلول می‌آورند. سلول‌های ادغام‌شده آخرین مرحله‌اند: برچسبی مثل Q1 که روی سه ستون ماه کشیده شده از نبود خطوط داخلی تشخیص داده می‌شود و یا به‌صورت سلول ادغام‌شده بازسازی می‌شود یا در هر ستونی که پوشش می‌دهد کپی می‌شود.

هیچ‌کدام از این‌ها درک مطلب نیست. نرم‌افزار نمی‌داند ستونی تاریخ دارد یا ردیفی جمع جزئی است؛ فقط هندسه و نویسه‌ها را می‌بیند. برای همین یک ابزار می‌تواند روی یک صورت‌حساب بی‌نقص باشد و روی صورت‌حساب بعدی از بانکی دیگر درهم بریزد، و برای همین گزینه‌هایی مثل سبک جدول و تشخیص ردیف سرستون وجود دارند: واقعیتی را به تشخیص‌دهنده می‌دهند که نمی‌تواند به‌طور مطمئن حدس بزند.

بیشتر خطاها در دو گروه می‌گنجند. خطاهای هندسی شبکه را به‌هم می‌ریزند و مقادیر در ردیف یا ستون اشتباه می‌افتند. خطاهای عددی شبکه را سالم نگه می‌دارند اما معنای سلول را عوض می‌کنند که بدتر است، چون صفحه درست به نظر می‌رسد. ستون جابه‌جاشده در یک نگاه معلوم است؛ 1.234 که به‌جای هزار و دویست و سی‌وچهار، اعشاری خوانده شود معلوم نیست.

قالب منطقه‌ای منبع اصلی مشکلات عددی است. آمریکا و بریتانیا 1,234.56 می‌نویسند؛ آلمان، برزیل و بیشتر اروپای قاره‌ای 1.234,56؛ فرانسه فاصله را جداکنندهٔ هزارگان می‌گیرد؛ سوئیس اغلب آپوستروف به کار می‌برد، مثل 1'234.56؛ و هند ارقام را به شکل 1,23,456 گروه‌بندی می‌کند. اسناد حسابداری اعداد منفی را در پرانتز می‌آورند و نماد ارز را به رقم می‌چسبانند. موارد زیر نشان می‌دهد به چه چیزی دقت کنید و هر حالت چگونه حل می‌شود.

هر دقیقه‌ای که صرف ورودی شود چند دقیقه در صفحه‌گسترده صرفه‌جویی می‌کند. موتورهای OCR معمولاً برای متن اسکن‌شده با حدود 300 dpi تنظیم شده‌اند، یعنی برای صفحهٔ A4 یا US Letter تقریباً 2480 × 3508 px یا 2550 × 3300 px. دوربین گوشی امروزی اگر صفحه کادر را پر کند به‌راحتی از این بیشتر است، اما عکس تمام‌صفحه‌ای که از آن‌سوی میز گرفته و بعد روی جدولی کوچک برش خورده می‌تواند خیلی پایین‌تر بیاید.

کنتراست به اندازهٔ وضوح مهم است. رسیدهای کاغذ حرارتی محو می‌شوند، خطوط خاکستری جدول روی زمینهٔ خاکستری ناپدید می‌شوند و سایهٔ گوشی شما روی صفحه می‌تواند ستونی را نصف کند. اگر سند کاغذی را مرتب استخراج می‌کنید، راهنمای اسکن سند به PDF نور و تنظیمات اسکنر را با جزئیات بیشتری توضیح می‌دهد. پیش از بارگذاری این فهرست را مرور کنید.

قابلیت Data from Picture در Excel سال 2019 به برنامهٔ اندروید آمد، بعد به iPhone، و اکنون در Excel برای Microsoft 365 روی Windows و Mac زیر Data > From Picture قرار دارد. یک جدول را عکس می‌گیرید یا بارگذاری می‌کنید، سلول‌های تشخیص‌داده‌شده را در پنلی کناری که مقادیر مشکوک را علامت می‌زند بررسی می‌کنید و درج می‌کنید. Google مسیر غیرمستقیم‌تری دارد: در Drive روی تصویر یا PDF راست‌کلیک کنید و Open with > Google Docs را بزنید. صفحهٔ راهنمای خود Google این روش را به فایل‌های 2 MB یا کمتر محدود می‌کند و فقط 10 صفحهٔ اول PDF را می‌خواند، و نتیجه یک سند است، پس جدول اغلب به‌صورت خطوطی متن می‌رسد که باید در Sheets بچسبانید و جدا کنید.

Adobe Acrobat Pro یک PDF را به کتاب کار Microsoft Excel خروجی می‌دهد و هنگام خروجی روی صفحات اسکن‌شده OCR اجرا می‌کند. Excel برای Microsoft 365 روی Windows هم می‌تواند با Get Data > From File > From PDF جدول‌ها را از PDF متنی بگیرد که Power Query را باز می‌کند؛ هر جدول تشخیص‌داده‌شده را به تفکیک صفحه فهرست می‌کند، اجازه می‌دهد صفحات ماهانهٔ یک صورت‌حساب را در یک جدول الحاق کنید و با جایگزین کردن فایل ماه بعد به‌روز می‌شود. اسکن نمی‌خواند و Excel برای Mac این رابط را ندارد.

مبدل‌های مرورگری بقیه را بدون نصب چیزی پوشش می‌دهند. برای PDF متنی یا اسکن‌شده، PDF به Excel هر جدول تشخیص‌داده‌شده را در برگهٔ جداگانه می‌گذارد؛ برای عکس یا اسکرین‌شات، تصویر را به Excel تبدیل کنید یا اگر برنامهٔ دیگری آن را وارد می‌کند، جدول را به CSV ذخیره کنید. جدول زیر پنج مسیر را مقایسه می‌کند.

جدول تبدیل‌شده‌ای که درست به نظر می‌رسد هنوز جدولی نیست که بتوان به آن تکیه کرد. از تعداد ردیف‌ها شروع کنید: اگر صورت‌حساب 47 تراکنش دارد، صفحه باید 47 ردیف داده داشته باشد، نه 46 چون دو خط ادغام شده‌اند و نه 49 چون توضیح شکسته‌شده ردیف جدا شده است. سپس یک ستون عددی را با SUM جمع بزنید و با جمع چاپ‌شده در سند مقایسه کنید. اگر سند جمع ندارد، چند مقدار را دستی جمع کنید و مقایسه کنید.

بعد دنبال سلول‌هایی بگردید که فقط ادای عدد را درمی‌آورند. در Excel اعداد واقعی پیش‌فرض راست‌چین و متن چپ‌چین است، پس ستونی که چند مبلغ چپ‌چین دارد چیزی به شما می‌گوید؛ ISNUMBER روی ستون کمکی همه را یکجا پیدا می‌کند. تاریخ‌ها هم همین‌قدر مشکوک‌اند. تاریخی که متن خوانده شود الفبایی مرتب می‌شود، پس 10/02 پیش از 2/03 می‌آید و 03/04 بسته به نویسنده می‌تواند 3 آوریل یا 4 مارس باشد.

در پایان بررسی کنید چه چیزی از دست رفته، نه فقط چه چیزی عوض شده. شماره حساب و کارت‌های بلند تلهٔ کلاسیک‌اند: Excel اعداد را با 15 رقم معنادار نگه می‌دارد، پس شمارهٔ کارت 16 رقمی که به‌صورت عدد تایپ یا وارد شود رقم آخرش صفر می‌شود.

وقتی قرار است فردی داده‌ها را در Excel، Google Sheets یا Numbers کار کند، XLSX را انتخاب کنید. این قالب چند جدول را در برگه‌های جدا نگه می‌دارد و نوع واقعی عدد و تاریخ، ردیف‌های سرستون پررنگ و سلول‌های ادغام‌شده را حفظ می‌کند. وقتی نرم‌افزار قرار است فایل را وارد کند، CSV را انتخاب کنید: برنامه‌های بودجه‌بندی، نرم‌افزارهای حسابداری، پایگاه‌های داده و اسکریپت‌ها. CSV متن ساده است و هر فایل فقط یک جدول دارد؛ مشخصات آن در RFC 4180 مربوط به سال 2005 آمده است و سه تنظیم مهم آن جداکننده، کدگذاری و ذخیره اعداد به‌صورت عدد است.

جداکننده باید با برنامهٔ واردکننده یکی باشد؛ Excel در کشورهایی که اعشار را با ویرگول می‌نویسند، نقطه‌ویرگول انتظار دارد. کدگذاری تعیین می‌کند نام‌هایی مثل Müller یا São Paulo درست بمانند یا نه: UTF-8 با BOM همان چیزی است که Excel در ویندوز با دوبار کلیک درست می‌خواند. حذف صفر ابتدایی خطای کلاسیک است. کدپستی‌های آمریکا مانند 02134، شمارهٔ کارمندی و کد کالا شناسه‌اند نه مقدار، و به‌محض اینکه عدد حساب شوند به 2134 تبدیل می‌شوند. برای جدول‌های پر از شناسه، ذخیره اعداد به‌صورت عدد را خاموش کنید یا CSV را با تنظیم نوع ستون‌ها روی Text وارد کنید.

استخراج یک جدول یک کار ساده است؛ استخراج یک سال فاکتور یا دوازده صورت‌حساب ماهانهٔ بانکی یک پروژهٔ دادهٔ کوچک است. تا جای ممکن اسناد منبع را با چیدمان یکسان نگه دارید و همه را یک‌جا تبدیل کنید تا تنظیمات همهٔ فایل‌ها یکی باشد. برای PDFهای متنی تا 20 فایل، هرکدام تا 95 MB، بارگذاری کنید و اگر جدول تراکنش‌های صورت‌حساب در چند صفحه ادامه دارد، در گزینهٔ برگه‌ها مقدار همه‌چیز در یک برگه را بزنید. عکس‌ها را باید یکی‌یکی تبدیل کرد؛ پس برای دسته‌ای از فاکتورهای کاغذی اغلب سریع‌تر است ابتدا صفحات را با تبدیل عکس به PDF ترکیب کنید و در صفحات PDF بازه‌ای را بدهید که جدول‌ها در آن است.

پس از پردازش دسته‌ای، نتیجه‌ها را در یک برگه کنار هم بگذارید و ستونی برای نام فایل منبع اضافه کنید. اگر اسناد بیشتر متن‌اند و یکی دو جدول دارند، تبدیل PDF به Word پاراگراف‌ها و جدول‌ها را با هم نگه می‌دارد.

صورت‌حساب بانکی، فیش حقوقی و فاکتور شامل شماره حساب، نشانی و سابقهٔ خرج است، پس به مسیر آن‌ها فکر کنید. در UltKit فایل‌های بارگذاری‌شده و خروجی‌ها 30 دقیقه پس از پردازش حذف می‌شوند و کسی آن‌ها را نمی‌خواند. با این حال امن‌ترین نسخه آن است که هرگز از رایانهٔ شما خارج نشود: ستون‌های غیرضروری مثل شماره حساب کامل را پیش از بارگذاری ببرید یا مخفی کنید و خروجی‌های محلی بی‌مصرف را پاک کنید.