ASR Knowledge Base | پایگاه دانش بازشناسی گفتار

README

6 min read

Automatic Speech Recognition Knowledge Base (ASR & OpenAI Whisper)

پایگاه دانش جامع بازشناسی خودکار گفتار و معماری ویسپر

License: MIT Obsidian: Ready Language: Bilingual

English Documentation | راهنمای فارسی

🇬🇧 English

A comprehensive, zero-knowledge, source-grounded Obsidian knowledge base explaining the complete journey from continuous physical acoustic pressure waves to the discrete text tokens generated by OpenAI Whisper. Designed both as a deep self-study vault and as the foundation for a 25-minute technical presentation.

🌟 Key Highlights

  • Zero-Knowledge to Production Depth: Starts from fundamental physics and signal processing up to modern Transformer attention mechanics and decoding heuristics.
  • Strict Bilingual Symmetry: Parallel vaults in English (en/) and Persian (fa/) with identical folder structures, note topics, LaTeX mathematical proofs, and Mermaid diagrams.
  • Source-Grounded: Every architectural claim and hyperparameter is verified against official OpenAI Whisper source code, papers, and DSP standards.
  • Obsidian Graph & Canvas Optimized: Fully linked using Obsidian WikiLinks ([[Note]]), YAML frontmatter properties, interactive Canvas maps, and embedded SVG diagrams.

🗺️ The Complete Pipeline Taught Here

Physical Pressure Wave → Microphone Voltage → ADC Sampling & Quantization (PCM)
→ FFmpeg Mono Decoding & 16 kHz Resampling → Overlapping STFT Framing (Hann Window, 25 ms, 10 ms hop)
→ 201 Linear FFT Bins → Mel Filterbank Matrix (80/128 Channels) → Log Compression & Normalization
→ 2-Layer 1D Convolutional Stem (Time Downsampling 3000 → 1500) → Positional Encodings
→ Transformer Encoder (Pre-LN Multi-Head Self-Attention) → Cross-Attention Bridge
→ Autoregressive Transformer Decoder → Byte-Level BPE Next-Token Softmax Logits
→ Greedy / Beam Search + Temperature Fallback Heuristics → Final Text Transcript + Timestamps

📂 Repository Structure

.
├── en/                               # Complete English Obsidian Vault
│   ├── 00 Navigation/                # Homepage, Roadmap, MOCs, Glossary, Presentation Path, Canvas
│   ├── 10 Sound and Digital Audio/   # Acoustic physics, Nyquist, sampling, quantization, codecs
│   ├── 20 Time-Frequency Features/   # Fourier intuition, STFT, Mel filterbanks, Log-Mel normalization
│   ├── 30 Whisper Architecture/      # Conv stem, Audio Encoder, QKV Attention, Text Decoder, Tokens
│   ├── 40 Training and Decoding/     # Multitask format, Beam Search, Temperature fallback, Long-form
│   ├── 50 Evaluation and Limitations/# WER, Hallucination, Repetition penalties, Silent audio heuristics
│   ├── 60 Presentation/              # Slide companion notes, 25-minute talk path, speaker scripts
│   ├── 70 Inbox/                     # Deep technical Q&A captures and mathematical derivations
│   ├── 80 Sources/                   # Primary source notes, academic references, code links
│   ├── 90 Assets/                    # 1600×900 SVG diagrams and illustrations
│   └── 99 Templates/                 # Obsidian atomic note templates
│
├── fa/                               # پایگاه دانش کامل به زبان فارسی (همتای ساختاری en)
│   ├── 00 راهبری و نقشه راه/
│   ├── 10 صوت و صدای دیجیتال/
│   ├── 20 ویژگی‌های زمان-فرکانس/
│   ├── 30 معماری ویسپر/
│   ├── 40 آموزش و رمزگشایی/
│   ├── 50 ارزیابی و محدودیت‌ها/
│   ├── 60 ارائه/
│   ├── 70 صندوق ورودی/
│   ├── 80 منابع/
│   ├── 90 دارایی‌ها/
│   └── 99 قالب‌ها/
│
├── LICENSE                           # MIT License
├── CONTRIBUTING.md                   # Contribution guidelines
├── README.md                         # Bilingual GitHub homepage (English & Persian)
└── README.fa.md                      # راهنمای مستقل و جامع پایگاه دانش به زبان فارسی

🌐 Interactive Web Version (Quartz 4)

If you don’t use Obsidian or prefer reading directly in a web browser, this repository includes an interactive static website powered by Quartz 4:

  • Live Site: https://arsalandalvand.github.io/automatic-speech-recognition-kb/
  • Features: Interactive local/global graph view, instant client-side full-text search, backlinks, bilingual RTL/LTR typography (Vazirmatn, Sahel, JetBrains Mono), dark/light mode toggle, reader mode, and LaTeX math rendering.
  • Self-Hosted / Local Preview: 
    npm install
npm run serve
    Then open http://localhost:8080 in your browser.

🚀 Getting Started with Obsidian

  1. Download & Install: Install Obsidian (macOS, Windows, Linux, iOS, Android).
  2. Open Vault:
    • Launch Obsidian and click “Open folder as vault”.
    • Select either the root folder, the en/ folder (for English-only workspace), or the fa/ folder (for Persian workspace).
  3. Recommended Entry Points (English):
    • Main Entry: en/00 Navigation/ASR Knowledge Base - Home.md
    • Step-by-Step Learning: en/00 Navigation/ASR Learning Roadmap.md
    • Visual Spatial Board: en/00 Navigation/Whisper Pipeline.canvas
    • Presentation Guide: en/60 Presentation/README.md
  4. Graph View: Press Ctrl+G (or Cmd+G) to explore the interactive visual concept network.

🇮🇷 فارسی (Persian)

یک پایگاه دانش جامع، مستند و صفر تا صدی در قالب Obsidian که کل مسیر تبدیل امواج صوتی فیزیکی به متن خروجی در مدل OpenAI Whisper را تشریح می‌کند. این مجموعه هم به عنوان یک مرجع خودآموز دانشگاهی و هم به عنوان منبع محتوایی یک ارائه فنی ۲۵ دقیقه‌ای طراحی شده است.

برای مطالعه مستندات و راهنمای کامل به زبان فارسی، می‌توانید به فایل README.fa.md نیز مراجعه فرمایید.

🌟 ویژگی‌های برجسته

  • پوشش صفر تا صد مفاهیم: از فیزیک ارتعاش مولکول‌های هوا و تبدیل آنالوگ به دیجیتال تا ماتریس‌های خودتوجهی ترنسفورمر و راهکارهای مهار توهم.
  • توازن و تقارن کامل دو زبانه: ساختار کاملاً متقارن میان نسخه انگلیسی (en/) و فارسی (fa/) با رعایت دقیق‌ترین اصطلاحات تخصصی، فرمول‌های ریاضی و نمودارهای تعاملی.
  • مستندسازی مبتنی بر سورس‌کد: کلیه ادعاها، ابعاد تانسورها و پارامترها با کد منبع مرجع Whisper و مقالات داوری‌شده تطبیق داده شده‌اند.
  • سازگار با گراف و ابزارهای ابسیدین: دارای پیوندهای درون‌شبکه‌ای ([[پیوند]])، متادیتای ساختاریافته YAML، بردهای بصری Canvas و دیاگرام‌های برداری SVG.

🗺️ خط لوله جامع تبدیل صوت به متن

تغییرات فشار هوا ← ولتاژ میکروفون ← نمونه‌برداری و کوانتیزاسیون رقمی (PCM)
← دیکود و بازنمونه‌برداری به مونو ۱۶ کیلوهرتز ← قاب‌بندی متداخل STFT (پنجره هان ۲۵ms با گام ۱۰ms)
← ۲۰۱ بین فرکانسی خطی ← اعمال بانک فیلتر مل (۸۰ یا ۱۲۸ کانال) ← فشرده‌سازی لگاریتمی و نرمال‌سازی
← ساقه کانولوشنی ۱ بعدی (کاهش طول دنباله از ۳۰۰۰ به ۱۵۰۰) ← کدگذاری موضعی
← کدگذار ترنسفورمر (خودتوجهی چندسر Pre-LN) ← پل توجه متقابل (Cross-Attention)
← کدگشای ترنسفورمر خودبازگشتی ← توزیع احتمالات سافت‌مکس روی توکن‌های BPE
← جستجوی حریصانه / پرتو با بازگشت دمایی ← متن نهایی رونویسی‌شده به همراه برچسب‌های زمانی

🚀 راهنمای شروع کار در ابسیدین

  1. نرم‌افزار Obsidian را نصب کنید.
  2. پوشه مخزن (یا پوشه fa/) را با انتخاب گزینه “Open folder as vault” در نرم‌افزار باز کنید.
  3. نقاط شروع پیشنهادی (فارسی):
    • صفحه اصلی پایگاه دانش: fa/00 راهبری و نقشه راه/پایگاه دانش بازشناسی گفتار - صفحه اصلی.md
    • نقشه راه یادگیری گام‌به‌گام: fa/00 راهبری و نقشه راه/نقشه راه یادگیری بازشناسی گفتار.md
    • بوم بصری خط لوله: fa/00 راهبری و نقشه راه/خط لوله ویسپر.canvas
    • راهنمای ارائه و اسلایدها: fa/60 ارائه/README.md
  4. برای مشاهده شبکه مفاهیم، کلید Ctrl+G (یا Cmd+G) را فشار دهید.

Graph View