اگر به دنیای هوش مصنوعی علاقهمند باشید، حتماً اسم مدلهای زبانی بزرگ (LLM) مثل ChatGPT، Claude و Gemini رو شنیدید. اما آیا میدونستید میتونید خیلی از این مدلها رو روی کامپیوتر خودتون اجرا کنید؟ تو این راهنما قدم به قدم یاد میگیرید چطور مدلهای لوکال رو نصب، اجرا و بهینهسازی کنید.
۱. چرا LLM لوکال؟
اجرای مدلهای زبانی روی سیستم شخصی مزایای زیادی داره:
- حریم خصوصی: دیتای شما از کامپیوترتون خارج نمیشه
- بدون محدودیت: بدون سانسور، بدون Rate Limit و بدون قطعی سرویس
- هزینه صفر: بعد از تهیه سختافزار، هیچ هزینه اشتراکی پرداخت نمیکنید
- آفلاین: بدون نیاز به اینترنت کار میکنه
- شخصیسازی: میتونید مدلها رو Fine-Tune کنید و برای نیاز خاص خودتون بهینه کنید
۲. بهترین نرمافزارهای اجرای LLM لوکال
| نرمافزار | مزایا | معایب | نصب |
|---|---|---|---|
| Ollama | نصب فوقالعاده آسان، پشتیبانی از صدها مدل، CLI و REST API | عدم پشتیبانی از GGUF سفارشی | |
| LM Studio | رابط کاربری گرافیکی عالی، جستجوی مستقیم Hugging Face | فقط Windows و Mac | دانلود از lmstudio.ai |
| GPT4All | بسیار ساده و سبک، مناسب مبتدیها | مدلهای محدودتر | دانلود از gpt4all.io |
| text-generation-webui | انعطافپذیری بالا، پشتیبانی از LoRA و Fine-Tuning | نصب پیچیدهتر | |
| llama.cpp | فوقالعاده بهینه، CPU-only، پشتیبانی از GGUF | فقط CLI | |
| KoboldCPP | مناسب داستاننویسی و Role-play | عملکرد ضعیفتر در وظایف تحلیلی | دانلود از GitHub |
| Jan | رابط کاربری تمیز و مدرن، متنباز | جامعه کاربری کوچکتر | دانلود از jan.ai |
۳. راهنمای انتخاب سختافزار مناسب
انتخاب سختافزار مناسب برای اجرای مدلهای لوکال، مهمترین قدم بعد از انتخاب نرمافزاره. برخلاف تصور رایج، برای شروع نیاز به یک سیستم چند هزار دلاری ندارید. خیلی از مدلهای کوچک روی لپتاپهای معمولی هم اجرا میشن. کلید ماجرا اینه که بدونید مدل مورد نظرتون چه منابعی نیاز داره و سیستم شما چه چیزی در اختیار داره.
چطور مشخصات سیستم خودتون رو ببینید؟
برای دیدن مقدار RAM در ویندوز: کلیدهای Ctrl+Shift+Esc رو همزمان فشار بدید تا Task Manager باز بشه، بعد به برگه Performance برید و بخش Memory رو ببینید. مقدار RAM به گیگابایت نوشته شده.
برای دیدن مقدار RAM در مک: از منوی اپل گزینه About This Mac رو انتخاب کنید. بخش Memory مقدار RAM رو نشون میده و بخش Graphics مقدار VRAM کارت گرافیک رو.
برای دیدن مقدار RAM در لینوکس: ترمینال رو باز کنید و دستور
free -hnvidia-smiدستهبندی سیستمها بر اساس منابع سختافزاری
سیستمهای سبک — رم ۸ تا ۱۶ گیگابایت، بدون GPU اختصاصی: این دسته شامل اکثر لپتاپهای معمولی و کامپیوترهای اداری میشه. روی این سیستمها میتونید مدلهای کوچک تا سایز ۳ یا ۴ میلیارد پارامتر رو با فرمت فشرده (quantized) اجرا کنید. مدلهایی مثل Phi-3 Mini و Gemma 2 2B برای این سیستمها طراحی شدن. سرعت پردازش روی CPU بین ۵ تا ۱۵ توکن در ثانیه خواهد بود که برای کارهای سبک و تست و آزمایش کافیه.
سیستمهای متوسط — رم ۱۶ تا ۳۲ گیگابایت، با یا بدون GPU میانرده: این دسته شامل کامپیوترهای گیمینگ با کارتهایی مثل RTX 3060 یا RTX 4060 و لپتاپهایورکاستیشن میشه. روی این سیستمها میتونید مدلهای ۷ تا ۱۴ میلیارد پارامتر رو به راحتی اجرا کنید. اگر GPU با ۸ گیگابایت VRAM یا بیشتر داشته باشید، میتونید بخشی از مدل رو روی GPU آفلود کنید و سرعت رو به ۳۰ تا ۶۰ توکن در ثانیه برسونید. مدلهای پیشنهادی برای این رده: Llama 3.1 8B، Mistral 7B و Qwen 2.5 7B.
سیستمهای قدرتمند — رم ۳۲ گیگابایت به بالا، GPU با ۱۲ گیگابایت VRAM یا بیشتر: این سیستمها میتونن مدلهای بزرگ ۳۰ تا ۷۰ میلیارد پارامتر رو هم اجرا کنن. کارتهای RTX 3090، RTX 4090 یا RTX 5090 با ۲۴ گیگابایت VRAM برای اجرای مدلهای quantized شده تا سایز ۳۲B ایدهآل هستن. مدلهای Mixtral 8x7B و Qwen 2.5 32B روی این سیستمها عملکرد عالی دارن. برای مدلهای ۷۰ میلیارد پارامتر به بالا (مثل Llama 3.1 70B) به ۴۸ گیگابایت VRAM یا تنظیمات multi-GPU نیاز دارید.
نکات کلیدی برای تصمیمگیری
- رم سیستم مهمترین عامل محدودکننده است، نه سرعت CPU. اگر رم کافی نداشته باشید، مدل اصلاً اجرا نمیشه.
- فرمت Quantized حجم مدل رو نصف تا یکچهارم کاهش میده با افت کیفیت بسیار کم. همیشه از نسخههای Q4_K_M یا Q5_K_M استفاده کنید.
- داشتن GPU سرعت رو ۳ تا ۱۰ برابر افزایش میده، اما برای اجرای خیلی از مدلهای کوچک اجباری نیست.
- برای شروع، همون سیستمی که الان دارید کافیه. یه مدل کوچک مثل Phi-3 Mini دانلود کنید و ببینید چطور کار میکنه، بعد بر اساس تجربه تصمیم به ارتقا بگیرید.
۴. مدلهای پیشنهادی برای اجرای لوکال
مدلهای معرفیشده در جدول زیر همگی روی سختافزار مصرفی (consumer hardware) قابل اجرا هستن و نسخه quantized اونها در فرمت GGUF از طریق Ollama، LM Studio یا llama.cpp در دسترسه. عدد رم و VRAM ذکر شده برای اجرای نسخه Q4_K_M با context length حدود ۴۰۹۶ توکن محاسبه شده.
| مدل | سازنده | پارامترها | حجم (GB) | حداقل RAM | VRAM پیشنهادی | CPU-Only | مناسب برای | لایسنس |
|---|---|---|---|---|---|---|---|---|
| Phi-3 Mini | Microsoft | 3.8B | 2.4 | 8GB | 4GB | بله | سیستمهای ضعیف و لپتاپ | MIT |
| Phi-3 Medium | Microsoft | 14B | 8.5 | 16GB | 8GB | بله | تحلیل و استدلال متوسط | MIT |
| Gemma 2 2B | 2.6B | 1.6 | 8GB | 4GB | بله | فوقالعاده سبک و سریع | Gemma | |
| Gemma 2 9B | 9B | 5.4 | 16GB | 6GB | بله | خلاقیت، نوشتار و مکالمه | Gemma | |
| Gemma 2 27B | 27B | 16.2 | 24GB | 16GB | خیر | کیفیت بالا، رقیب مدلهای ۷۰B | Gemma | |
| Llama 3.1 8B | Meta | 8B | 4.9 | 16GB | 6GB | بله | همهکاره — بهترین انتخاب اول | Llama 3 |
| Llama 3.1 70B | Meta | 70B | 40 | 48GB | 24GB | خیر | تحلیل پیشرفته و تحقیق | Llama 3 |
| Mistral 7B | Mistral AI | 7B | 4.4 | 16GB | 6GB | بله | کدنویسی و استدلال منطقی | Apache 2.0 |
| Mixtral 8x7B | Mistral AI | 46.7B (MoE) | 26 | 32GB | 16GB | خیر | قدرت بالا با مصرف بهینه | Apache 2.0 |
| Qwen 2.5 1.5B | Alibaba | 1.5B | 1.0 | 8GB | 4GB | بله | تست سریع و سیستمهای قدیمی | Apache 2.0 |
| Qwen 2.5 7B | Alibaba | 7B | 4.4 | 16GB | 6GB | بله | چندزبانه — فارسی رو عالی میفهمه | Apache 2.0 |
| Qwen 2.5 32B | Alibaba | 32B | 19 | 24GB | 16GB | خیر | عملکرد نزدیک به مدلهای ۷۰B | Apache 2.0 |
| Qwen 2.5 Coder 7B | Alibaba | 7B | 4.4 | 16GB | 6GB | بله | تخصصی کدنویسی — نسخه Coder | Apache 2.0 |
| DeepSeek R1 7B | DeepSeek | 7B | 4.4 | 16GB | 6GB | بله | استدلال زنجیرهای و حل مسئله | MIT |
| DeepSeek R1 32B | DeepSeek | 32B | 19 | 24GB | 16GB | خیر | استدلال پیشرفته — رقیب GPT-4 | MIT |
| Command R 35B | Cohere | 35B | 20 | 24GB | 16GB | خیر | RAG و کاربردهای سازمانی | CC BY-NC 4.0 |
| OLMo 2 7B | Ai2 | 7B | 4.4 | 16GB | 6GB | بله | کاملاً متنباز (دیتا + کد) | Apache 2.0 |
| OLMo 2 13B | Ai2 | 13B | 7.8 | 16GB | 8GB | بله | تحقیقاتی و آکادمیک | Apache 2.0 |
| Zephyr 7B | HuggingFace | 7B | 4.4 | 16GB | 6GB | بله | مکالمه و دستیار شخصی | Apache 2.0 |
| CodeLlama 7B | Meta | 7B | 4.4 | 16GB | 6GB | بله | تولید و تحلیل کد | Llama 2 |
| Falcon 7B | TII | 7B | 4.4 | 16GB | 6GB | بله | عمومی و همهمنظوره | Apache 2.0 |
۵. نکات بهینهسازی
- Quantization: مدلهای Q4_K_M یا Q5_K_M بهترین توازن کیفیت و سرعت رو دارن — حجم مدل نصف میشه با افت کیفیت ناچیز
- Context Length: برای کارهای ساده Context رو کم کنید (4096-2048) تا RAM کمتری مصرف بشه
- GPU Offloading: اگر GPU دارید، حتماً چند لایه رو به GPU منتقل کنید — سرعت رو چند برابر میکنه
- Open WebUI: یه رابط کاربری زیبا شبیه ChatGPT برای Ollama و llama.cpp — نصب با Docker
- Flash Attention: اگه GPU انویدیا دارید، Flash Attention رو فعال کنید تا مصرف VRAM کاهش پیدا کنه
جمعبندی
اجرای لوکال LLM دیگه فقط مخصوص متخصصها نیست. با ابزارهایی مثل Ollama و LM Studio، هر کسی میتونه توی چند دقیقه یه مدل زبانی رو روی سیستم خودش راه بندازه. از Phi-3 برای سیستمهای ضعیف شروع کنید و اگر سختافزار قویتری دارید، سراغ Llama 3 یا Mistral برید. مهمترین چیز اینه که شروع کنید — اولین مدل رو نصب کنید و باهاش کار کنید تا دستتون بیاد!
No Comments have been Posted.