Hujjatlaringiz bilan AI chatidan foydalanish uchun PrivateGPT-ni sozlash haqida malumot

Hujjatlaringiz bilan gaplashish haqida hech o’ylab ko’rganmisiz?

Siz o’qishdan qo’rqayotgan uzun pdf fayl bor, lekin bu sizning ishingiz yoki topshirig’ingiz uchun muhim.

Agar siz unga “Hujjatda qayd etilgan asosiy xususiyatlar nima?” kabi savollarni bersangiz nima bo’ladi? Yoki «(siz o’qiyotgan ba’zi muallif) fikrini umumlashtiring».

Bularning barchasi juda ilmiy yoki futuristik tuyuladi, agar kimdir bir necha yil oldin aytgan bo’lsa, lekin bozorda mavjud bo’lgan barcha AI vositalari paydo bo’lishi bilan bu juda normal holat.

Nafaqat ChatGPT, bugungi kunda bu ishni bajarishi mumkin bo’lgan minglab bepul va pullik AI-ga asoslangan xizmatlar mavjud.

Ammo men boshqa birovning AIni o’rgatish uchun hujjatlarim va ma’lumotlarimni baham ko’rmagan bo’lardim. Men buni o’zim qilaman.

Men sizga qanday o’rnatishimni ko’rsataman PrivateGPT AI ochiq manba bo’lib, menga «hujjatlar bilan suhbatlashishga» yordam beradi. Siz uy laboratoriyangizda yoki shaxsiy kompyuteringizda shaxsiy PrivateGPT-ni sozlash uchun bir xil qadamlarni bajarishingiz mumkin.

✋ChatGPT tez javob berishini kutmang. Hisoblash mahalliy tizimingizda amalga oshirilmoqda va bu sizning tizimingiz qanchalik kuchli ekanligiga bog’liq bo’ladi.

talablar

• X64 Intel/AMD asosidagi protsessor
• 8 GB RAM (minimal) lekin qancha ko’p bo’lsa, shuncha yaxshi
• Maxsus grafik karta bilan 2 Gb tezkor xotira (Minimal)
• Har qanday Linux distrosi juda yaxshi ishlaydi. Faqat paketlarni boshqarish buyruqlariga e’tibor bering. Men bu erda Ubuntu Server 22.04 dan foydalanmoqdaman.
• Python 3.11 (muhim)
• Ko’p vaqt va sabr

🚧Ushbu qoʻllanmada siz Linux buyruqlari bilan tanish va qulay ekanligingizni va Python muhitlaridan foydalanishda biroz tajribaga ega ekanligingizni nazarda tutadi. CUDA va boshqa AI vositalari bilan oldingi tajribaga ega bo’lish yaxshidir.

1-qadam: tizimingizni yangilang

Tizimimiz har qanday paketlarning barcha so’nggi nashrlari bilan dolzarb bo’lishini ta’minlash muhimdir.

sudo apt update && sudo apt upgrade -y

Qadam 2. Python 3.11 versiyasini o’rnatish

Bizga Python 3.11 kerak. Ubuntu 22.04 va boshqa ko’plab distroslar Python 3.10.12 ning eski versiyasi bilan birga keladi. Shuning uchun siz Python versiyasini yangilashingiz kerak.

Python versiyangizni tekshirish uchun quyidagilarni kiriting:

python3 --version

Ubuntu’da siz yangiroq Python versiyasini olish uchun PPA dan foydalanishingiz mumkin.

sudo add-apt-repository ppa:deadsnakes/ppa

Bu erda men boshqa paketni o’rnatyapman python3.11-venv (Batafsil ma’lumot Python virtual muhiti)

sudo apt install python3.11 python3.11-venv -y

Pythonning yangi versiyasi o’rnatilgan bo’lsa-da, standart versiya 3.10 da qoladi. Buni o’zgartirish uchun muqobil variantlarimizni yangilashingiz kerak:

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.10 110

keyin,

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.11 100

Endi sizda muqobil variantlarda ikkita konfiguratsiya mavjud va ularni yangilash kifoya:

sudo update-alternatives --config python3

Sizga Python versiyasini tanlashning ikkita varianti taqdim etiladi va skrinshotda ko’rib turganingizdek, men kerakli versiya bo’lgan 2 raqamini tanladim.

📋Agar siz kelajakda pythonning oldingi versiyasiga o’tmoqchi bo’lsangiz, xuddi shu buyruqni ishga tushirishingiz va kerakli versiyani tanlashingiz mumkin.

Qadam 3. She’riyatni o’rnatish

O’rnatishingiz mumkin she’riyat foydalanish pip. Agar sizda allaqachon yo’q bo’lsa, Ubuntu-ga Pip-ni o’rnatishingiz mumkin foydalanish:

python3 -m pip install pip

undan keyin:

pip install poetry

Ushbu bosqichda o’rnatuvchi bilan bog’liq ba’zi xatolar paydo bo’lishi mumkin PATH xuddi quyidagi skrinshotda bo’lgani kabi:

Qo’shmoq /home/user/.local/bin biz uchun PATH:

nano ~/.bashrc

Mana, konfiguratsiya faylining oxiriga o’ting va quyidagilarni qo’shing:

export PATH="$HOME/.local/bin:$PATH"

Men $HOME o’zgaruvchisidan foydalanish o’rniga aniq qiymatdan foydalandim.

To saqlang va nanodan chiqing matbuot CTRL+X keyin bosing y va kiriting. Keyin tekshirish uchun yo’l turini muvaffaqiyatli qo’shdi:

source .bashrc

echo $PATH

Chiqish shunday bo’ladi:

Endi biz o’rnatgan She’riyat versiyasini tekshiramiz. Bu shunday bo’lishi kerak 1.7 yoki yuqorida.

poetry --version

Mening holatimda, chiqish quyidagicha:

Poetry (version 1.7.1)

4-qadam. PrivateGPT-ni sozlash

Birinchidan, tizimimizdagi Private GPT omborini klonlashingiz kerak. Sizda bor deb o’ylayman Git tizimingizda o’rnatilgan.

git clone https://github.com/imartinez/privateGPT

Keyin klonlangan omborga kiring:

cd privateGPT

Endi butun tizim buzilmasligi uchun yangi muhitni o’rnatishingiz kerak:

python3 -m venv venv

Yangi jild nomi venv yaratilgan va virtual muhitni faollashtirish uchun quyidagilarni yozing:

source venv/bin/activate

5-qadam. Poetry-da mahalliy ui-ni o’rnatish:

AI bilan o’zaro ishlash uchun bizga foydalanuvchi interfeysi kerak bo’lganligi sababli, biz o’rnatishimiz kerak ui she’riyat xususiyati va bizga kerak local chunki biz o’z mahalliymizni qabul qilmoqdamiz LLM.

poetry install --with ui,local

Grafik drayverlarni va LLMlarni ishga tushirish uchun muhim bo’lgan boshqa bog’liqliklarni o’rnatish uchun biroz vaqt kerak bo’ladi.

Qadam 6. LLM modelini o’rnatish

Ishlarning aksariyati hozir bajarilganligi sababli hujjatlaringiz bilan suhbatni boshlash uchun sizga LLM modelingiz kerak bo’ladi.

LLM modelini o’rnatish uchun:

poetry run python scripts/setup

Bu jarayon ham uzoq vaqt talab etadi, chunki avval model yuklab olinadi va keyin o’rnatiladi. Modellarning hajmi odatda 4 GB dan ortiq.

Qadam 7. Nvidia CUDA asboblar to’plamini o’rnatish

Agar siz biron bir AI modelini faqat protsessoringizda ishlatishni o’ylayotgan bo’lsangiz, men siz uchun yomon xabarim bor. Aytmoqchimanki, texnik jihatdan siz buni hali ham qila olasiz, lekin bu juda sekin bo’ladi. Hatto ishlamasligi ham mumkin.

Shuning uchun ko’p VRAMga ega bo’lgan maxsus GPUdan foydalanish yaxshiroqdir. Menda 2 GB VRAMga ega Nvidia GPU bor.

sudo apt install nvidia-cuda-toolkit -y

8. LLMlarni tuzish

Boshlash uchun LLMlarni kompilyatsiya qilish kifoya.

CMAKE_ARGS='-DLLAMA_CUBLAS=on' poetry run pip install --force-reinstall --no-cache-dir llama-cpp-python

📋Agar siz ushbu qoʻllanmani WSL yoki Mac-da kuzatayotgan boʻlsangiz, platformangiz uchun toʻgʻri buyruqni shu yerdan tekshirishingizni tavsiya qilaman. rasmiy hujjatlar )

9. privateGPT-ni ishga tushiring

Ushbu qadam sizdan xususiyGPT jildidagi faylda tahrirlashingiz mumkin bo’lgan mahalliy profilni o’rnatishingizni talab qiladi settings-local.yaml ammo bu o’quv qo’llanmasini boshqa qilmaslik uchun uni ushbu buyruq yordamida ishga tushiramiz:

PGPT_PROFILES=local make run

📋Profillarni sozlash haqida koʻproq maʼlumot olish uchun bu yerga qarang qo’llanma.

Bu sizning terminalingizda shunday ko’rinishi kerak va quyida bizning privateGPT bizning mahalliy tarmog’imizda ishlayotganini ko’rishingiz mumkin.

Qadam 10. Keling, hujjatlar bilan suhbatlashamiz

Brauzeringizda birinchi PrivateGPT nusxasini ochish uchun shunchaki kiriting 127.0.0.1:8001 . U tarmoq orqali ham mavjud bo’ladi serveringizning IP manzilini tekshiring va undan foydalaning.

Mening holatimda, mening serverim IP manziliga ega 192.168.1.7

Sizning sahifangiz yuklangandan so’ng, sizni PrivateGPT-ning oddiy foydalanuvchi interfeysi kutib oladi.

Chap tomonda siz hujjatlaringizni yuklashingiz va AI bilan nima qilishni xohlayotganingizni tanlashingiz mumkin, ya’ni «Query Docs, Search in Docs, LLM Chat» va o’ng tomonda «So’rov» paneli. Bu erda siz so’rovingizni kiritasiz va javob olasiz.

Men dan foydalanmoqdaman Linux bo’yicha maqola Men Vikipediyadan yuklab olganman. Bu 28 sahifali PDF hujjat.

Mana men PrivateGPT ga ba’zi savollar beraman:

Mana yana bir savol:

ChatGPT kabi LLM bilan ham suhbatlashishingiz mumkin.

Siz batafsilroq va murakkab ko’rsatmalar berishingiz mumkin va u javob beradi. Sinov paytida men sizning tizimingiz tufayli javob vaqti juda farq qilishini bilib oldim. Men taxminan kutishim kerak edi. Faqat bitta javob olish uchun 2 daqiqa, chunki menda eski tizim bor.

Xulosa

Va voila! Shunday qilib, siz o’zingizning PrivateGPT-ni o’rnatasiz va o’rnatasiz. Siz buni aslida domenga yo’naltirishingiz va unga uy tarmog’ingizdan tashqarida kirishingiz mumkin.

Bilaman, bu yechim hamma uchun emas va bu loyiha ham doimiy ishlab chiqilmoqda, ammo bu ochiq manbali AI poyezdiga chiqishni istagan ishqibozlar uchun yaxshi boshlanish nuqtasidir.

Asl modda