Опис
Сучасна інтелектуальна платформа ШІ, розгорнута в локальному захищеному контурі підприємства або установи. Забезпечує децентралізоване виконання квантованих великих мовних моделей (LLM) та семантичного пошуку без передачі даних у сторонні хмари. Модуль розроблено на базі високопродуктивних споживчих GPU NVIDIA GeForce RTX 4070 Ti, оркеструється через промисловий Kubernetes (K8s) за методологією GitOps та повністю інтегрується з екосистемою ERP/1.
Ключові модулі
Локальний інференс: виконання моделей Llama-3 (8B) та Phi-3 на локальних графічних прискорювачах із квантуванням ваг.
Семантичний RAG-контур: пошук контексту в RocksDB та FAISS для точних відповідей та усунення галюцинацій LLM.
Знеособлення даних: автоматична NER-фільтрація та маскування персональних даних перед передачею в мовну модель.
Оркестрація вузлів: централізоване керування 600+ вузлами периферійних обчислень через K8s та Rancher.
Відмовостійкість (Failover): автоматичний перехід на CPU (AVX-512/AMX) при збоях GPU та балансування між вузлами.
Моніторинг та телеметрія: відстеження температур, VRAM та завантаження GPU в реальному часі через Prometheus та Grafana.
Інтеграція з екосистемою: робота з модулями «Документи», «Реєстри» та «Процеси» через захищений Erlang RPC.
Переваги
- Повна конфіденційність: локальна обробка даних on-premises усуває ризики витоку інформації.
- Відповідність стандартам безпеки: сумісність із КСЗІ України, вимогами NIST SP 800-53 та профілем NIST AI 600-1.
- Економічна ефективність (TCO): зниження витрат більш ніж у 2.5 рази порівняно з хмарними API чи серверними ЦОД.
- Висока живучість: працездатність ШІ-сервісів в автономному режимі (Air-Gapped) при відсутності інтернету.
- Самовідновлення та SLA: автоматичне керування життєвим циклом інференс-контейнерів у кластері K8s.
- Юридична чистота: використання open-source моделей та комплаєнс із ліцензією NVIDIA GeForce EULA.
- Оцінка якості: інтегрований автоматичний контроль за метриками RAG-Triad та Legal Benchmark Dataset (LBD-UA).