LiteLLM или OmniRoute: какой шлюз для больших языковых моделей (LLM) поставить на свой сервер? И LiteLLM, и OmniRoute дают одну конечную точку (endpoint), совместимую с интерфейсом OpenAI, для разных моделей. Но рассчитаны они на разные сценарии. В нашем тесте платформа LiteLLM с двумя рабочими процессами показала 130 обычных запросов в секунду и 38,5 — потоковых. Платформа OmniRoute — 36 и 25 соответственно; с поправкой на разницу в оборудовании — порядка 56 и 37. Однако скорость здесь не самый важный параметр. Платформа LiteLLM лучше подходит для команд: у нее есть отдельные ключи, бюджеты, учет расходов в базе данных Postgres, резервные модели и масштабирование через несколько рабочих процессов (workers). Платформа OmniRoute — это скорее вариант для отдельного разработчика, который работает с Claude Code, Codex, Cursor и несколькими подписками или бесплатными тарифами. Есть и важный нюанс: защита от ограничений частоты запросов (rate limits) в OmniRoute включена по умолчанию. Для своей модели или платного программного интерфейса (API) она в нашем тесте ограничивала шлюз примерно до 1 запроса в секунду — ее лучше отключить. Вывод простой: LiteLLM — решение для команд и высокой нагрузки. OmniRoute — для личных инструментов на основе искусственного интеллекта (ИИ) и нескольких поставщиков. Полное сравнение →

Talos Linux 1.14.2 уже доступен в HOSTKEY Что изменилось для Kubernetes-кластеров? В Talos 1.14 появились шифрование запросов к системе доменных имен (DNS over TLS и DNS over HTTPS), защищенная синхронизация времени (Network Time Security), минимальная версия протокола защиты соединений TLS 1.3 для etcd и kube-apiserver, встроенная маршрутизация по протоколу пограничного шлюза (BGP) через GoBGP и поддержка файловой системы Btrfs. Еще один важный практический апдейт — возможность применять многие настройки без перезагрузки узла. В версии 1.14.2 обновились ключевые компоненты: • Kubernetes 1.37.1 • Linux 6.18.54 • containerd 2.3.6 • runc 1.5.2 Также улучшена работа kubelet при изменении параметров процессора (CPU) и памяти. Talos Linux 1.14.2 уже доступен для автоматической установки при заказе сервера в HOSTKEY. Для production-кластеров → Для тестовых сред и небольших Kubernetes-кластеров →

63 миллиарда долларов США на вычислительные мощности для ИИ: ставка не только на графические процессоры (GPU) Для Anthropic готовят инфраструктуру на базе специализированных ИИ-ускорителей (XPU) и сетевых решений Broadcom. Финансирование сделки оценивается в 63 миллиарда долларов США, а поставки оборудования должны начаться в 2027 году. Среди прочего в рамках сделки планируют создать специальную проектную компанию, которая займется закупкой специализированных ускорителей XPU и сетевых решений Broadcom, а затем передаст их в лизинг Anthropic. Наш вывод: рынок ИИ-вычислений становится разнообразнее. Для крупных нагрузок все важнее становятся специализированные ускорители, сетевые решения и архитектуры, спроектированные под конкретные задачи. Меняется и сама модель финансирования инфраструктуры: крупные вычислительные мощности теперь создают с привлечением финансирования банков и инвестиционных компаний и последующей передачей оборудования заказчику в аренду.