Американский юрист построил собственный сервер для работы с искусственным интеллектом, используя восемь подержанных ускорителей NVIDIA Tesla V100. Система обрабатывает юридические документы непосредственно в офисе, поэтому материалы клиентов не приходится передавать сторонним облачным сервисам.
В основе сборки лежат видеокарты Tesla V100 образца 2018 года с 32 ГБ памяти HBM2 каждая. Их установили на две специальные платы по четыре ускорителя. Внутри каждой группы видеокарты соединены через NVLink, а между двумя платами данные передаются по PCIe. Общий объем видеопамяти составляет 256 ГБ.
На сервере работает открытая модель DeepSeek V4.1 Flash, сжатая преимущественно до двух бит на параметр. Даже после сжатия ее веса занимают около 248,8 ГБ. Чтобы распределить нагрузку, разработчик разместил первые 20 слоев модели на одной плате, а оставшиеся 20 — на другой.
По собственным замерам владельца, система генерирует до 215 токенов в секунду при написании программного кода и до 118 токенов в секунду при подготовке юридических текстов. Токен — это фрагмент слова или отдельный символ, обрабатываемый нейросетью. При обработке длинных документов скорость чтения входных данных достигает примерно 2200 токенов в секунду.
Сервер уже используют для первичного анализа материалов дел: он извлекает факты, даты и числа, составляет краткие пересказы и готовит черновики документов. При этом юрист подчёркивает, что все материалы перед использованием проходят проверку человеком. По его оценке, локальная система способна взять на себя от 50 до 60% прежних задач с языковыми моделями.
Сборка обошлась примерно в 4800 долларов за две четырехпроцессорные платы — по 2400 долларов за каждую. Отдельные компоненты, включая материнскую плату, процессор, оперативную память и блоки питания, учитываются дополнительно. Для работы всей системы используются два блока питания общей мощностью 2800 Вт, подключенные к разным электрическим линиям офиса.
Во время настройки сервер несколько раз перезагружался из-за ошибок PCIe, а на одном разъеме питания обнаружили следы перегрева. После ограничения энергопотребления и замены проблемного компонента система стала работать стабильнее.
Владелец оценивает проект как способ сократить зависимость от платных ИИ-сервисов и лучше контролировать конфиденциальные данные. Пока сервер обрабатывает только один запрос одновременно, а его создатель рассматривает возможность дальнейшего развития системы.
Читайте также: В Китае испытали полое оптоволокно для двунаправленной передачи данных на 1000 км