В компании использовали ChatGPT для проведения автоматизированной проверки токенов с помощью системы ERC20 и сравнили результаты со стандартными проверками безопасности.
Что известно
Одной из функций, выполняемых подразделением Blockchain Security в компании Coinbase, является исследование наиболее эффективных и действенных способов проверки контрактов на токены и принятия решений о листинге активов на бирже. Когда они обнаруживают небезопасные вещи, то просят проектные команды принять соответствующие меры для снижения этих рисков. Если они этого не делают, то токены не размещают.
Команда Blockchain Security использует собственные инструменты автоматизации, разработанные для помощи инженерам по безопасности в проверке смарт-контрактов ERC20/721 в масштабе. С появлением ChatGPT от OpenAI и шумихи вокруг способности ИИ-инструмента обнаруживать уязвимости в системе безопасности представители криптобиржи Coinbase хотели проверить, насколько хорошо он будет работать в качестве главного инструмента, применяемого в масштабе, а не просто для разовой проверки.
Детали
Цель эксперимента — определить точность проверки безопасности токенов ChatGPT, сравнив результаты от нейросети с результатами стандартной проверки, выполненной инженером по безопасности блокчейна. Для проведения эксперимента были выбраны случайные токены ERC20 из общедоступных источников. Инженеры Blockchain Security используют внутренний запатентованный инструмент анализа.
Эксперты сравнили 20 оценок от ChatGPT и инженеров. Они совпали в 12 случаях. В 5 категориях из восьми ChatGPT отметил актив с высоким риском как с низким, что было ошибкой.
Почему это важно
Хотя нейросеть ChatGPT не достигла планки необходимой точности, и ее пока не будут интегрировать в основной процесс проверки активов, все же она продемонстрировала достаточный потенциал, чтобы в компании продолжили дальнейшее исследование. Команда биржи пришла к выводу, что ИИ не может пока заменить стандартную процедуру анализа, но может использоваться после нее для контрольной проверки.