Как научить LLM работать с данными, а не просто писать правдоподобный SQL

Подключить LLM к базе и научить ее писать SQL несложно. Сложнее сделать так, чтобы она не просто уверенно писала какую-то правдоподобную ерунду, а реально делала что-то полезное.

В Яндексе мы уже полтора года внедряем AI в работу с данными. За это время мы научились уверенно ускорять свою работу, сделали полезные инструменты и совершили несколько эпичных провалов. Про парочку фейлов тоже расскажу — они оказались не менее полезными, чем удачные эксперименты.

Например, мы выяснили, что куча SQL-запросов — это паршивая база знаний, документация из кода не объясняет, зачем был написан этот код, а модель, которая красиво рассуждает, не обязательно понимает, что именно она сделала.

Это не доклад про очередной text-to-SQL. SQL — лишь последний и обычно не самый сложный шаг. Гораздо важнее научить модель находить правильные данные, различать канонические и случайные метрики, проверять себя и показывать человеку, откуда взялся ответ.

Я покажу архитектуру решения, которое работает: как связать агента с каталогом и семантическим слоем, как собрать бенчмарк на реальных задачах, как оценивать качество и какими проверками ловить ответы, которые выглядят убедительно, но на самом деле неверны.

Если вы пробовали внедрять LLM в работу с данными и начали подозревать, что промпта «ты опытный дата-инженер/аналитик» недостаточно, то приходите на доклад. По его завершении вы выйдете с доказательствами о пользе LLM, списком вещей, которые, скорее всего, не сработают, и набором рецептов, которые точно повысят качество ваших инструментов.