Наконец появилась модель, которая делает аналитическую работу очень дёшево — и, похоже, она скоро нас уволит.
Джефф Нельсон поставил тот самый эксперимент, которого я ждал: Jev против собственных AI-функций BigQuery — AI.IF и AI.CLASSIFY, — на одних и тех же задачах, от одной строки до десяти миллионов. Не демо, а честное сравнение на публичных датасетах, с цифрами на руках.
С качеством всё почти скучно. Классификация тональности отзывов у всех трёх подходов разошлась меньше чем на балл. Классификация тем разошлась на 2,6 балла, в основном потому что Jev упорно записывал технологические статьи в «Бизнес» вместо «Наука/Технологии». Ну и ладно — одна размытая категория, всегда так будет.
А вот с ценой становится неуютно. Стандартный режим BigQuery растёт с каждой строкой: $4.10 за 100 000 статей. Собственный «оптимизированный» режим BigQuery почти не шевелится — около $0.077 что на 7 600 строках, что на 100 000, потому что он обучает крошечную модель на эмбеддингах после того как Gemini разметит небольшую выборку, а дальше просто её переиспользует. На десяти миллионах вопросов со Stack Overflow тот же оптимизированный режим отработал меньше чем за две минуты, с 94% совпадением с реальными тегами языков — за примерно ту же цену за прогон, что и на маленьком тесте.
А дальше — то, из-за чего любому, кто зарабатывает этим на жизнь, стоит напрячься: поверх всего этого добавили Jev, используя его собственный показатель уверенности, чтобы отправлять дальше только те строки, в которых он сомневался. Только 14% статей потребовали дорогую модель. Точность — такая же, как если бы дорогую модель гоняли на всех строках. Цена — в три раза меньше.
Никому не нужна топовая модель, которая нянчится с каждой строкой. Нужна дешёвая, которая отфильтрует те самые 14% реально сложных случаев, и модель побольше — только под них. У рутинного слоя аналитики — «прочитай это, классифицируй то, отметь странное» — теперь есть рабочий чертёж, как стоить в разы дешевле.
Так что да. Наконец появилась модель, которая делает аналитическую работу очень дёшево. И, похоже, она правда скоро нас уволит.