В этой статье мы сравним текущие открытые и платные модели больших языковых моделей, ChatGPT и SerpApi, для технической задачи, требующей точного и быстрого решения. Мы сделаем сравнение, извлекая разные части видимого текста из результатов Google Local.

Для получения более подробной информации о том, как выглядят результаты Google Local и как они могут быть представлены в структурированном порядке, вы можете посетить Документацию по API Google Local Results от SerpApi.

Для визуального подтверждения вот как выглядит этот функционал:

Пример 1:
Houndstooth Coffee 4.6(824) · $$ · Кофейня 401 Congress Ave. #100c · В здании Frost Bank Tower Закрыто ⋅ Открывается в 7 утра Уютное место для тщательно подобранного кофе

title: Houndstooth Coffee
rating: 4.6
количество отзывов: 824
уровень цен: $$
тип: Кофейня
адрес: 401 Congress Ave. #100c  · В здании Frost Bank Tower
информация о часах работы: Открывается в 7 утра
описание: Уютное место для тщательно подобранного кофе
варианты обслуживания: -
телефонный номер: -
лет на рынке: -

Пример 2:
A.D.A. Auto Repair Center 4.8(26) · Автосервис 30+ лет на рынке · Никосия · 00 000000 Скоро закроется ⋅ 3PM "Я настоятельно рекомендую этот автосервис."

title: A.D.A. Auto Repair Center
rating: 4.8
количество отзывов: 26
уровень цен: -
тип: Автосервис
адрес: Никосия
информация о часах работы: Скоро закроется ⋅ 3PM
лет на рынке: 30+ лет на рынке
описание: "Я настоятельно рекомендую этот автосервис."
телефонный номер: 00 000000
лет на рынке: -

Пример 3:
A to M MARKET 5.0(2) · Универмаг Никосия · Рядом с Macro Süpermarket Открыто ⋅ Закрывается в 2 ночи Покупки в магазине

title: A to M MARKET
rating:  5.0
количество отзывов: 2
уровень цен: -
тип: Универмаг
адрес: Никосия · Рядом с Macro Süpermarket
информация о часах работы: Открыто ⋅ Закрывается в 2 ночи
описание: -
варианты обслуживания: Покупки в магазине
телефонный номер: -
лет на рынке: -

Пример 4:
Expeditionary 4x4 5.0(1) · Магазин автозапчастей (000) 000-0000 Открыто 24 часа

title: Expeditionary 4x4
rating:  5.0
количество отзывов: 1
уровень цен: -
тип: Магазин автозапчастей
адрес: -
информация о часах работы: Открыто 24 часа
описание: -
варианты обслуживания: -
телефонный номер: (000) 000-0000
лет на рынке: -

Пример 5:

Hibbett Sports 4.2(51) · Магазин спортивных товаров 4.2 (51) Independence, KS Закрыто ⋅ Открывается в 10 утра · (000) 000-0000 Закрыто ⋅ Открывается в 10 утра Закрыто Спортивная обувь и спортивная одежда

Следуйте правилам:
    - Дайте ответ только после текста `Пример 5:`.
    - Не изменяйте текст из Примера 5.
    - Убедитесь, что проверили текст до и после для дополнительной информации.
    - Не давайте никаких объяснений к вашему ответу.
    - Не давайте примеров регулярных выражений.
    - Не давайте примеров кода.
    - Дайте только классификации.

title:

Открытые модели LLM с открытым исходным кодом

GPT-2

Контекст: GPT-2 имеет 124 миллиона обучаемых параметров.

Ответ:

title: Hibbett Sports 6.4(817) · Fitness Club 1.0 (5) 911-4

Вывод: Ответ содержит ошибки и дополнительную выдуманную информацию. Не может быть использован для парсинга, требующего множественных классификаций с самого начала.

GPT-2 Large

Контекст: GPT-2 Large имеет 774 миллиона обучаемых параметров.

Ответ:

title: Hibbett Sports 4.3

Вывод: Ответ содержит ошибки и дополнительную выдуманную информацию. Не может быть использован для парсинга, требующего множественных классификаций с самого начала.

GPT-2 XL

Контекст: GPT-2 Large имеет 1,5 миллиарда обучаемых параметров.

Ответ:

title: Hibbett Sports 4.0

Вывод: Ответ содержит лишнюю и выдуманную информацию. Не может быть использован для парсинга, требующего несколько классификаций с самого начала.

GPT-J 6B

Контекст: GPT-J 6B имеет 6 миллиардов обучаемых параметров.

Ответ:

title: Hibbett Sports

GPT-J 6B не производит ничего, кроме запрошенной классификации. Поэтому мне пришлось задать несколько классов, чтобы быть уверенным:

Второй ответ:

address: 4.2 (51) Independence, KS

Вывод: Хотя модель предоставила правильный ответ для заголовка, она не смогла классифицировать адрес. Не подходит для множественной классификации "из коробки".

Я должен признаться, что был удивлен скоростью, с которой был получен ответ. С правильной донастройкой, эта модель имеет потенциал использоваться для технических целей по относительно низкой цене и с быстрым временем отклика.

BLOOM

Контекст: У модели Bloom 176 миллиардов обучаемых параметров. Эта модель является гигантом среди моделей с открытым исходным кодом. Она поддерживает 46 языков и 13 языков программирования. Есть возможность переключения между жадным режимом для технических целей и режимом сэмплирования для творческих целей.

Ответ:

title: Hibbett Sports
rating: 4.2
number of reviews: 51
expensiveness: -
type: Магазин спортивных товаров
address: Independence, KS
hours information: Закрыто ⋅ Открывается в 10:00
description: Спортивная обувь и активная одежда
service options: -
phone number: (000) 000-0000
years in business: Закрыто ⋅ Открывается в 10:00
years in business: -

Вывод: Все ответы верны. Эта модель определенно подходит для технических задач в области инженерии. Я должен добавить свои дополнительные наблюдения о BLOOM. Ее недостатком является большой размер. На данный момент около 330 ГБ. Также вам потребуется как минимум 16 ГБ оперативной памяти и некоторое свободное время, чтобы протестировать этого гиганта. Они любезно создали управляемую конечную точку для тестирования. Но тестирование для конкретных целей технического характера, скорее всего, потребует тщательного создания подсказок вручную и принятия серьезного решения о ее настройке. Еще одна вещь, которую я заметил о BLOOM, заключается в том, что если она создает шумные данные в конце, всегда можно использовать несколько подсказок. Каким-то образом эта подсказка заставляет модель всегда показывать правильный ответ в первой строке сгенерированного текста. Также я тестировал подсказки на разных языках, чтобы посмотреть, как она себя ведет. Иногда она дает хорошие результаты для английских примеров, но плохие результаты для арабской классификации. Однако было бы разумно использовать одноязыковые подсказки для классификации на одном языке, чтобы быть на стороне безопасности. Хотя я должен признать, что я все еще удивлен тем, что это модель с открытым исходным кодом. Она действительно является гигантом по стандартам индустрии.

Платные модели

GPT-3 Text-Ada-001

Контекст: Эта модель является самой низкой по стоимости текстовой моделью OpenAI и стоит $0.0004 за 1000 токенов. Токены - это распознаваемые моделями части строк и букв. Эта модель принимает до 2048 токенов. Наш промпт состоит из 784 токенов (стоимость также зависит от размера токенов в ответе).

Ответ:

title:  Hibbett Sports
rating: 4.2
number of reviews: 51
expensiveness: Магазин спортивных товаров 4.2 (51)
type: Магазин спортивных товаров
address: 4.2 (51) Independence, KS
hours information: Открыто с 10:00 до 21:00
hours information: (000) 000-0000
description: (000) 000-0000
service options: -
phone number: (000) 000-0000
years in business: -

Вывод: Эта модель, даже при очень низкой температуре генерации (хорошо для последовательной классификации и минимального вымышленного текста), не смогла создать правильную классификацию. Я не уверен, помогло бы дообучение исправить это.

GPT-3 Текст-Babbage-001

Контекст: Эта модель является текстовой моделью с низкой стоимостью, которая лучше, чем Text-Ada-001 от OpenAI, и стоит $0.0.0005 за 1000 токенов. Эта модель также принимает до 2048 токенов.

Ответ:

title:  Hibbett Sports
rating: 4.2
number of reviews: 51
expensiveness: $$
type: Магазин спортивных товаров
address: Independence, KS
hours information: Открыто в 10 утра
description: (000) 000-0000 Закрыто ⋅ Открывается в 10 утра Закрыто
service options: -
phone number: -
years in business: -

Вывод: Эта модель пропустила многие важные части текста. Однако, модель, обученная на этой модели, имеет потенциал стать хорошим кандидатом для нескольких классификаций. Однако, настройка модели стоит $0.0006 за 1000 токенов, а использование настроенной версии стоит $0.0024. Это не очень осуществимо, учитывая, что базовая стоимость следующей платной модели ниже этой.

GPT-3 Curie

Контекст: Эта модель является текстовой моделью, которая лучше, чем Text-Babbage-001 от OpenAI, и стоит $0.0.0020 за 1000 токенов. Эта модель также принимает до 2048 токенов. Эта модель носит имя одного из самых крутых ученых в истории, бесспорной звезды Летучих университетов.

Ответ:

title:  Hibbett Sports
rating: 4.2
number of reviews: 51
expensiveness: -
type: Магазин спортивных товаров
address: Independence, KS
hours information: Закрыто ⋅ Открывается в 10:00
description: Спортивная обувь и активная одежда
service options: -
phone number: (000) 000-0000
years in business: -

Вывод: Все верно. Без сомнения, это один из хороших кандидатов для промышленного масштаба. Недостатком является размер токенов. Вам приходится передавать контекст и правила при каждом вызове, что стоит вам дороже. Цена за эту модель составляет $0.0020 за 100 токенов, что в некоторой степени ограничивает масштабирование. Кроме того, параллелизм в OpenAI составляет 3000 запросов в минуту для платных пользователей. Это еще одно ограничение, так как ограничение на количество токенов также увеличивает количество запросов, которые вы должны делать одновременно. Я бы предложил использовать эту модель для тестирования того, что у вас уже есть. Ее точность может помочь улучшить ваше существующее решение и предоставить обратную связь о его состоянии.

ChatGPT

Контекст: Я думаю, что этой модели даже не нужно представление. Возможности использования этой модели кажутся бесконечными. Однако сейчас она не предназначена для коммерческого использования, и мы не знаем, каковы будут цены и ограничения на одновременные запросы.

title:
Hibbett Sports
rating: 4.2
number of reviews: 51
expensiveness: -
type: Магазин спортивных товаров
address: Independence, KS
hours information: Закрыто ⋅ Открывается в 10:00
description: Закрыт. Спортивная обувь и активная одежда.
service options: -
phone number: (000) 000-000
years in business: -

Вывод: Она легко справляется с базовыми задачами классификации. Более того, возможность вести разговор открывает возможность повторного использования контекстуальной подсказки с легкостью. Однако у меня есть только одна озабоченность по поводу этой модели, и это ее сохраняемость. Было бы хорошо иметь опцию температуры для ChatGPT. Поскольку конкретные цены и ограничения не были объявлены, я не могу сказать ничего определенного о ее промышленном использовании.

GPT-3 Text-Da-Vinci-003

Контекст: Это лучшая текстовая модель OpenAI на данный момент и стоит $0.0.0200 за 1000 токенов. Время покажет, был ли выбор названия "Да Винчи" удачным или они должны были подождать более совершенной модели для этого имени. Но безусловно это самая передовая текстовая модель на данный момент. Ее точность в понимании запроса абсолютно превосходит лимит в 4000 токенов. Для многих технических задач даже не требуется донастройка.

Ответ:

title: Hibbett Sports
rating: 4.2
number of reviews: 51
expensiveness: -
type: Магазин спортивных товаров
address: Independence, KS
hours information: Closed ⋅ Opens 10 AM
phone number: (000) 000-0000
years in business: -
description: Спортивная обувь и активная одежда

Вывод: Это, безусловно, потрясающий продукт. Однако, когда вам нужно связывать разные части HTML, чтобы получить более глубокую информацию о функции, которую вы хотите извлечь, лимит в 4000 токенов становится серьезным препятствием. Еще одним препятствием является цена. Google позволяет 20 локальных результатов на страницу. Это означает, что предполагаемая стоимость для одной страницы видимых элементов будет около $0.16 за страницу. Теперь это только стоимость для парсинга функций. Вы можете добавить прокси-сервер и обслуживание сервера. Когда вы масштабируете это число, внутреннее решение, использующее только Text-Da-Vinci-003, становится жизнеспособным только тогда, когда у вас есть производная продукта, использующая функцию Google Local Results, которая более ценна, чем сырые данные. Это возможно только в том случае, если решение сокращает плату за обслуживание и уровень ошибок значительно меньше, чтобы вам не пришлось нанимать новый персонал для этого. Но я должен отметить, что в настоящее время это очень подходящая модель для тестирования существующих моделей. Ее семантическая мощь в понимании правил и порядка в генерации очень подходит для тестирования эффективности технических задач на данный момент.

Парсер результатов Google Local от SerpApi

Контекст: SerpApi - это API в реальном времени для доступа к результатам поиска Google. Он обрабатывает прокси, решает капчу и выполняет все необходимые предварительные обработки и парсинг структурированных данных для вас. Таким образом, любой вид предварительной обработки и парсинга, который вам нужно выполнить с помощью модели LLM, фактически обрабатывается SerpApi. Кроме того, SerpApi легко может выполнять парсинг невидимых для глаза данных, таких как идентификатор места или GPS-координаты.

Ответ:

    {
      "position": 1,
      "title": "Hibbett Sports",
      "place_id": "5028461961943251508",
      "place_id_search": "https://serpapi.com/search.json?device=desktop&engine=google&gl=us&google_domain=google.com&hl=en&ludocid=5028461961943251508&q=Sports+Shop&tbm=lcl",
      "lsig": "AB86z5USlyxNPnHhPC2QbT2VYbMc",
      "rating": 4.2,
      "reviews_original": "(51)",
      "reviews": 51,
      "type": "Магазин спортивных товаров",
      "address": "Independence, KS",
      "phone": "(000) 000-0000",
      "hours": "Открыто до 20:00",
      "description": "Спортивная обувь и активная одежда",
      "thumbnail": "https://serpapi.com/searches/63d036577bea270d77944e2d/images/581525d33cb22a3571e8ea251d12f5f818ab21466a5be2cfc24aa6e2784524e7.jpeg",
      "gps_coordinates": {
        "latitude": 37.2243156,
        "longitude": -95.7405395
      }
    },

Вывод: Основная сила SerpApi заключается в его приверженности своей миссии. Благодаря наличию команды, посвященной исправлению ошибок и добавлению новых функций, вы получаете максимальную отдачу от того, чего ожидаете. Кроме того, не нужно беспокоиться о прокси, обслуживании серверов и многих других вещах. Он превосходит точку ценообразования с большим отрывом и работает быстро. Вы можете ознакомиться с страницей ценообразования, чтобы сравнить цены, и страницей статуса API, чтобы получить больше информации о скорости. Он также гарантирует пропускную способность до 20% от количества поисков в вашем плане в час. Вы также можете зарегистрироваться, чтобы получить бесплатные кредиты. Вся эта информация достаточна, чтобы понять, что некоторые технические задачи все еще не могут быть выполнены с помощью LLM.

Заключительные мысли

Я вижу, что компании, которые имеют традицию внедрения искусственного интеллекта, имеют лучшее преимущество в будущем. Возможности таких инструментов, как показано выше, действительно впечатляют. Учитывая, что это только первые шаги в развитии искусственного интеллекта, нужно быть готовым к тому моменту, когда искусственный интеллект сможет превзойти традиционные методы. Это возможно только при наличии культуры вокруг искусственного интеллекта.

Если мы возьмем в пример мой предыдущий блог, я разобрал встроенную версию результатов Google Local с помощью гибридного искусственного интеллекта на основе сверточных нейронных сетей и сравнил результаты. В долгосрочной перспективе это была определенная победа в пользу искусственного интеллекта. Но учитывая, что есть отдельная страница для локальных результатов и ее можно полностью разобрать с помощью традиционных методов, это устраняет преимущества искусственного интеллекта до тех пор, пока он не станет быстрее и дешевле. Я знаю, что в будущем цены станут более доступными для отрасли, а скорость будет намного эффективнее. Это сделает весь процесс более интересным и эффективным.

Я благодарен читателю за его время и внимание. Содержание этой статьи содержит только часть моих наблюдений. По моему мнению, некоторые области, особенно требующие технической точности, в настоящее время не являются пригодными для LLM.

Оригинальная публикация на https://serpapi.com от 26 января 2023 года._