GPT-4. Руководство по использованию API OpenAI (3000,00 руб.)

Стр.2

Стр.3

Стр.4

Стр.5

Стр.6

Стр.7

Стр.8

Стр.9

Аймен Эль Амри GPT-4. Руководство по использованию API Open AI

Стр.2

OpenAI GPT For Python Developers The art and science of AI-powered apps with GPT-4, Whisper, Weaviate, and beyond Aymen El Amri

Стр.3

GPT-4. Руководство по использованию API Open AI Аймен Эль Амри Москва, 2024

Стр.4

УДК 004.4 ББК 32.371 А62 А62 GPT-4. Руководство по использованию API Open AI / пер. с англ. В. С. Яценкова. – М.: ДМК Пресс, 2024. – 274 с.: ил. Аймен Эль Амри ISBN 978-5-93700-299-0 В книге рассказывается о том, как использовать генеративные текстовые модели поколений GPT-3.5 и GPT-4 для создания приложений различного назначения, в числе которых интерактивный психотерапевт, интеллектуальный голосовой помощник, система рекомендации товаров, генератор заметок в соцсетях, система распознавания речи и многие другие. Вы научитесь использовать векторные базы данных, узнаете, как управлять уровнем креативности моделей GPT, применять современные методы генерирования высококачественного текста, и даже организуете диалог между двумя чат-ботами. Примеры и практические упражнения помогут закрепить пройденный материал. Издание предназначено для тех, кто владеет основами языка программирования Python и собирается использовать GPT в реальных сценариях для решения прикладных задач. УДК 004.4 ББК 32.371 Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-5-93700-299-0 © Aymen El Amri 2024 © Оформление, издание, перевод, ДМК Пресс, 2024

Стр.5

Оглавление Предисловие от издательства .......................................................... 9 Предисловие ...................................................................................... 10 Об авторе ...........................................................................................................11 История OpenAI и ChatGPT .............................................................. 12 Об этой книге ....................................................................................................15 Оставайтесь на связи ........................................................................................16 Как работает GPT? ............................................................................ 17 Подготовка среды разработки ....................................................... 20 Важные примечания ........................................................................................20 Установка Python, pip и виртуальной среды для разработки ........................21 Получение ключа API OpenAI ..........................................................................22 Установка официальных средств интеграции Python ...................................23 Тестирование ключей API ................................................................................23 Доступные модели и выбор оптимального варианта ................ 26 Модели OpenAI и важные соглашения ............................................................26 Какую модель лучше использовать? ...............................................................28 Серии моделей OpenAI .....................................................................................29 Серия GPT-4 ..................................................................................................29 Серия GPT-3.5 ...............................................................................................30 Серия InstructGPT-3 ......................................................................................31 Базовая серия GPT-3 .....................................................................................32 Серия Codex ...................................................................................................33 Content Filter .................................................................................................34 Серия DALL-E ................................................................................................34 Серия TTS ......................................................................................................35 Модель Whisper .............................................................................................35 Модель встраивания .....................................................................................36 Использование функции завершения ........................................... 39 Вводный пример ...............................................................................................39 Роли system, user и assistant .............................................................................42 Роль system ....................................................................................................42 Модели и цены OpenAI.....................................................................................36 Что дальше?.......................................................................................................38

Стр.6

6  Оглавление Роль user ........................................................................................................43 Роль assistant .................................................................................................43 Завершение чата и обучение на нескольких примерах .................................43 Форматирование вывода .................................................................................45 Ограничение количества выходных токенов .................................................48 Управление остановкой завершения ..............................................................50 Температура и галлюцинации .........................................................................55 Параметр top_p .................................................................................................58 Что выбрать – temperature или top_p? В чем разница? ..................................60 Потоковая передача ответа API .......................................................................61 Управление повторяемостью: presence_penalty и frequency_penalty ............62 Что штрафовать – частоту или наличие? ........................................................64 Управление количеством результатов через API ...........................................65 Заключение .......................................................................................................66 Продвинутые примеры и разработка промптов ......................... 67 Что такое разработка промптов?.....................................................................67 Обучение на нескольких примерах: основной метод разработки промптов .......................................................................................69 Избыточная генерация и выбор лучшего варианта .......................................74 Генерация знаний по запросу: создание песни в стиле рэп..........................79 Что такое Apple – фрукт или компания? .........................................................82 Динамическое управление количеством токенов..........................................88 Создание интерактивного помощника в окне командной строки ...............92 Что дальше?.....................................................................................................101 Встраивание .....................................................................................103 Что такое встраивание? ..................................................................................103 Варианты применения: от поисковых систем до беспилотных автомобилей .......................................................................103 Tesla: применение встраиваний в беспилотных автомобилях ...............104 Kalendar AI: применение встраиваний в управлении продажами .........104 Notion: расширенные возможности поиска .............................................104 DALL-E 2: преобразование текста в изображение ....................................104 Изучаем встраивание текста ..........................................................................105 Встраивания для нескольких входов .............................................................107 Пример применения: семантический поиск................................................107 Что такое косинусное подобие ......................................................................108 Семантический поиск и встраивание текста OpenAI ..................................112 За кулисами: как работает встраивание .......................................................123 Продвинутые примеры встраивания ..........................................125 Рекомендация подходящего сорта кофе .......................................................125 Разработка более «нечеткого» поиска...........................................................137 Прогнозирование категории новостей: классификация с помощью встраивания ................................................................................141 Оценка точности классификатора ................................................................146 Точность приложений классификатора в различных сценариях ...............151

Стр.7

Оглавление  7 Тонкая настройка и передовые методы работы .......................153 Обучение на ограниченных примерах .........................................................153 Улучшенное обучение на ограниченных примерах.....................................154 Практическое применение тонкой настройки .............................................154 Полезные приемы тонкой настройки ...........................................................159 Выбор модели .............................................................................................159 Проверка набора данных ...........................................................................159 Максимальное количество токенов ..........................................................169 Размер набора данных ...............................................................................169 Тестирование и улучшение обучения (гиперпараметры) ......................................................................................169 Количество эпох .........................................................................................169 Коэффициент скорости обучения .............................................................170 Размер пакета .............................................................................................171 Ориентировочная оценка затрат ..............................................................171 Качество набора данных ............................................................................173 Экспериментируйте и учитесь ..................................................................174 Используйте проверочные наборы данных .............................................174 Тестирование модели .................................................................................175 Анализ результатов ....................................................................................175 Продвинутый пример тонкой настройки: виртуальный консультант .............................................................. 177 Набор данных, используемый в примере .....................................................177 Подготовка данных ........................................................................................179 Проблемы использования модели в реальных приложениях .....................187 Контекст и память: как сделать искусственный интеллект более реалистичным ......................................................................189 В чем проблема? .............................................................................................189 Отсутствие контекста = хаос случайности ....................................................189 История = контекст .........................................................................................191 Недостатки переноса контекста через историю ..........................................193 Память «последним вошел – первым вышел» (LIFO) ...................................193 Проблема с памятью типа LIFO .....................................................................196 Избирательный контекст ...............................................................................196 Применение векторной базы данных .........................................204 Введение ..........................................................................................................204 Что такое векторная база данных? ................................................................204 Пример 1. Использование Weaviate для повышения контекстной зависимости модели ......................................................................................206 Пример 2. Семантический поиск с помощью Weaviate и OpenAI ...........................................................................................219 Пример 3. Генеративный поиск с помощью Weaviate и OpenAI ...........................................................................................226

Стр.8

8  Оглавление Распознавание и перевод речи с Whisper ..................................236 Что такое Whisper? ..........................................................................................236 С чего начать? .................................................................................................238 Распознавание и перевод речи ......................................................................239 Использование Whisper SDK в коде Python ..................................................240 Использование API OpenAI для преобразования аудиозаписи в текст ........................................................................242 API распознавания .........................................................................................242 API перевода ...................................................................................................243 Улучшение качества распознавания речи с Whisper ...................................244 Очистка аудиозаписи .................................................................................244 Использование подсказки .........................................................................244 Постобработка полученного текста ..........................................................246 Преобразование текста в речь .....................................................248 Диалог между двумя ИИ на основе OpenAI и Weaviate ...........251 Генерация аудиофайлов .................................................................................251 Использование аватаров модели...................................................................268 Что дальше?.....................................................................................................271 Послесловие ....................................................................................272 Предметный указатель ..................................................................273

Стр.9