Сервер Manager. Структура работы Парсера

Solve your problems or get new ideas with basic brainstorming

Начать. Это бесплатно
или регистрация c помощью Вашего email-адреса
Rocket clouds
Сервер Manager. Структура работы Парсера создатель Mind Map: Сервер Manager. Структура работы Парсера

1. Сайты клиентов. Например Odemar.u

1.1. Синхронизация по расписанию ежедневно

1.1.1. 1. получают SQL Dump и обновляют основную базу карточек товара, масок , переводов названий

1.1.2. 2. получает от сервера Изображений необходимые изображения с сформированными названиями, url

1.2. Получает от Manager в реальном времени. (синхронизация) по базам данных

1.2.1. Seo и оптимизация

1.2.1.1. статья, новости

1.2.1.2. маски, метатеги и основные категории

1.2.1.3. SEO тексты каталогов и текстовых страниц

1.2.1.4. текст карточек товара. сохраняется при синхронизации

1.2.1.5. товар дня, популярные товары, супер цена дня, цена дня

1.2.1.6. добавление новых страниц

2. Наши саттелиты например Odevalov.ru

2.1. Синхронизация по расписанию ежедневно

2.1.1. 1. получают SQL Dump и обновляют основную базу карточек товара, масок , переводов названий

2.1.2. 2. получает от сервера Изображений необходимые изображения с сформированными названиями, url

2.1.3. 3. Формирует задание по маскам Url и названия изображений

2.2. Отправляет на Manager в реальном времени (синхронизация) по базам данных

2.2.1. пользователи (действия пользователей)

2.2.1.1. регистрация пользователей.

2.2.1.2. личный кабинет

2.2.2. заказы (действия пользователей)

2.2.2.1. новый заказ

2.2.2.2. коммуникации в заказе

2.2.2.3. оплаты

2.2.2.4. изменение статуса

2.2.2.5. логирование истории

2.3. Получает от Manager в реальном времени. (синхронизация) по базам данных

2.3.1. Заказы

2.3.1.1. добавление/удаление товара из заказ

2.3.1.2. изменение цвета размера

2.3.1.3. выставление счёта

2.3.1.4. коммуникации с пользователями

2.3.1.5. добавление ТТН

2.3.1.6. изменение статуса заказа

2.3.1.7. проведение оплат

2.3.1.8. изменение карточки пользователя

2.3.2. Seo и оптимизация

2.3.2.1. статья, новости

2.3.2.2. маски, метатеги и основные категории

2.3.2.3. SEO тексты каталогов и текстовых страниц

2.3.2.4. текст карточек товара. сохраняется при синхронизации

2.3.2.5. товар дня, популярные товары, супер цена дня, цена дня

2.3.2.6. добавление новых страниц

3. Сервер Images

3.1. Получает от Manager и делает

3.1.1. получают SQL Dump парсера по карточкам товара всех саттелитов

3.1.2. собирает изображения флеш и видео согласно SQL Dump

3.1.3. получает SQL Dump от Manager для всех саттелиов

3.1.3.1. привязка к site id

3.1.3.2. обрабатывает каждое изображение согласно маске Site ID

3.1.3.2.1. ресайз

3.1.3.2.2. наложение водяных знаков

3.2. Синхронизация по расписанию со всеми саттелитами

3.2.1. отправляет обработанные изображения на сайты сателлиты согласно site id. Соединяется по протоколу FTP и раскладывает необходимые изображения но папкам, согласно основным категориям по Site Id

3.3. парсит доноров (например sportsdirect)

3.3.1. 1. выбирает качественные URL изображения

3.3.2. 2. выбирает описание, состав, харектеристики

3.3.3. 3. вес, цвет, размер, цены, бренд, название, артикул

4. Сервер Manager делает:

4.1. Находит не переведенные тексты и передаёт переводчику PROMT

4.2. Парсер url и описания

4.2.1. 1. сначала собирает url

4.2.2. 2. собирает данные по карточкам товара

4.2.2.1. цвет

4.2.2.2. размер. проводит консолидацию размеров. сохраняет 2 параметра: размер спордиректа и новый советский размер

4.2.2.3. ссылки на изображения

4.2.2.4. описание

4.2.2.4.1. описание тавара

4.2.2.4.2. характеристики и состав

4.2.2.4.3. убирает название спортдирект и лишние ссылки

4.2.2.5. цены

4.2.2.6. артикул спортдирект

4.2.3. 4. формирует SQL Dump для сервера изображений

4.2.4. 5. Формирует SQL Dump для всех саттелитов

4.3. взаимодействие с нашими саттелитами

4.3.1. Получает от наших саттелитов

4.3.1.1. пользователи (действия пользователей)

4.3.1.1.1. регистрация пользователей.

4.3.1.1.2. личный кабинет

4.3.1.2. заказы (действия пользователей)

4.3.1.2.1. новый заказ

4.3.1.2.2. коммуникации в заказе

4.3.1.2.3. оплаты

4.3.1.2.4. изменение статуса

4.3.1.2.5. логирование истории

4.3.2. Отправляет на наши саттелиты

4.3.2.1. Синхронизация по расписанию ежедневно

4.3.2.1.1. 1. отправляет SQL Dump и обновляют основную базу карточек товара, масок , переводов названий

4.3.2.2. отправляет на наши сателлиты в реальном времени (синхронизация) по базам данных

4.3.2.2.1. Seo и оптимизация

4.3.2.2.2. Заказы

4.4. взаимодействия с саттелитами клиентов

4.4.1. Отправляет на саттелиты клиентов

4.4.1.1. Синхронизация по расписанию ежедневно

4.4.1.1.1. 1. отправляет SQL Dump и обновляют основную базу карточек товара, масок , переводов названий

4.4.1.2. отправляет на сателлиты клиентов в реальном времени (синхронизация) по базам данных

4.4.1.2.1. Seo и оптимизация

4.4.2. Получает от сателлитов клиентов

4.4.2.1. статистику. в проекте