Кейс анализатор Wildberries

Wildberries – очень популярный маркетплейс, объединяющий множество продавцов и покупателей. Однако, многие поставщики страдают от несовершенной системы аналитики. Для решения этих проблем была разработана данная система, достаточно сильно расширяющая нативные возможности анализа маркетплейса.

Задачи проекта

1. Написать парсер для сбора информации с wildberries
2. Разработать архитектуру базы для хранения данных
3. Создать сайт на основе Laravel
4. Интегрировать интерфейс для работы со статистикой
5. Реализовать динамический вывод графической статистики
6. Оптимизация и доработка внутренней структуры под условия проекта

Комментарий SEO-эксперта

Основная сложность проекта – это высокая нагрузка и многотеррабайтные базы данных, которые ежедневно пополняются миллиардами строк.

Достаточно много времени уделив оптимизации структуры таблиц и запросов, наладив шардинг БД для повышения скорости и надежности, работа на этом не закончилась. Для эффективного управления таким количеством данных понадобился достаточно креативный подход по модификации логических связей и алгоритму обновления данных в таблице.

И только в совокупности с эффективной системой кэширования нам удалось достичь действительно хороших результатов.

Выполненные работы

1. Разработано 10 парсеров для сбора всеобъемлющей информации с wildberries
2. Проработана и оптимизирована архитектура БД
3. Разработан сайт на основе фреймворка laravel
4. Интегрирована система ag-grid для удобного управления таблицами
5. Интегрирована библиотека mpcharts для построения графиков по условиям клиента
6. Реализована система кэширования
7. Интегрирована система оповещения в telegram

Результаты работы

Был написан парсер, который ежечасно собирает полную статистику с торговой площадки (несколько десятков миллионов товаров), а также всю информацию о товарах, категориях и продавцах.

Сайт разработан на фреймворка Laravel 8. В процессе разработки мы не единожды использовали денормализацию БД и ее распределение на ряде серверов. Применены подходы для комфортной обработки данных с нескольких источников, а также формирование нетипичной структуры и группировки для быстрой выборки данных из БД. Вес базы данных исчисляется терабайтами.

Реализованы удобные динамические таблицы и графики для наглядного отображения информации

Отзыв клиента

Заказали большой полноценный сервис по аналитике wildberries . Написан целый ряд парсеров, а также скрипты для группировки и обработки данных с маркетплейса. Помимо этого реализован интерфейс со удобной подачей информации в виде графиков и динамических таблиц. Работа была проделана внушительная и сделана качественно, за что очень благодарны вашим программистам.

Никита, mpscanner.ru