228 lines
11 KiB
Python
228 lines
11 KiB
Python
import os
|
|
import json
|
|
import time
|
|
from datetime import datetime
|
|
from urllib.request import urlopen
|
|
from dotenv import load_dotenv
|
|
import mysql.connector
|
|
from mysql.connector import Error
|
|
from ensure_db import ensure_database_structure
|
|
|
|
# Загрузка переменных окружения
|
|
load_dotenv()
|
|
|
|
VOLK_CATEGORY_LIST = os.getenv('VOLK_CATEGORY_LIST')
|
|
VOLK_CATEGORY_DESC_PREFIX = os.getenv('VOLK_CATEGORY_DESC_PREFIX')
|
|
VOLK_API_VERSION = os.getenv('VOLK_API_VERSION')
|
|
MDB_HOST = os.getenv('MDB_HOST')
|
|
MDB_USER = os.getenv('MDB_USER')
|
|
MDB_PW = os.getenv('MDB_PW')
|
|
MDBASE = os.getenv('MDBASE')
|
|
LOG_FILE = os.getenv('LOG_FILE')
|
|
|
|
def log_message(message, category="VOLK_loader"):
|
|
"""Функция для записи в лог-файл с повторными попытками при блокировке"""
|
|
timestamp = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
|
|
log_entry = f"[{timestamp}] [{category}] {message}\n"
|
|
|
|
# До 5 попыток записи с увеличением задержки
|
|
for attempt in range(5):
|
|
try:
|
|
with open(LOG_FILE, 'a', encoding='utf-8') as f:
|
|
f.write(log_entry)
|
|
return True
|
|
except (IOError, OSError) as e:
|
|
if attempt < 4: # Не последняя попытка
|
|
time.sleep(0.4) # Задержка 400ms между попытками
|
|
else:
|
|
# После 5 неудачных попыток выводим в stdout
|
|
print(f"Не удалось записать в лог после 5 попыток: {log_entry.strip()}")
|
|
return False
|
|
return False
|
|
|
|
def load_categories():
|
|
"""Экспортируемая функция для загрузки категорий из JSON в базу данных"""
|
|
inserted_count = 0
|
|
updated_count = 0
|
|
|
|
try:
|
|
log_message("Начало работы")
|
|
|
|
# Проверка наличия URL
|
|
if not VOLK_CATEGORY_LIST:
|
|
error_msg = "Переменная окружения VOLK_CATEGORY_LIST не установлена"
|
|
log_message(error_msg, "ERROR")
|
|
print(error_msg)
|
|
return
|
|
|
|
# Чтение JSON из URL
|
|
log_message(f"Чтение данных из {VOLK_CATEGORY_LIST}")
|
|
with urlopen(VOLK_CATEGORY_LIST) as response:
|
|
data = json.loads(response.read().decode())
|
|
|
|
# Проверка версии API
|
|
api_version = data.get('api_version')
|
|
if api_version != VOLK_API_VERSION:
|
|
error_msg = f"Несовпадение версии API: получена версия '{api_version}', ожидается '{VOLK_API_VERSION}'. Обработка остановлена."
|
|
log_message(error_msg, "ERROR")
|
|
print(error_msg)
|
|
return
|
|
|
|
log_message(f"Версия API соответствует: {api_version}")
|
|
|
|
# Проверка наличия блока data
|
|
if 'data' not in data:
|
|
error_msg = "В JSON отсутствует блок 'data'"
|
|
log_message(error_msg, "ERROR")
|
|
print(error_msg)
|
|
return
|
|
|
|
categories_data = data['data']
|
|
log_message(f"Получено {len(categories_data)} записей для обработки")
|
|
|
|
# Подключение к базе данных
|
|
connection = mysql.connector.connect(
|
|
host=MDB_HOST,
|
|
user=MDB_USER,
|
|
password=MDB_PW,
|
|
database=MDBASE
|
|
)
|
|
|
|
# Установка временной зоны соединения в UTC
|
|
cursor_temp = connection.cursor()
|
|
cursor_temp.execute("SET time_zone = '+00:00'")
|
|
cursor_temp.close()
|
|
|
|
cursor = connection.cursor(dictionary=True)
|
|
|
|
# Проверка структуры БД
|
|
log_message("Проверка структуры базы данных")
|
|
ensure_database_structure()
|
|
|
|
# Список категорий для последующей загрузки описаний
|
|
loaded_categories = []
|
|
|
|
for item in categories_data:
|
|
# Проверка обязательного поля ID
|
|
if 'id' not in item or not item['id']:
|
|
log_message(f"Пропущена запись без id или с пустым id: {item}", "WARNING")
|
|
continue
|
|
|
|
# Подготовка значений
|
|
category_id = item['id']
|
|
# TITLE может отсутствовать или быть пустым - в этом случае используем пустую строку
|
|
title = item.get('title', '') or ''
|
|
|
|
# Проверка существующей записи
|
|
cursor.execute(
|
|
"SELECT AUTO_ID, ID, TITLE FROM categories WHERE ID = %s",
|
|
(category_id,)
|
|
)
|
|
existing = cursor.fetchone()
|
|
|
|
if not existing:
|
|
# Вставка новой записи
|
|
cursor.execute(
|
|
"INSERT INTO categories (ID, TITLE, description) VALUES (%s, %s, %s)",
|
|
(category_id, title, None)
|
|
)
|
|
inserted_count += 1
|
|
log_message(f"Добавление: Категория {category_id}, Название: {title if title else '(пусто)'}")
|
|
else:
|
|
# Обновление существующей записи (всегда обновляем TITLE, даже если оно пустое)
|
|
if existing['TITLE'] != title:
|
|
cursor.execute(
|
|
"UPDATE categories SET TITLE = %s WHERE ID = %s",
|
|
(title, category_id)
|
|
)
|
|
updated_count += 1
|
|
log_message(f"Обновление: Категория {category_id}, Новое название: {title if title else '(пусто)'}")
|
|
else:
|
|
log_message(f"Категория {category_id} без изменений")
|
|
|
|
connection.commit()
|
|
loaded_categories.append(category_id)
|
|
|
|
log_message(f"Загружено категорий: {len(loaded_categories)}. Добавлено записей: {inserted_count}. Обновлено записей: {updated_count}.")
|
|
|
|
# Загрузка описаний категорий
|
|
if VOLK_CATEGORY_DESC_PREFIX and loaded_categories:
|
|
log_message(f"Начало загрузки описаний для {len(loaded_categories)} категорий")
|
|
desc_updated_count = 0
|
|
|
|
for category_id in loaded_categories:
|
|
try:
|
|
desc_url = VOLK_CATEGORY_DESC_PREFIX + category_id
|
|
log_message(f"Запрос описания для категории {category_id} из {desc_url}")
|
|
|
|
with urlopen(desc_url) as response:
|
|
desc_response = json.loads(response.read().decode())
|
|
|
|
# Проверка версии API
|
|
api_version = desc_response.get('api_version')
|
|
if api_version != VOLK_API_VERSION:
|
|
error_msg = f"Несовпадение версии API при загрузке описания категории {category_id}: получена версия '{api_version}', ожидается '{VOLK_API_VERSION}'. Обработка остановлена."
|
|
log_message(error_msg, "ERROR")
|
|
print(error_msg)
|
|
# Останавливаем обработку
|
|
break
|
|
|
|
# Проверка наличия блока data
|
|
if 'data' not in desc_response:
|
|
error_msg = f"В JSON ответе для категории {category_id} отсутствует блок 'data'. Обработка остановлена."
|
|
log_message(error_msg, "ERROR")
|
|
print(error_msg)
|
|
# Останавливаем обработку
|
|
break
|
|
|
|
desc_data = desc_response['data']
|
|
|
|
# Получаем description из блока data
|
|
description = desc_data.get('description')
|
|
# Если description пустое, None или отсутствует, обнуляем поле в БД
|
|
if not description:
|
|
description = None
|
|
|
|
# Обновляем описание в базе данных
|
|
cursor.execute(
|
|
"UPDATE categories SET description = %s WHERE ID = %s",
|
|
(description, category_id)
|
|
)
|
|
connection.commit()
|
|
desc_updated_count += 1
|
|
|
|
if description:
|
|
log_message(f"Обновлено описание для категории {category_id}")
|
|
else:
|
|
log_message(f"Описание для категории {category_id} обнулено (пустое или отсутствует)")
|
|
|
|
except Exception as e:
|
|
error_msg = f"Ошибка при загрузке описания для категории {category_id}: {e}"
|
|
log_message(error_msg, "ERROR")
|
|
print(error_msg)
|
|
# Останавливаем обработку при ошибке
|
|
break
|
|
|
|
log_message(f"Завершение загрузки описаний. Обновлено описаний: {desc_updated_count}.")
|
|
|
|
log_message(f"Завершение работы. Добавлено записей: {inserted_count}. Обновлено записей: {updated_count}.")
|
|
|
|
except Error as e:
|
|
error_msg = f"Ошибка базы данных: {e}"
|
|
log_message(error_msg, "ERROR")
|
|
print(error_msg)
|
|
if 'connection' in locals() and connection.is_connected():
|
|
connection.rollback()
|
|
except Exception as e:
|
|
error_msg = f"Общая ошибка: {e}"
|
|
log_message(error_msg, "ERROR")
|
|
print(error_msg)
|
|
finally:
|
|
if 'connection' in locals() and connection.is_connected():
|
|
cursor.close()
|
|
connection.close()
|
|
|
|
if __name__ == "__main__":
|
|
load_categories()
|
|
|