Скрипт, который регулярно опрашивает устройство или датчик (например, через RouterOS API — см. соседнюю статью серии), обычно должен не просто вывести значение на экран, а сохранить его для последующего анализа. В статье — рабочий паттерн логирования в CSV и SQLite на одной только стандартной библиотеке Python, без внешних зависимостей.
CSV или SQLite: когда что
- CSV — проще всего открыть в Excel/LibreOffice, передать коллеге, прочитать глазами. Плохо подходит, если нужны выборочные запросы («покажи только за последний час») — для этого придётся читать весь файл целиком.
- SQLite — один файл, обычный SQL для выборок, индекс по времени — запрос за диапазон дат не требует вычитывать всё. Хуже подходит для «просто посмотреть глазами» без дополнительных инструментов.
На практике — писать в оба сразу не накладно (данные небольшие, запись происходит раз в несколько секунд/минут, не в реальном времени микросекундных измерений), а польза от обоих форматов разная.
Схема данных
Минимальная схема, достаточная для большинства задач логирования показаний: время, источник (какое устройство/датчик), значение.
import csv
import sqlite3
import time
from datetime import datetime, timezone
from pathlib import Path
def read_metric(source: str) -> float:
"""Заглушка опроса устройства/датчика — в реальном коде здесь
вызов API (например, fetch_system_resource из статьи про RouterOS API)
или чтение с Modbus/датчика."""
...
Запись в CSV: append, не overwrite
def log_to_csv(path: Path, rows: list[tuple[str, str, float]]) -> None:
"""Дописывает строки в CSV. newline='' обязателен на Windows — иначе
csv.writer добавит лишние \\r\\n. Открываем в режиме 'a', не 'w' — иначе
каждый вызов стирал бы предыдущие записи."""
is_new = not path.exists()
with path.open("a", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
if is_new:
writer.writerow(["timestamp", "source", "value"])
writer.writerows(rows)
f.flush() # без явного flush данные могут остаться в буфере ОС
# и потеряться при внезапном отключении питания до следующего flush
Для долго работающего процесса (логирование месяцами) один бесконечно растущий CSV-файл неудобен — стоит добавить ротацию по дате (новый файл на каждые сутки, readings_2026-10-26.csv) или по размеру, если объём записей заранее неизвестен.
Запись в SQLite: батч-вставка и WAL
def init_sqlite(path: Path) -> sqlite3.Connection:
conn = sqlite3.connect(path)
conn.execute("PRAGMA journal_mode=WAL") # WAL позволяет читать во
# время записи — без него читающий процесс (например, дашборд) может
# получить "database is locked" пока пишущий процесс держит транзакцию
conn.execute(
"""
CREATE TABLE IF NOT EXISTS readings (
id INTEGER PRIMARY KEY AUTOINCREMENT,
ts TEXT NOT NULL,
source TEXT NOT NULL,
value REAL NOT NULL
)
"""
)
conn.execute("CREATE INDEX IF NOT EXISTS idx_readings_ts ON readings(ts)")
conn.commit()
return conn
def log_to_sqlite(conn: sqlite3.Connection, rows: list[tuple[str, str, float]]) -> None:
# executemany + параметризация (?, ?, ?) — без неё и без батч-вставки
# на больших объёмах данных вставка по одной строке с commit на каждую
# заметно медленнее на тысячах записей, а конкатенация значений в SQL-
# строку вместо параметров — путь к SQL-инъекции, даже если сейчас
# данные приходят не от пользователя, а с устройства
conn.executemany(
"INSERT INTO readings (ts, source, value) VALUES (?, ?, ?)", rows
)
conn.commit()
Индекс idx_readings_ts создаётся один раз при инициализации — без него запрос WHERE ts BETWEEN ... AND ... на таблице с сотнями тысяч строк будет читать таблицу целиком (full table scan) вместо быстрого поиска по индексу.
Цикл опроса целиком
def run_demo(n_cycles: int = 5, sources=("sensor-1", "sensor-2")) -> None:
csv_path = Path("readings_demo.csv")
db_path = Path("readings_demo.sqlite3")
conn = init_sqlite(db_path)
try:
for _ in range(n_cycles):
rows = []
now = datetime.now(timezone.utc).isoformat(timespec="seconds")
for source in sources:
rows.append((now, source, read_metric(source)))
log_to_csv(csv_path, rows)
log_to_sqlite(conn, rows)
time.sleep(0.2)
finally:
conn.close() # незакрытое соединение — частая причина
# "database is locked" при следующем запуске скрипта, если
# процесс не завершился штатно
Пример реального запуска этого кода (данные — синтетические, из read_metric со случайным значением, не показания реального устройства, цель — показать формат, а не содержание):
--- readings_demo.csv ---
timestamp,source,value
2026-10-26T14:42:50+00:00,sensor-1,60.33
2026-10-26T14:42:50+00:00,sensor-2,20.37
2026-10-26T14:42:51+00:00,sensor-1,29.41
2026-10-26T14:42:51+00:00,sensor-2,46.76
...
--- readings_demo.sqlite3: последние 5 записей ---
('2026-10-26T14:42:51+00:00', 'sensor-2', 35.46)
('2026-10-26T14:42:51+00:00', 'sensor-1', 39.06)
('2026-10-26T14:42:51+00:00', 'sensor-2', 53.14)
('2026-10-26T14:42:51+00:00', 'sensor-1', 54.15)
('2026-10-26T14:42:51+00:00', 'sensor-2', 54.04)
Типичные ошибки
- Без
flush()после записи в CSV. Данные остаются в буфере ОС; при аварийном завершении процесса (OOM,kill -9, отключение питания на embedded-устройстве) последние записи теряются, хотя скрипт их формально «записал». - Одна строка — одна транзакция SQLite без батчинга.
executemanyвнутри одной транзакции (одинcommit()на пачку) намного быстрее, чемexecute+commitна каждую строку по отдельности — каждыйcommitэто обязательная синхронизация с диском (fsync). - Нет индекса на поле, по которому фильтруют запросы. Если логирование работает месяцами и таблица выросла до сотен тысяч строк, запрос без индекса на
tsстановится заметно медленнее с ростом таблицы — индекс дешевле создать сразу, чем диагностировать деградацию потом. - SQL-строки собираются конкатенацией, а не параметрами. Даже если источник данных — «доверенное» устройство, а не пользовательский ввод, привычка собирать SQL строкой (
f"...VALUES ({value})") переносится в код, где источник уже не доверенный, и это становится SQL-инъекцией.
Итог
Паттерн для логирования показаний — простой: единая схема ts/source/value, запись в CSV через append+flush, запись в SQLite через батч-вставку в WAL-режиме с индексом по времени, и аккуратное закрытие соединения в finally. Весь код в статье — только стандартная библиотека Python, без внешних зависимостей, запущен и проверен локально — вывод выше получен реальным запуском скрипта, а не придуман.