Дата публикации: 20:01:07 ()
Microsoft Fabric продолжает эволюционировать, предлагая всё более мощные инструменты для интеграции данных, аналитики и искусственного интеллекта. В апреле 2026 года вышел значительный апдейт, который расширяет возможности платформы в областях инженерии данных, Data Science, хранилища и реального времени. В данной статье мы рассмотрим ключевые нововведения Fabric и покажем, как их можно использовать для анализа запросов пользователей к услугам гадалки в небольшом городе Камышлов.
Краткий обзор обновления Fabric (апрель 2026)
Согласно официальному анонсу Fabric April 2026 Feature Summary, обновление включает:
- Улучшения пользовательского интерфейса: вкладки с правокликом, изменяемый объект‑эксплорер, поддержка открытия мониторинговых задач в виде вкладок.
- Автоматическое генерирование описаний семантических моделей (Auto‑Description) через Copilot.
- Поддержка IBM Netezza ODBC‑драйвера (GA) и начало вывода из эксплуатации старого встроенного драйвера.
- Политика повторных попыток для Fabric Notebook (до 3 попыток с интервалом ~120 сек).
- Расширение Fabric Data Engineering для VS Code: управление рабочими пространствами, средами, Lakehouse‑зависимостями, экспорт/импорт pom.xml для Maven.
- Возможность создания и управления экспериментами и моделями машинного обучения в рабочих пространствах с включённой защитой исходящего доступа (OAP).
- Кросс‑workspace MLflow‑логирование для end‑to‑end MLOps.
- Новый модуль
sempy.fabric.adminв SemPy 0.14.0 – 75 административных API для управления tenant‑ом. - Поддержка explicit user transaction для ALTER TABLE в Fabric Data Warehouse.
- COPY INTO для JSONL‑файлов (первоклассный FILE_TYPE).
- Коннектор Mirrored Database Change Feed → Eventstreams для низколатентной обработки CDC.
- Интеграция Eventstream с Workspace Monitoring (queryable observability).
Почему анализ запросов к гадалке интересен?
В Камышлове, как и во многих небольших населённых пунктах, услуги гадалки остаються популярными. Понимание того, какие вопросы задают жители, позволяет:
- Оптимизировать расписание приёмов.
- Выявить сезонные и тематические тренды (например, вопросы о работе, здоровье, любви).
- Улучшить маркетинг и таргетинг рекламы гадалки.
- Предложить дополнительные услуги (например, онлайн‑консультации) на основе реального спроса.
Архитектура решения на базе Microsoft Fabric
Для анализа запросов мы предлагаем следующую схему:
- Источник данных – форма обратной связи на сайте гадалки или чат‑бот в Telegram, который сохраняет каждый запрос в виде JSONL‑строки (timestamp, user_id, text, optional metadata).
- Приём данных – использование
COPY INTOс типом FILE_TYPE = JSONL для загрузки напрямую в таблицу Fabric Data Warehouse. - Хранилище – таблица
dbo.FortuneRequestsв Data Warehouse, partitioned по дате для быстрого сканирования. - Обработка в реальном времени – если требуется мгновенная реакция (например, уведомление гадалке о spikes), подключаем Mirrored Database Change Feed к Eventstreams, где применяем SQL‑операторы для агрегации за последние 5 минут.
- Аналитическая слой – создаём семантическую модель в OneLake, используя Auto‑Description для автоматического генерирования читаемых метаданных (например, “Таблица содержит запросы пользователей к гадалке, включая текст запроса и время подачи”).
- Визуализация и отчёты – Power BI отчёты, опубликованные в Fabric, с визуалами: облако слов (word cloud) по запросам, динамика количества запросов по дням недели, топ‑5 тем (определяются через простую NLP‑модель, обученную в Fabric Notebook).
- ML‑компонент – в Fabric Notebook обучаем модель классификации тем (работа, здоровье, любовь, финансы) с использованием библиотеки
semopyилиscikit‑learn. Благодаря поддержке outbound access protection (OAP) модель может обучаться в защищённом рабочем пространстве, а результаты логируются через MLflow в другой workspace для продакшн‑развёртывания. - Администрирование – с помощью нового модуля
sempy.fabric.adminавтоматизируем создание/удаление рабочих пространств, назначаем политики доступа и контролируем использование ёмкостей (capacity) через Python‑скрипты, запускаемые по расписанию.
Пошаговый пример реализации
Инgestion JSONL через COPY INTO
COPY INTO dbo.FortuneRequests
FROM '@mystorage/requests_2026_09_08.jsonl'
WITH (
FILE_TYPE = 'JSONL',
FIELDTERMINATOR = '', -- JSONL имеет один объект per line
ROWTERMINATOR = '0x0A',
MAXERRORS = 0
);
Благодаря новой поддержке JSONL в COPY INTO, данные попадают в warehouse без необходимости предварительной трансформации.
Автоматическое описание семантической модели
На странице деталей семантической модели в OneLake нажимаем кнопку Generate description with Copilot. Получаем текст:
“Эта семантическая модель описывает таблицу FortuneRequests, содержащую пользовательские запросы к услугам гадалки. Каждая запись включает идентификатор пользователя, временную метку и текст запроса. Модель позволяет быстро находить часто задаваемые темы и строить агрегированные отчёты по времени.”
Описание можно отредактировать и сохранить, обеспечивая прозрачность для аналитиков.
Реальное‑время обработка изменений через Eventstreams
Включаем CDC на mirrored database (Azure SQL, где хранится таблица FortuneRequests). Подключаем Mirrored Database Change Feed к Eventstreams:
- В Real‑Time Hub выбираем mirrored database → Connect to Eventstream.
- В Eventstream добавляем SQL‑оператор:
SELECT
COUNT() AS request_cnt,
DATEADD(minute, -5, SYSTEM_TIMESTAMP) AS window_start,
SYSTEM_TIMESTAMP AS window_end
FROM ChangeFeed
GROUP BY TumblingWindow(minute, 5)
HAVING COUNT() > 100; -- порог для уведомления
Результат потока направляем в Activator, который посылает уведомление в Telegram‑канал гадалки о резком росте запросов.
Обучение модели классификации тем в Notebook
В Fabric Notebook (с включённой политикой повторных попыток) выполняем:
%%configure
{
"retriableOptions": {
"maxAttempt": 3
}
}
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
import mlflow
df = spark.sql("SELECT text, label FROM dbo.FortuneRequests WHERE label IS NOT NULL").toPandas
vec = TfidfVectorizer(max_features=5000)
X = vec.fit_transform(df['text'])
y = df['label']
clf = LogisticRegression(max_iter=1000)
clf.fit(X, y)
mlflow.log_param("vectorizer_max_features", 5000)
mlflow.log_metric("accuracy", clf.score(X, y))
mlflow.sklearn.log_model(clf, "topic_classifier")
Благодаря поддержке OAP, ноутбук может выполняться в защищённом workspace, а модель сохраняется в MLflow для последующего деплоя.
Визуализация в Power BI
Создаём отчёт:
- Визуал “Облако слов” – поле
textиз таблицы FortuneRequests. - Линейный график “Запросы по дням недели” – агрегация
COUNT(*)поDATEPART(weekday, timestamp). - Карточка “Топ‑5 тем” – используем измерение, полученное из модели классификации (добавляем столбец
predicted_topicв таблицу).
Отчёт публикуется в рабочее пространство Fabric и доступен гадалке через веб‑портал или мобильное приложение Power BI.
Преимущества использования Fabric для данного кейса
- Единая платформа – ingestion, хранение, аналитика и ML без необходимости перемещения данных между разными системами.
- Масштабируемость – возможность обрабатывать как небольшие объёмы запросов из Камышлова, так и растущий поток при расширении услуг.
- Безопасность – поддержка outbound access protection гарантирует, что чувствительные данные пользователей остаются в защищённом периметре.
- Автоматизация – SemPy admin API и политики повторных попыток снижают ручное вмешательство и повышают надёжность пайплайнов.
- Встроенный AI – Auto‑Description и интеграция с Copilot ускоряют документирование и поиск релевантных активов.
- Реальное время – Eventstreams с CDC позволяют мгновенно реагировать на аномалии в потоке запросов.
Обновление Microsoft Fabric от апреля 2026 года предоставляет богатый набор возможностей, которые идеально подходят для задачи анализа запросов к услугам гадалки в городе Камышлов. Используя JSONL‑ingestion через COPY INTO, реальное‑время обработку изменений в Eventstreams, автоматическое генерирование описаний моделей и мощные ML‑инструменты в Fabric Notebook, можно построить полноценную аналитическую систему, которая поможет гадалке лучше понимать свою аудиторию, оптимизировать работу и предлагать более целевые услуги.
Если вы планируете внедрить подобное решение, рекомендуем начать с пилотного проекта: загрузить несколько недель запросов в warehouse, построить простую семантическую модель и оценить ценность полученных инсайтов. После успешного пилота масштабируйте решение, добавляя функции реального времени и машинного обучения, используя все преимущества последнего обновления Fabric.
Статья подготовлена на основе официальной документации Microsoft Fabric (Fabric April 2026 Feature Summary) и актуальной даты .