ЦБ выдвинул новые требования к качеству данных. Как банку этим требованиям соответствовать?

С октября этого года в действие вступило Положение Банка России «О требованиях к системе управления операционным риском в кредитной организации и банковской группе» (№ 716-П). Значительная роль в этом положении отведена требованиям к обеспечению качества данных

Определитесь с тем, что такое качество данных

В первую очередь важно определиться с тем, что значит понятие «качественные данные». Прежде всего, чтобы быть качественными, данные должны быть точными и достоверными, соответствовать реальным и статистически вероятным значениям. Синтаксических и семантических ошибок в информации быть не должно. Кроме того, данные должны быть доступными, актуальными, полными. Также важно поддерживать согласованность, непротиворечивость данных в разных информационных системах и целостность идентификационных ссылок в структурах баз данных.

Более того, чтобы данные можно было назвать качественными, должна быть возможность увидеть источник их происхождения и его надёжность, историю изменения, преобразования, удаления, хранения, передачи данных. Также должна быть возможность восстановить данные (в том числе их функциональность и качество) в случае необходимости (например, после сбоя в ИТ-системе).

Применяйте опыт банков, которые уже применяют ПВР-подход

Центробанк и ранее выпускал требования к качеству данных в банках. Например, в № 483-П регулятор описывал требования к качеству данных в тех банках, которые реализуют у себя продвинутый ПВР-подход для оценки кредитных рисков. На опыт этих банков стоит ориентироваться тем кредитным организациям, которые раньше уделяли меньше внимания качеству данных.

Создайте новые корпоративные роли и процессы обеспечения качества данных

Оптимально, чтобы управлением данными в банке занимался – CDO – директор по данным. Обеспечение качества данных в компании тоже должно быть под его контролем. При этом оптимально создать отдельную позицию руководителя, который будет отвечать за общую организацию обеспечения качества данных, практическое выполнение работ и фактический уровень качества. Это может быть Data Quality Manager или Data Quality Officer. Технической очисткой данных и контролем их качества могут заниматься инженеры по данным.

Но работа по обеспечению качества данных не должна ограничиваться офисом CDO и техническими специалистами. У всех корпоративных данных важно выявить владельца (бизнес-подразделение, которое создаёт и использует те или иные данные). В бизнес-подразделениях должны быть назначены дата-стюарды и аналитики для проверки и повышения качества данных. Сотрудники, которые непосредственно вносят информацию в ИТ-системы банка (например, менеджеры по работе с клиентами в отделении) также должны быть ответственны за качество данных.

Для того, чтобы все сотрудники могли эффективно работать, нужно создать соответствующие процессы и документацию, которая будет регламентировать их деятельность. Документация при этом должна быть выстроена иерархично: от общих стратегий и политик до рабочих документов.

Сделайте процессы обеспечения качества данными максимально гибкими

Нужно быть готовым к тому, что процессы обеспечения качества данных придётся периодически пересматривать и менять. Придётся подстраиваться под новые источники данных, новые запросы потребителей данных (аналитики, финансисты, маркетинг и другие), новые требования регулятора. Даже процесс сбора данных как таковой находится в постоянном изменении и требует соответствующего изменения в процессах обеспечения качества. Так, до пандемии коронавируса данные о клиентах в ИТ-системы банка чаще всего заносили сотрудники отделений.

Из-за пандемии обслуживание клиентов массово переместилось онлайн. Клиенты стали чаще вносить данные о себе в приложения банка самостоятельно. При этом, согласно опросу DIS Group, 48% специалистов, которые работают с данными в российских банках, отметили, что переход к онлайн-банкингу во время пандемии повлиял на качество собираемых данных.

Расставьте мониторы качества данных на всём жизненном цикле данных

У любых корпоративных сведений есть цикл жизни: информация создаётся, перемещается между разными ИТ-системами и обрабатывается. На разных этапах этого цикла ИТ-специалисты или инженеры по данным должны выставить мониторы качества данных (Data Quality Monitor). По сути, такие мониторы – это датчики качества данных, которые будут замерять долю пропусков, выбросов, аномалий в данных, а также долю отклонения от требуемого уровня качества данных.

Каждый банк сам определяет оптимальное для себя количество мониторов качества. У лидеров в области обеспечения качества данных может стоять 200-400 контролей. Обычно в первую очередь мониторы ставятся для самых критичных систем и данных.

Также нужно постоянно собирать статистику по тому, на каких этапах цикла жизни данных чаще всего происходит ухудшение качества. На этих этапах мониторы качества также будут очень нужны. Так, если у вас данные передаются из ERP-системы в хранилище через коннектор, то вероятность ухудшения качества данных в коннекторе выше, чем непосредственно в самом хранилище.

Важно, чтобы ИТ-команда банка постоянно получала обратную связь от бизнес-подразделений при внедрении новых мониторов или ИТ-решений для мониторинга и контроля качества. Эта обратная связь обязательно должна учитываться.

Не нужно стараться повысить качество данных до 100%

67% российских специалистов и руководителей в области работы с данными считает, что 100% качество корпоративных данных не нужно ни одной компании (данные опроса компании DIS Group в сентябре 2020 года в рамках форума INFADAY 2020). Для разных бизнес-задач требуется совершенно разный уровень качества корпоративной информации.

Поэтому, если каких-то данных не хватает, не обязательно нужно стремиться дополнить их любой ценой. Если в базе нет информации о доходах кого-то из клиентов, это не значит, что сотрудник банка срочно должен звонить этому клиенту для выяснения нужных сведений. В некоторых случая качество данных можно повысить техническими средствами – специализированными решениями, которые позволяют искать и устранять дубликаты, исправления заведомо некорректных сведений и прочее.

В других случаях полезны будут аналитические методы, например, пропуски в данных можно заполнить регрессионными значениями. При этом важно не забыть сделать пометку, что в том или ином поле используются приблизительные значения.

Используете практики Data Governance

Методология стратегического управления данными Data Governance подразумевает каталогизацию всех данных и метаданных в компании, назначение ответственных за данные, внедрение оргструктуры офиса CDO, бизнес-процессов, ИТ-платформы для управления данными и метаданными. Метаданные – это данные о данных (в какой системе они были созданы, как были обработаны, куда перемещены, какие правила качества к ним были применены). Каталогизация метаданных в рамках Data Governance позволит при необходимости легко находить источник сведений и определять его надёжность.

Также важно создать единый реестр правил проверки качества данных. Правила проверки качества должны быть понятны не только инженерам по данным, но и бизнес-пользователям. Все проверки качества должны быть каталогизированы, изменения в правилах проверки нужно фиксировать.

Качество данных играют важнейшую роль для любой кредитной организации. Именно от качества данных зависит, насколько эффективно будет выстроена коммуникация с клиентами, как хорошо банк сможет оценить риски и насколько аккуратной будет отчётность. Новые требования ЦБ помогают банкам сделать значительный шаг вперёд, главное – грамотно этим шансом воспользоваться.