Женя (civil_engineer) wrote,
Женя
civil_engineer

Categories:

Big data и с чем её едят

Коллега раньше работал программистом в страховой компании. Один из проектов был - рассылка потенциальным клиентам предложений об "очень выгодной" медицинской страховке. Базы адресатов добывались разнообразными и не всегда легальными путями, и надо было эти базы как-то между собой сопоставить, чтобы не задалбывать людей десятком одинаковых писем, не писать на адрес, с которого человек давно уехал, и в то же время никого не пропустить. Ну и сопоставляли по множеству критериев: фамилия, имя, дата рождения, номера телефонов, номер социального страхования (редко в каких базах есть), даты обращений к врачам и прививок (а этого добра хватало, базы в основном медицинские) и так далее. Типа если 25 параметров из 40 совпадает, то это тот же самый человек, а если только 24, то скорее всего разные.
Однажды к нашему Джону приходит бизнес-аналитик и говорит: давай исключим фамилию из списка обязательных критериев и переведем в необязательные. А то в этих фамилиях куча разночтений. Посылаем предложения Михельсону, Михалзону и Майклсону, а это, оказывается, один и тот же человек. Ну, исключили, добавили взамен каких-то еще медицинских цифр. Потестировали, вроде все в порядке. Пустили в продакшн.
Через месяц к президенту компании являются два господина с корочками ФБР и начинают интересоваться происхождением баз адресатов. Тот мнется и рыбные места выдавать не хочет.
- В чем дело, - спрашивает, - неужели население жалуется на спам? Вроде спамим в рамках дозволенного.
- Нет, тут все в порядке, население у нас привычное. А вот скажите, вы посылали по такому-то адресу коммерческое предложение на имя такого-то?
- Было дело.
- И почему вы решили, что он живет по этому адресу?
- Ну... я в такие тонкости не вникаю. У наших программистов есть свои алгоритмы.
- Понятно, - говорит ФБРовец. - У меня к вам большая просьба. Засуньте эти алготитмы своим программистам как можно глубже и никогда-никогда не доставайте. Мы убили два года, чтобы внедрить в банду своего агента. Придумали мужику шикарную биографию. Нарисовали все документы. Внесли изменения во все базы в интернете, до которых смогли дотянуться - в бандах теперь тоже умеют гуглить. И только агент приступил к работе, как получает от вас предложение о страховке. На новый агентский адрес. На свою настоящую фамилию. Никогда еще Штирлиц не был так близко к провалу.
Tags: edu
Subscribe
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 21 comments