17 дек. 2017 г.

Каждой программе по своей "проблеме 2000 года"

Помните, мир стоял на ушах, ожидая как самолеты попадают и атомные станции повзрываются? К счастью, ничего такого не произошло благодаря тому, что все критическое ПО было вовремя проверено и исправлено.

В Гедымине есть своя "проблема  2000 года", а точнее проблема 32-х битного идентификатора бизнес-объекта. Чтобы быть еще более точным, не самого идентификатора а генератора GD_G_UNIQUE, с помощью которого идентификаторы добываются.

Данный генератор стартует со значения 147 000 000 и увеличивается по мере запроса новых идентификаторов. Причем, для сокращения количества запросов к серверу, увеличиение идет с шагом в 100, а неиспользованный на момент завершения программы интервал сохраняется в системном реестре.

Так как у нас ИД объекта -- это знаковое 32-х битное целое, то всего доступно чуть более 2-х миллиардов идентификаторов (мы не учитываем первые 147 миллионов, которые выделены под системные объекты платформы).

Два миллиарда число большое. Скажем, если непрерывно получать по одному идентификатору в секунду, то такого диапазона хватит на 63 года. Однако сам генератор ничем не защищен от некорректного использования, уже не говоря про то, что его можно просто "подвинуть" вперед вручную на произвольную величину. Нам встречался код, где генератор использовался для упорядочивания записей в выборке. Естественно, каждое перестроение запроса приводило к пустому расходу сотен, если не тысяч значений генератора.

Таким образом у нас появились первые клиенты, у которых значение генератора подошло вплотную к физическому лимиту.

Что делать?

Теоретически есть два варианта решения проблемы. Первый -- это сдвинуть, утрамбовать все идентификаторы "вниз" на выявленные пустые пробелы. Затем изменить значение генератора в соответствии с максимальным ИД в базе.

Технически, для этого придется выполнить следующую последовательность шагов:
  1. Сохранить все существующие ИД в некоторой структуре.
  2. Построить таблицу соответствия старый ИД -- новый ИД.
  3. Отключить все внешние и первичные ключи.
  4. Обновить ВСЕ записи в базе данных, заменяя старые идентификаторы на новые.
  5. После предыдущего шага желательно выполнить бэкап-восстановление БД для чистки мусора.
  6. Восстановить все первичные и внешние ключи.
На базах размером свыше 100 Гб мы не представляем как можно выполнить указанную последовательность в доступное нам технологическое окно (обычно 8-10 часов).  И, если где-то в коде, используется привязка к ИД записи, вместо РУИД, то такой код перестанет работать. К тому же, надо будет как-то вычистить из реестров всех компьютеров сохраненные интервалы или одномоментно заменить все экзешники, скорректировав алгоритм кэширования.

Второй вариант:
  1. Создать таблицу для доступных интервалов идентификаторов GD_AVAILABLE_ID.
  2. При обращении к функции gdcBaseManager.GetNextID проверять не приблизились ли мы к опасной черте. 
  3. Если нет, то работать по-старому -- через генератор. 
  4. Если уже пора, то заполняем таблицу и по-мере необходимости берем очередной интервал из нее.
На практике проверено, что заполнение такой таблицы занимает пару часов даже на самой большой, доступной нам базе данных.

Если спохватиться во-время, то остатка генератора хватит на работу устаревших экзешников (в сети большого предприятия трудно выявить и заменить все программы сразу) и кода, который получает занчение идентификатора менуя функцию GetNextID.

15 нояб. 2017 г.

В школе учат, что склонений существительного три, а их на самом деле СЕМЬДЕСЯТ ПЯТЬ!
UPD: 75 только для мужского рода. А всего -- 103! Вот полный список по классификации Зализняка:

20 окт. 2017 г.

К вчерашнему совещанию

Вот уже около 20 лет нам сильно мешает то, что при создании Гедымина мы сразу не решились многие вещи сделать самостоятельно, с нуля. Тогда мы думали: как, менять структуру базы данных? Это слишком сложно, просто не реально. Нам не хватит ни сил, ни знаний. Интерпретатор языка? Нет, слишком серьезная задача. Будем использовать готовый Windows Script Host. Собственный грид для отображения данных? Шутите? Максимум мы подправим тот, что предоставил нам Borland.

Как показали прошедшие годы, все можно сделать (или можно было бы сделать) самостоятельно, лучше, и не таких уж огромных ресурсов это требует.

Поэтому сейчас мы не боимся ни сложности задач, ни объемов работ. Как говорится: дорогу осилит идущий.

JS vs TypeScript vs Flow


Прелесть JS в слабой типизации. Обратите внимание на свойство enabled:
topScores: {
  id: 10050,
  caption: 'Top scores...',
  keyValue: 'F9',
  enabled: () => this.props.gameStage === gameStageEnum.ready,
  checked: false,
  exec: () => {
    const { dispatch } = this.props
    dispatch(showTS())
  }
},
nextPiece: {
  id: 20010,
  caption: 'Next piece',
  keyValue: 'F3',
  enabled: true,
  checked: () => this.props.nextPiece,
  exec: () => {
    const { dispatch } = this.props
    dispatch(nextPiece())
  }
},
Для быстрого прототипирования бесценное качество. Но, попытку изменить что-то в существующем коде отсутствие строгих типов способно превратить в ад из миллиона сложно выявимых ошибок, которые будут проявляться только в момент выполнения и только в определенных обстоятельствах. Как правило, в разгар ключевой презентации у важного клиента.

Строгая типизация -- это не только ловля блох в момент компиляции, но и серьезная подмога в командной работе, когда один разработчик пытается понять код, написанный другим.

TypeScript это не только контроль типов, но и более-менее приближенная к знакомой всем парадигме реализация ООП.

Winner: TypeScript

Технологический стек

TypeScript -- язык программирования.
Node + Express -- сервер.
Firebird 3 -- база данных. Будем так же смотреть на применимость MongoDB к части наших задач.
React/Redux -- фронтальная часть.
UI стили и компоненты -- выберем позже.

Начальные проекты

ng-back -- создан на основе шаблона TypeScript Node Starter. Требует запущенного сервера MongoDB (устанавливается отдельно).

ng-front -- создан на основе шаблона Create React App c опцией для TypeSript. Подробности по использованию React/Redux вместе с TypeScript  собраны тут.

ng-lingva -- запросы к данным на естественном языке.

ng-scratch -- визуальное проектирование/кодирование алгоритмов.

PS: ng stands for Next Gedemin or New Gedemin.

16 окт. 2017 г.

7 окт. 2017 г.

Новое в gedemin v. 2.9.4. См. историю изменений.

28 июл. 2017 г.

DATABASE TRIGGERS в Гедымине

Буквально на днях появится возможность создавать в Гедымине DATABASE TRIGGERS. Такие триггеры могут быть назначены на следующие события:
  • CONNECT
  • DISCONNECT 
  • TRANSACTION START
  • TRANSACTION COMMIT 
  • TRANSACTION ROLLBACK
Один из возможных сценариев использования. Представим программу гостиничного бронирования с которой одновременно работают несколько операторов. Бронирование происходит в диалоговом окне, где выбирается номер, период, условия оплаты, дополнительные пожелания. Здесь же вводятся паспортные данные гостей.

Окно работает на своей транзакции, которая по итогу или комитится -- кнопка Ок, или отменяется.

Периоды бронирования заносятся в отдельную таблицу (назовем её BOOKINGS). Здесь хранятся начало, окончание, ссылка на номер и ссылка на клиента. Перед добавлением записи происходит проверка не занят ли уже данный интервал.

В редких случаях возможна ситуация, когда два оператора одновременно распределят один и тот же номер на пересекающиеся интервалы. Так как в момент проверки транзакция не увидит запись, добавленную в BOOKINGS другой, еще не подтвержденной, транзакцией.

В такой ситуации на помощь приходит триггер на комит транзакции. Сначала, триггером на добавление/изменений записей в таблице бронирования мы выставим флаг о необходимости проверки при комите текущей транзакции:

CREATE OR ALTER TRIGGER after_ins_update
  FOR bookings
  ACTIVE
  AFTER INSERT OR UPDATE
  POSITION 32000
AS BEGIN
  RDB$SET_CONTEXT('user_transaction', 'check_tr', 1);
END

Затем, если флаг выставлен, сделаем проверку корректности данных:

CREATE OR ALTER TRIGGER transaction_check
  ACTIVE
  ON TRANSACTION COMMIT
  POSITION 32000
AS BEGIN
  IF (RDB$GET_CONTEXT('user_transaction', 'check_tr') = 1) THEN
  BEGIN
     --   проверяем не пересекаются ли интервалы
     --   если пересекаются, то вызываем EXCEPTION
  END
END

В тексте исключения можно подробно указать пользователю с каким именно бронированием возник конфликт.

8 июл. 2017 г.

Традиционный байдарочный поход

В этом году по живописнейшим местам Налибокской пущи, р. Ислочь.

23 мая 2017 г.

Differences between Firebird and InterBase

InterBase was created in 1985: it was the first commercial multi-versioning database. In the end of 1999, Borland decided to close InterBase development and published its source codes under InterBase Public License. This code was copied (it is permitted by the license), and Firebird was born – from the version 1.0 Firebird is a production-ready database, based on previous decades of InterBase development.

Как не запутаться в зависимостях объектов ПИ

Уже миллион раз успел пожалеть, что сделал в Гедымине режим добавления объектов в ПИ "с зависимыми". Это мощная функция, которая требует от применяющего досконального знания теории реляционных баз данных, структуры конкретной БД, внутреннего устройства своего прикладного решения.

Добросовестная разработка с использованием данной галки требует следования определенной последовательности операций:

  1. Добавить объект в ПИ с зависимыми.
  2. Открыть список ПИ. Найти нужное и по-порядку, по списку входящих в него объектов, проверить что именно добавилось. Убрать лишнее.
  3. Открыть список зависимостей для выбранного ПИ и проверить какие зависимости добавились. При необходимости изменить.
  4. Сохранить ПИ в репозиторий.
  5. Взять чистый эталон и загрузить на него пакет (каждый функционально завершенный и обособленный модуль должен быть оформлен в виде пакета).
  6. Протестировать работоспособность загруженного пакета.
Очень важно! Добавление с зависимостями можно делать, если разработка ведется на отдельной, специально выделенной, чистой актуальной базе данных.

Почему?

Представим, что за основую для разработки прикладного пакета мы взяли старую клиентскую базу с данными:

  1. В такой базе может присутствовать целый букет устаревших, временных, давно забытых ПИ. При добавлении "с зависимостями" они подхватятся и затянутся в список зависимых ПИ.
  2. В таблицах на таких БД могут присутствовать устаревшие, уже не используемые поля. Мало того, что они затянутся в ПИ, так еще затянутся и объекты на которые они ссылаются.
  3. Устаревшие скрипт-функции могут привести к тому, что код, работающий на разработочной базе, не будет работать на чистой базе, собранной из актуальных ПИ.

Прозаическая реальность оказалась далека от ожиданий. Добавление с зависимостями применяется чтобы на скорую руку получить результат, а какого он будет качества мало кого волнует. Потом, когда выясняется что ПИ не устанавливается, требуется затратить в 10 раз больше усилий, чтобы распутать зависимости между объектами и файлами ПИ.

Если не уверен в себе и на все 100% не понимаешь что происходит "под капотом" системы, то каждый объект надо добавлять в ПИ вручную, по-отдельности, в порядке реляционной зависимости. Что особенно ценно, при добавлении вручную маловероятны ситуации "запутывания" связей между объектами или файлами ПИ.

После автоматического добавления с завимостями следует тщательно изучить и скорректировать список зависимых ПИ. Общее правило тут такое: чем меньше зависимостей, тем лучше.

Пример: пусть мы создаем небольшое прикладное решение, расширяющее стандартный пакет Зарплата и Кадры. Назовем его Наряды.

  1. Поскольку решение не велико, то объекты разобъем по следующим ПИ:
    • GS.Зарплата.Наряды.Метаданные -- домены, таблицы, триггеры и т.п.
    • GS.Зарплата.Наряды.Хранилище -- экранные формы.
    • GS.Зарплата.Наряды.Макросы -- перекрытые методы, локальные макросы форм.
    • GS.Зарплата.Наряды.Отчеты -- печатные формы.
  2. Зависимости настроим следующим образом:
    • GS.Зарплата.Наряды.Метаданные зависит от пакета GS.Зарплата.
    • GS.Зарплата.Наряды.Хранилище зависит от GS.Зарплата.Наряды.Метаданные.
    • GS.Зарплата.Наряды.Макросы зависит от GS.Зарплата.Наряды.Хранилище.
    • GS.Зарплата.Наряды.Отчеты зависит от GS.Зарплата.Наряды.Макросы.
  3. Создадим пакет GS.Зарплата.Наряды и сделаем его зависимым от GS.Зарплата.Наряды.Отчеты. Обратите внимание, что нет необходимости в пакете ставить зависимость от всех ПИ нашего решения, так как между ними итак уже присутствуют зависимости.
  4. Сохраним ПИ в файлы и расположим их в подкаталоге Наряды в папке Зарплата и кадры.
  5. Запишем в репозиторий.
  6. Подключимся к чистой эталонной базе данных ипоставим на загрузку пакет GS.Зарплата.Наряды. Проверим, чтобы загрузка не кидала ошибок. Проверим работоспособность после загрузки.

7 апр. 2017 г.

Большой размер кэша в Firebird 3.0

Сам уже дважды прокололся, поэтому хочу предупредить всех. 2.5 мы используем в режиме Classic и размер кэша не велик. Обычно 2000 страниц. С 3.0 основная идея -- это гигантский кэш, соизмеримый с размером БД, и значительный буфер под сортировку в ОЗУ. Например, при размере памяти сервера 128 Гб мы рекомендуем кэш 64 Гб и 32 Гб под буфер сортировки.

Пока активная база одна, проблем не возникает. Но, при попытке открыть вторую базу (например, чтобы свериться с архивом или испытать экспериментальные функции на тестовой копии), оперативной памяти сервера не хватит на размещение двух кэшей и начнется своппинг в файл подкачки. Производительность сервера драматически снизится.

В таком случае следует уменьшить буфер одной из баз данных с помощью утилиты командной строки:

gfix database_name -user SYSDBA -password sysdba_password -buffers 2000

31 янв. 2017 г.

15 лет потребовалось, чтобы добавить в Дельфи удобную функцию вставки SQL из буфера, которая в Гедымине появилась еще в начале нулевых. Причем в нашей платформе она работает в обе стороны.

21 янв. 2017 г.

Новые поля в GD_CURRRATE и встроенная функция пересчета валюты

После деноминации курсы некоторых валют (в частности российского рубля) стали такими маленькими, что требуют хранения минимум 6-ти знаков после запятой. Для базы данных всё равно (домен dcurrrate у нас имеет точность до 10-ти знаков после запятой), но если такое значение где-то пройдет через тип Currency сохранятся только четыре знака, т.е. произойдет потеря точности. Мы добавили в таблицу GD_CURRRATE два поля amount и val. Где val -- это курс валюты за количество единиц amount. Теперь для российского рубля можно использовать amount=100 и четыре знака после запятой, как это делает наш Национальный Банк, когда публикует валютные сводки. При amount=1, val=coeff. Пересчет полей происходит на триггере. Весь старый код, который читает или изменяет только поле coeff сохранил свою работоспособность.

Попутно мы внесли следующие улучшения:

  • Для курса валюты можно указать кто его установил. Например, курс Национального банка, курс Валютно-фондовой биржи, курс банка Васи Пупкина и т.п.
  • Для курса можно указать не только дату, но и время, если курс меняется несколько раз в течение дня.

Для пересчета сумм из одной валюты в другую (в том числе и с использованием кросс-курса) в платформу добавлена функция System.GetCurrRate.