Открытый хакатон 11 декабря для учащихся 8-11 классов

Компания Golden Software выступила спонсором открытого хакатона E-PROFILE, проводимого школой Стембридж. К участию приглашаются ученики 8-11 классов, а также взрослые эксперты для менторинга, сопровождения и качественного судейства представленных проектов.

Время: суббота 11 декабря 2021 года, с 9.30 до 19.00.

Место: онлайн. Хакатон будет проводиться с использованием платформ Zoom и GoogleMeet. Все ссылки и необходимые документы будут высланы участникам накануне мероприятия на электронные адреса, указанные в регистрационной форме.

Участники: учащиеся 8-11 классов, прошедшие регистрацию. Количество участников ограничено (на 55 заявках закрывается реегистрация)

Тематика: на хакатоне мы посоревнуемся в поиске лучшего решения на тему “Как в электронном виде наглядно и удобно собирать портфолио достижений каждого ученика от 1 до 11 класса?”

Подвопросы:

• Формат ввода и хранения данных (простота и доступность с разных устройств и разных форматов)
• Качество данных (достоверность, актуальность) Безопасность и доступ к данным (разные уровни доступа)
• Визуальное оформление: панели, отчеты и т.д.
• Интеграция с базами данных

Ссылка на Положение и регистрационную форму.

Ссылка на регистрацию для взрослых волонтеров в роли экспертов, менторов и судей.

Конфигурация небольшого сервера для базы данных Гедымина

На днях один клиент обратился с просьбой порекомендовать конфигурацию сервера под базу данных размером в районе 50 Гб и количеством одновременных подключений 25+. Думаю такая рекомендация может быть интересна и другим нашим клиентам, а также как исторический материал, который через некоторое время позволит сравнить цены и оценить скорость развития вычислительной техники.

Курс доллара на момент написания где-то в районе 2.5 руб за 1 USD.

1. Память. Ставьте 256 ГБ самой быстрой DDR4, которую будет поддерживать материнская плата. Это на вырост. Если 256 Гб дорого, то никак не меньше 128 Гб. Планка на 32 Гб стоит сейчас где-то в районе 400 руб.
2. Процессор AMD Ryzen 9 5900X (12 ядер, ~1500 руб) или 5950X (16 ядер, ~2200 руб).
3. 4 планки NVME по 1 Tb. Что-нибудь вроде SSD Samsung 980 Pro 1TB (по 550 руб за штуку). Из них собрать два зеркала RAID 1. Одно использовать для размещения операционной системы, темп каталога и папки с архивами бд, а второе -- для размещения рабочего файла базы данных.
4. Материнская плата с поддержкой всего вышеперечисленного (в т.ч. PCI Express 4.0). Сеть желательно 10 Gbit Ethernet до центрального свитча. Видео встроенное в материнскую плату или самое простое. Монитор можно б/у-шный тоже самый простой.
5. Корпус можно самый обычный брать. Блока питания на 600 W хватит вполне.
6. Надежный бесперебойник.

На вскидку, суммарная стоимость будет:

8 * 400 + 1500 + 550 * 4 + 600 + 300 + 400 = 8200, округленно -- 9000 руб.

Этой техники хватит без проблем, по производительности, на 5 ближайших лет.

Смена хостинга для нашего сайта

Пока мы осваиваемся на новом хостинге могут наблюдаться небольшие перебои в работе сайта. Если при обращении к сайту возникает ошибка, очистите сохраненные cookies. Для этого откройте меню, кликнув по пиктограммке слева от имени сайта в адресной строке браузера и вызовите соответствующую команду.

https:// версия сайта тоже доступна, но пока не сделана основной. Надо еще поискать по коду все ссылки на незащищенный протокол и поменять их.

Если заметите ошибки в работе сайта, будем признательны обратной связи на адрес support[at]gsbelarus.com.

Охота на утечки памяти

В отладочную версию gedemin.exe и новейшую версию класса TCreator добавлено расширенное логирование:

1. Транзакции. Логируется старт и завершение транзакции. Показывается количествоактивных транзакций в данный момент времени. 
2. IBSQL. Логируется выполнение запроса. Для SELECT запросов логируется закрытие. Показывается количество открытых на чтение запросов.
3. Designer. Логируется создание и удаление объекта. Показывается количество объектов в памяти.
4. TCreator. Логируется создание и удаление экземпляра класса. Показывается количество TCreator  в памяти.

Обратите внимание, что в Гедымине скрипт-функции внутри диалогового окна зашитого в платформу выполняются в рамках отдельного модуля и внутри него будет идти свой отсчет экземпляров TCreator.

NB! Об использовании TCreator и других VB классов

Важное предварительное замечание: отладчик Гедымина вносит существенные искажения в исходный код скрипт-функций из-за чего сборка мусора может работать не так, как ожидает этого программист, и не так, как она будет работать в режиме без отладочной информации. Всегда проверяйте код в режиме без отладки перед передачей в промышленную эксплуатацию.

Особенности классов VBScript

1. Событие Terminate вызывается только в процессе удаления из памяти последнего экземпляра данного класса.
2. Наличие кольцевых ссылок, в т.ч. цепочек кольцевых зависимостей любой длины, приведет к тому, что ни один из экземпляров не будет удален сборщиком мусора и останется в памяти до конца работы программы.

Как мы столкнулись с проблемой неудаления объектов из памяти

В одной из задач с помощью TCreator создавалось модальное окно, которое оставалось на экране в течение всей рабочей смены. Оператор взаимодействаовал с окном сотни раз вызывая различные функции приложения. В процессе выполнения каждой функции выделялись ресуры (транзакции, запросы к базе данных и т.п.). Ресурсы не удалялись по завершении функции, так как локальный TCreator не уничтожался сборщиком мусора из-за наличия TCreator в месте создания модального окна. В конце концов исчерпывалась доступная оперативная память и приложение завершалось с ошибкой.

Возникает вопрос, как бороться с вышеуказанной частной ситуацией и как правильно работать с классами VBScript, чтобы максимально обезопасить себя от утечек памяти?

Использовать Designer.CreateObject -- Designer.DestroyObject

В описанном выше примере программист изначально понимает, что созданный экземпляр TCreator будет существовать до закрытия модального окна, а значит будет удерживать все последующие TCreator. В данном случае можно предложить решение с выделением и уничтожением ресурсов напрямую через глобальный объект Designer.

Создать копию класса TCreator

Вы автор подсистемы на платформе Гедымин. Код протестирован на корректную работу с ресурсами. Но, как обезопасить себя от ситуации, когда другая подсистема создаст долгоживущий TCreator и заблокирует все ваши механизмы очистки памяти? 

Следует создать полную копию класса TCreator в рамках своей подсистемы и использовать ее для выделения ресурсов.

А надо ли каждый раз выделять-уничтожать ресуры?

В указанном выше приложении сотни раз за рабочую смену выделялись и уничтожались одни и те же ресурсы -- транзакции и запросы к базе данных. Одно из решений -- пул ресурсов. Нужные объекты создаются единожды и привязываются к окну (у нас есть соответствующее свойство Objects у формы). Остается только стартовать/комитить транзакции в нужных местах и выполнять/закрывать запросы к базе данных, без уничтожения самих объектов. 

Альтернативный вариант в случае с экранной формой -- не создавать объекты для пула из программного кода, а просто разместить соответствующие компоненты на форме и обращаться к ним через метод GetComponent.

Принудительно уничтожить ресурсы в TCreator

В крайнем случае, ресуры выделенные через TCreator можно уничтожить принудительно, вызвав метод DestroyAllObjects. Теперь, даже если сборщик мусора не сможет удалить экземпляр TCreator, то в памяти останется только он, но не связанные с ним ресурсы.

Уничтожать TCreator как можно раньше

Стандартная практика -- TCreator уничтожается по завершении функции или процедуры. Если код процедуры или функции объемный и ресурсы нужны только в одной его части, то рекомендуется уничтожать экземпляр TCreator вручную, присваивая переменной значение Nothing.

...

Dim Creator

Set Creator = New TCreator

...

здесь работаем с ресурсами

...

больше нам выделенные ресурсы не нужны

Set Creator = Nothing

...

продолжается код функции/процедуры

...

Удаление объектов в VBScript и кольцевые ссылки

Сборщик мусора в VBScript вызывается всегда по окончании блока (процедуры или функции) и пытается понять, какие объекты, созданные внутри этого блока, больше не нужны, и удаляет их.

При наличии малейших сомнений, объект останется в памяти до завершения работы Гедымина.

К сожалению, простейшая кольцевая ссылка вводит сборщик мусора в заблуждение и не дает удалить участвующие в ней объекты.

Создадим вспомогательный класс с деструктором:

Class Foo
  Public Name
  Public Other
 
  Public Default Function Init(N)
    Name = N
    Set Init = me
  End Function

  Private Sub Class_Terminate
    MsgBox Name & ": Goodbye, world!"
  End Sub
End Class

Пока кольцевых ссылок нет, код работает корректно и созданные экземпляры удаляются по завершении процедуры:

Sub Macros
  Dim f, f2, f3

  Set f = (New Foo)("f")
  Set f2 = (New Foo)("f2")
  Set f3 = (New Foo)("f3")
End Sub

Но,  стоит появиться кольцевой ссылке и объекты останутся в памяти до завершения работы Гедымина:

Sub Macros
  Dim f, f2, f3

  Set f = (New Foo)("f")
  Set f2 = (New Foo)("f2")
  Set f3 = (New Foo)("f3")

  Set f.Other = f2
  Set f2.Other = f3
  Set f3.Other = f
End Sub

Как избежать такой ситуации? Принудительно присваивать объектной переменной значение Nothing после окончания ее использования.

Много полезной информации по внутреннему устройству интерпретатора VBScript можно найти в блоге разработчика Eric Lippert.

Новый сервер компиляции gedemin.exe

Многие годы за автоматическую компиляцию gedemin.exe и формирование пакетов прикладных решений отвечали несколько изощренных bat файлов. Технология пакетной обработки была заложена вместе с первыми версиями DOS еще в начале восьмидесятых прошлого века и предоставляет разработчику очень скудный функционал. Для любого отступления за рамки элементарного копирования/удаления и вызова сторонних программ приходится создавать свои утилиты или приспосабливать свободно доступные из всемирной сети.

Процесс запускался по расписанию один раз в сутки, а не в ответ на изменения в исходном коде платформы и решений.

Все бы ничего, пока строго один gedemin.exe "выпекался" из текущих исходников ветки master в репозитории. Несколько лет назад на крупных предприятиях значение генератора GD_G_UNIQUE стало подбираться к верхнему пределу доступных положительных 32-х битных целочисленных значений. В качестве быстрого решения проблемы мы ввели механизм поиска доступных интервалов в последовательности идентификаторов во всех таблицах базы и записи их в специальную таблицу, откуда Гедымин берет новые идентификаторы по мере необходимости. И... начали думать над долговременным решением, которым должно стать использование 64-х битных целочисленных идентификаторов записей.

Надо сказать, что 20 лет назад никто не задумывался над проблемой исчерпания идентификаторов и внутри исходного кода разработчики сплошь и рядом использовали тип Integer или полагались на длину строго в 4 байта при записи и чтении из буфера. Что еще хуже, Delphi 5 не поддерживает тип Int64 в библиотеке типов COM, через которую объекты Гедымина взаимодействуют с программным кодом на VBScript.

Первым шагом трансформации исходного кода стало введение специального типа для идентификаторов TID и набора функций для преобразования идентификаторов в/из строк, целых чисел, чисел с плавающей точкой и т.п. Разумеется, что замена типа затронула большинство из файлов проекта. Для справки, всего Гедымин насчитывает 5164 .pas файла, если считать вместе со сторонними библиотеками. В зависимости от символа условной компиляции ID64 тип TID превращается либо в 32-х битный Integer, либо в Int64. 

Существующий файл базы данных должен пройти через процедуру конвертации, которая меняет домены dintkey, dforeignkey и выполняет последовательность бэкап-рестор. Процесс конвертации базы данных необратим. После перехода на 64 бита вернуться назад уже нельзя.

Таким образом, у нас появляются три версии выполняемого файла:

1. стабильный, проверенный временем gedemin.exe c 32-х битными идентификаторами.
2. gedemin.exe на основе новых исходников с 32-х битными идентификаторами.
3. gedemin.exe c 64-х битными идентификаторами.

Поддерживать такое хозяйство с помощью устаревшей технологии bat файлов и остаться при этом в здравом рассудке не представляется возможным. Пару месяцев назад мы начали проект gbuilder -- сервер компиляции Гедымина и прикладных решений. В настоящее время готова первая очередь. Из специальной ветки с именем india компилируется gedemin.exe на основе стабильных исходников. Прикладные решения формируются из ветки master репозитория gedemin-apps. Сервер компиляции предоставляет разработчику интерфейс через чат-бот в телеграме @gbuilderbot. Компиляция активируется через github webhooks по мере поступления на сервер изменений в исходный код.

В скором времени будет добавлена компиляция бета версий gedemin.exe из новейших исходников с 32-х битными и 64-х битными идентификаторами.

gbuilder реализован на платформе NodeJS. Язык программирования Typescript. Скомпилированные файлы можно скачать из соответствующего раздела нашего сайта.

 Нам 27!

Традиционное фото с байдарок

Использование сторонних библиотек

• Если библиотека активно развивается и широко используется (например, React), ставим ее через npm/yarn. Периодически обновляем до последней версии и тестируем на совместимость с существующим кодом.
• Библиотека широко используется, но уже не развивается (например, classnames), действуем аналогично предыдущему пункту.
• Автор забросил библиотеку, но она активно развивается в одном из форков (найти такой мы можем с помощью Network diagram на сайте github. Пример: jison). Устанавливаем библиотеку из гит репозитория активного форка с помощью npm. Если промежуточные изменения нестабильны -- устанавливаем стабильную ветвь или определенный коммит. Дополнительно, клонируем себе репозиторий в папку Lib и периодически делаем pull.
• Мы собираемся развивать стороннюю библиотеку. Делаем ее форк в свой аккаунт. Клонируем в папку Lib и ведем разработку в ней. Устанавливаем в проект с помощью npm из гит репозитория своего форка.
• Папка Lib не входит в проекты.
• Не используем git submodule для установки сторонних библиотек внутрь своего проекта. По крайней мере на VS Code наличие сабмодулей загромождает интерфейс панели управления git. Да и удаление сабмодуля из проекта дело хлопотное.

Конкретизируем следующий шаг

1. Есть разбор предложения "покажи всех клиентов из минска". сейчас он рисует дерево, где слова зеленые, а остальные узлы белые.
2. Наша задача: найти сопоставления для сущностей и, там где найдено, мы будем закрашивать узлы дерева красным цветом.
3. Для этого нам понадобится логическая ER модель базы данных.

   Текущая реализация строит ее на основе физической структуры, но это не совсем то, что нам надо. например, в физической модели будет присутствовать таблица GD_CONTACT, хотя такой сущности нет в логической модели, где мы имеем семь сущностей: Папка, Группа, Организация, Банк, Подразделение, Физическое лицо и Сотрудник предприятия.

   Все они базируются на одной физической таблице GD_CONTACT.

4. Предполагается, что мы добавим в БД (в дополнительные таблицы или в существующую таблицу AT_RELATIONS) информацию, которая позволит нам правильно извлекать логическую структуру БД.
5. Причем, если такая информация для таблицы не задана, то мы берем ее физическую структуру и на основе нее создаем сущность в логической модели.
6. Возвращаемся к нашему предложению:

   Сначала мы встречаем существительное "клиентов" -- "клиент" в ед. числе именительного падежа. Через заданный синонимический ряд "клиент - организация" мы можем установить соответствие этого существительного с сущностью "Организация" из логической ER модели базы данных.

7. Переходим к фразе "из минска". Тут возможны несколько вариантов сопоставления.

   а) Мы наделяем слова в нашем словаре семантическими категориями. Например, Минск -- это город, а город -- это место. Ищем в базе данных и находим справочник "Административно-территориальных единиц", а "Административно-территориальная единица" находится в смысловом ряду с городом, местом.

   б) Мы анализируем предлог "из" в предложной фразе "из Минска" и узнаем, что он имеет смысл места. Далее, через смысловой (синонимический) ряд выходим на справочник "Административно-территориальных единиц".

8. Весь анализ должен происходить на клиенте. Т.е. надо подумать о передаче схемы с сервера на клиент, представлении ее в памяти и объектах для работы с ней.
9. На сервере схема должна читаться однократно и храниться в оперативной памяти. Чтобы последующие обращения (покдлючения) клиентов не приводили к повторному длительному чтению всей структуры БД.