flora_35

На прошлой неделе не было деплоя по простой причине: производительность в браузере уперлась в потолок. Скорость работы кода JS весьма ограничена в достаточно сложных операциях с десятками и сотнями тысяч точек. В какой-то момент браузер упрется в потолок потребления памяти и ресурсов. Выход? Перенести проект на более эффективный код. Например, на Python, вынести все расчеты в приложение, хранить данные в нормальной SQLite, чтобы они не занимали много места, но при этом гораздо быстрее обрабатывались. Поэтому сейчас код не без помощи нейросетей транслируется на python в виде десктоп-приложени…

jsrooky.github.io/flora35/ Пятничная версия Скорее всего, мы постепенно пришли к версии 1.0. Так и запишем. В этой версии включены практически все функции, которые планировались. Есть достаточно много статистик, которые работают с загружаемыми данными. Напоминаем, что загружаемые данные – это не основное, на что нацелен проект. Мы начинали его как приложение для ваших собственных данных и их анализа. С этой версии мы переходим преимущественно проработке того, что уже сделано. Новые функции будут появляться только после того, как уже существующие будут работать на 100% от ожидания. Ну, а в…

vk.ru/@bernddasbrott-reliz-v-pyatnicu Наш деплой в пятницу. В основном здесь только оптимизация отображения данных, но есть и некоторые другие новости. Написали в виде статьи, так как это удобнее для чтения и восприятия.

https://jsrooky.github.io/flora35/ Вот и деплой в пятницу. В этой версии у нас: 1. Самое красивое – регионы России. Пока только в превью и потыкать. Можно красиво раскрасить. Сейчас остальные функции для них заблокированы. Но их можно добавить во временные слои. 2. Временные слои – самое сложное, что удалось реализовать. Из внешних баз данных можно выгрузить как все точки данных, так и выборочно – то, что нужно. И разместить эти точки во временных слоях. Временный слой сохраняется у вас на компьютере и доступен всегда, пока вы его не удалите. Слой можно перенести в архив (см. картинку 2).…

После пятничного деплоя работаем над функцией временных слоев. Что это такое: Временный слой может содержать любые данные, но при этом он отображается отдельно от основного слоя внешней базы данных, если она выгружена. Во временный слой можно сохранить выборочную загрузку точек отдельного вида, рода, семейства. Во временный слой можно превратить фильтры, которые сейчас применены к данным на карте. Таким образом можно зафиксировать состояние. Все временные слои хранятся на компьютере пользователя и не занимают место в удаленной базе. Они будут храниться столько времени, сколько потребуется…

Деплой прошел не очень гладко. Но он прошел. Что нового? Нового много. Во-первых, подключили импорт из GBIF и iNaturalist. Можно выбирать регионы страны для загрузки. Можно выбирать категории загрузки. Обновления данных инкрементальные (только новые точки, а не база целиком). Кстати, выгружается всё на локальный компьютер и на нем же обрабатывается. При этом нашли модуль обработки загрузки сумели оптимизировать загрузку, чтобы она шла параллельно и данные сохранялись в более компактном виде. Добавили обработку плотных групп (когда куча точек с одинаковыми координатами). И спрединг точек, л…

Сделали загрузку данных по регионам страны (регион определяется на основании данных из GBIF). И выяснили, что при загрузке сотен тысяч точек проекту становится плохо. Работаем над исправлением этого дефекта и возможным переводом хранения данных в другой формат. В пятничном деплое будет только одна область, чтобы не уложить ваши компьютеры и интернет-соединения, если попробуете новые функции.

Добавили красивую и последовательную загрузку данных из GBIF и iNaturalist.

Вот такие красивые штуки получаются, если выгружать данные из GBIF. Происходит это потому, что пользователь напихал координаты для кучи находок в одно место. Точки, стало быть, располагаются вообще вместе, друг на друге. Хорошо, что в API есть функция dedupeFeaturesByCoordinates которая чуть-чуть раскидывает точки, не меняя их координат. Она и рисует такие красивые "цветочки". Для геоинструментов точка остается на месте.

Нам кажется, что геоинформационный инструментарий нашего проекта расширяется вполне последовательно. Но ему не хватает фактических данных для тестирования функций и работы. Отсюда следует логичный шаг – получать эти данные откуда-то. Ну, а поскольку ничего уникального в нашем проекте нет, то и умничать мы тут не будем и обратимся к классикам и первоисточникам. В первую очередь посмотрели в сторону базы GBIF, как максимально доступной с точки зрения API. И именно включение загрузки данных из этой базы делаем целью на следующий деплой. Кроме собственно загрузки нужно будет как-то подружить ее…