5 января 2014 · Комментарий

Без заголовка

Имя не сохранено · Оригинал в ЖЖ ↗ · Ссылка на запись

Быстрые данные - когда в их спецификации отсутствуют известные нам архитектурные ошибки-замедлители. Примеры таких ошибок: 1. Невпихуемость. Ситуации вида "вы можете указать все данные в нашем прекрасном формате, но геометрию придётся добавлять отдельными файлами с указанием путей". На одной системе пути внезапно оказываются глобальными и ведущими не туда, на другую систему геометрию просто забыли прислать, etc. Это серьёзная ошибка дизайна. Формат должен поддерживать как многосхемность, так и включение произвольных бинарных данных. 2. Нерасширяемость моделей данных. Когда многосхемность (или многотабличность) есть, но приходится городить отдельную модель требований к оборудованию, вместо того чтобы реализовать её модальным дополнением к существующей модели характеристик оборудования. 3. Отсутствие чёткой спецификации. Пример - CSV: что именно будет использоваться в качестве разделителя, кавычек и escape-последовательности в кавычках заранее неизвестно, и может различаться даже между разными локализациями одной и той же версии MSOffice. Если файл пришёл не от заранее известной версии известного софта с известными настройками, то параметры его загрузки оператору приходится подбирать вручную. 4. Семантическая низкоуровневость. Например, если взять данные проекта на уровне паттернов и 15926-7, то информацию о каких-то характеристиках оборудования можно извлечь линейно или даже быстрее. Если те же данные через аксиомы слить в граф 15926-2, то автоматическое извлечение полезной информации из графа становится NP-полной задачей. Дорого, медленно, бестолково. 5. Синтаксический оверхед. Встречается во всех текстовых форматах и в ряде бинарных. Линейно завышает ресурсы на хранение данных в ~N раз и замедляет машинную обработку в ~N раз. Для человека не так страшен - нечитаемые текстовые форматы могут быть преобразованы в чуть более читаемые (например, для редактирования ужасных .plist их обычно конвертируют в .json, а затем обратно). У всего упомянутого (ад таблиц SAP, JSON, common blocks) наблюдаются различные ошибки из этого списка.