Commit de12843

11. **Summary**: В конце выводится summary с финальной утилизацией, списком успешно удаленных индексов и списком неудачных удалений

Задача команды - снизить IO кластера: перевести на асинхронный translog индексы,

в которые идёт запись (по умолчанию сегодняшние), и добавить эти же настройки во

все существующие шаблоны, чтобы новые индексы создавались уже асинхронными. Команда только **добавляет** настройки, обратно на

`request` она ничего не переводит

Целевые настройки:

"translog": {

"durability": "async",

"sync_interval": "1s"

}

**Алгоритм:**

1. **Проверка флага**: если `--translog-async-enabled=false` (по умолчанию) - логируем и выходим с успехом, ничего не трогая

2. **Формирование интервала**: `sync_interval = {--translog-sync-interval-seconds}s` (по умолчанию `1s`)

3. **Определение области работы**: по умолчанию берём только сегодняшние индексы - паттерн `*{today}*`, где дата в формате `date_format`. Именно в сегодняшние индексы идёт запись, а вчерашние и старее уже не пишутся. С флагом `--translog-all-indices` паттерн становится `*`, то есть обрабатываются все индексы кластера

4. **Получение индексов**: `GET /_cat/indices/{pattern}?h=index,status`

5. **Получение текущих настроек**: `GET /{pattern}/_settings/index.translog.*?flat_settings=true&expand_wildcards=open` - одним запросом на всю выборку

6. **Отбор индексов**. Пропускаем:

- системные индексы (начинающиеся с `.`)

- индексы не в статусе `open` (в закрытые писать настройки не нужно, они и не пишут на диск)

- индексы, не подходящие под `--translog-include-regex` или подходящие под `--translog-exclude-regex`

- индексы, у которых уже стоит `durability=async` и нужный `sync_interval` - **идемпотентность**: при повторном запуске пропуск

7. **Dry run режим**: выводим список индексов с текущими значениями настроек и выходим

8. **Применение к индексам**: `PUT /{index1,index2,...}/_settings` пачками по 50 индексов (каждый апдейт - это изменение cluster state, поэтому не по одному индексу и не все сразу):

- если пачка упала с ошибкой про non dynamic setting (старые кластеры не дают менять `sync_interval` у открытого индекса) - повторяем пачку только с `durability`, дальше работаем так же

- если пачка упала по другой причине - повторяем по одному индексу, чтобы одна проблема не блокировала остальные, и запоминаем неудачные

- в режиме `es5_compatibility` `sync_interval` для существующих индексов не отправляется вообще - в ES 5.x он задаётся только при создании индекса, то есть через шаблон

9. **Composable шаблоны** (если `--translog-templates-enabled=true`, по умолчанию да). Шаблоны обрабатываются все, независимо от `--translog-all-indices`:

- `GET /_index_template` - шаблоны читаются как есть, «сырыми» мапами, чтобы при обратной записи не потерять поля, о которых osctl не знает (`version`, `_meta`, `data_stream`)

- пропускаем шаблоны с именем на `.` и не подходящие под include/exclude регексы

- при `--translog-skip-catchall-templates=true` (по умолчанию) пропускаем шаблоны с паттерном на весь кластер (`index_patterns: ["*"]`, у legacy в ES 5.x это поле `template`), например `default-template`

- в `template.settings` добавляем `index.translog.durability` и `index.translog.sync_interval`, если их там нет или значения отличаются; нотация настроек в шаблоне сохраняется (плоская `index.translog.durability`, вложенная или смешанная)

- если ничего менять не нужно - шаблон не трогаем

- `PUT /_index_template/{name}` с полным телом шаблона

- в режиме `es5_compatibility` composable шаблоны пропускаются - в ES 5.x их нет

10. **Legacy шаблоны**: то же самое через `GET /_template` и `PUT /_template/{name}` (их создаёт, например, Jaeger, и в ES 5.x они единственные). Если для одного паттерна есть и composable, и legacy шаблон - применяется composable, но настройка добавляется в оба

11. **Summary**: список изменённых и неудачных объектов; при наличии неудачных команда завершается с ошибкой

**Почему раз в час:** новые индексы (новый сервис, новые сутки, пересозданный шаблон)

появляются постоянно, и до следующего запуска они пишут translog синхронно. Час - это

компромисс между нагрузкой на cluster manager и временем жизни «синхронного» индекса.

**Взаимодействие с `sharding`:** `sharding` при обновлении существующего шаблона

читает его целиком и меняет только `number_of_shards` и `query.default_field`,

остальные настройки (включая translog) переносятся как есть - настройки не

перетираются. Новые шаблоны `sharding` создаёт без translog-настроек, их добавит

ближайший запуск `translog`.

**Конфигурация:**

- `--translog-async-enabled` - главный выключатель (по умолчанию `false`)

- `--translog-sync-interval-seconds` - значение `sync_interval` в секундах (по умолчанию 1, допустимо 1-3600)

- `--translog-all-indices` - обрабатывать все индексы кластера, а не только сегодняшние (по умолчанию `false`)

- `--translog-templates-enabled` - обрабатывать ли шаблоны (по умолчанию `true`)

- `--translog-skip-catchall-templates` - не трогать шаблоны на весь кластер (по умолчанию `true`)

- `--translog-include-regex` - обрабатывать только индексы и шаблоны, подходящие под регекс

- `--translog-exclude-regex` - исключить индексы и шаблоны по регексу

- `--dry-run` - показать изменения без применения

osctl translog --translog-async-enabled --dry-run

osctl translog --translog-async-enabled --translog-all-indices

osctl translog --translog-async-enabled --translog-sync-interval-seconds 5

osctl translog --translog-async-enabled --translog-include-regex '^myapp-'