Я не специалист, и это список моих идей для улучшения работы языковых моделей. К сожалению хорошо проверить это не имею возможности. Нигде не встречал таких идей. Интересно узнать мнения о них.

1. Новая функция потерь для минимизации переобучения на пре-тренировке. Предполагается что достаточно контролировать только "нужные" токены. Остальные выровняться косвенно.

def true_loss(y_true, y_pred, weight):
  vals = tf.gather(y_pred, y_true, batch_dims=-1)
  return tf.reduce_mean(tf.square(vals) * weight)

def true_acc(y_true, y_pred):
  y_pred = tf.argmin(tf.abs(y_pred), axis=-1)
  y_pred = tf.cast(y_pred, tf.float32)
  return tf.equal(y_true, y_pred)

def find_nearest_zero(x):
  return tf.argmin(tf.abs(x), axis=-1)

Тюнинг и интерактивный тюнинг:

2. Правка весов токенов в конкретных позициях ответа. Можно использовать для быстрого исправления конкретных косяков. Пример:
Есть: 12345 -> Надо: 12045 -> Обучающий пример: 12 -> Веса в словарях ответа принимаем за истину кроме веса интересующих токенов. Для вероятности 0 или 3 используем нужные значения. <eos> не используется.

3. Модификация потерь для токенов подстрок в ответе. Позволяет сосредоточиться на фрагментах которые важно исправить.

4. Считать ошибку только для не совпавших токенов(наиболее вероятного и целевого).

5. Не обновлять весы с градиентами меньше порога. Установив минимальный порог для градиентов, можно предотвратить незначительные обновления. Поможет вносить в веса модели только значимые изменения и бороться с общим дрейфом модели.

Генерация(inference):

6. Сжатие предложения в один вектор встраивания позволяет освободить место в контексте. Также его можно хранить в векторной базе данных вместе с текстом.

7. При генерации модель определяет предпочтительную температуру для каждого токена. Позволяет модели регулировать свой уровень креативности в зависимости от контекста. Особенно полезно для смешанных задач.

8. topT(Threshold) - Отбрасывание всех токенов с весом ниже порога.

def topT(values, threshold):
  norm = values / tf.reduce_max(values)
  return norm >= threshold

topK, topP ненадёжны потому что в выборку могут попадать мусорные токены.

9. Исправление ответа на лету если сэмплер внесёт серьёзную ошибку. Есть подозрение что уверенность ИИ в последующих токенах заметно уменьшится. Это можно отследить по уменьшению разброса вероятностей и откатить плохой токен.

Хорошо бы всё это появилось в API всяких сервисов.

10. Мои наблюдения показывают что количество нейронов важней количества параметров. Поскольку Dense слои жрут квадратично от размера, то придумал такой заменитель. Жор должен быть линейным от размера. С этим ширина слоя может быть в сотни раз больше. gather тут плохо подходит. Но как реализовать быстрей на фреймворках не придумал. Только если Cuda ядро делать. Да и вообще добавили бы Vulkan уже во фреймворки. Хватит поддерживать монополию Nvidia.

class Local1D(Layer):
  def __init__(self, kernel, units=0, **kwargs):
    super().__init__(**kwargs)
    self.kernel = kernel
    self.units = units

  def build(self, input_shape):
    if self.units < 1:
      self.units = input_shape[-1]
    self.filters = self.add_weight(
      shape=(self.units, self.kernel),
      initializer='glorot_uniform',
      dtype=self.compute_dtype)
    stride = (input_shape[-1] - self.kernel + 1) / self.units
    indices = tf.cast(tf.range(0, self.units, dtype=tf.float32) * stride, tf.int32)
    self.indices = tf.range(self.kernel) + tf.expand_dims(indices, -1)
    super().build(input_shape)

  def call(self, inputs):
    slices = tf.gather(inputs, self.indices, axis=-1)
    return tf.reduce_sum(self.filters * slices, axis=-1)

PS: Пока ждал модерации, скомпилировал свои идеи обучения:

При обучении оценивается только первое несовпадение токенов. Предсказанный токен понижается а ожидаемый повышается. Это исключает переобучение, совместимо с пре-тренировкой и настройкой, максимально дёшево, быстро обучается, и даёт наилучшую производительность.