Когда дело доходит до Искусственного Интеллекта, инновации в разработке алгоритмов становятся значительно важнее, чем усовершенствованное и доработанное оборудование. По крайней мере там, где речь идет о миллиардах и триллионах данных. К такому выводу пришла группа учёных из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL), которая провела первое исследование скорости улучшения алгоритмов на широком спектре примеров.
Дело в том, что алгоритмы сообщают программному обеспечению как правильно работать с текстовыми, визуальными и звуковыми данными. Чем эффективнее выстроен алгоритм, тем меньше работы приходится выполнять программному обеспечению. И, в теории, по мере совершенствования алгоритмов требуемая для их работы вычислительная мощность не просто не будет увеличиваться. Она будет падать.
Всегда есть иное мнение
Однако, другая группа исследователей ИИ, таких, например, как OpenAI и Cerberus, не согласна с этим. Они, напротив, делают ставку на то, что алгоритмы должны будут существенно увеличиться в размерах, вместе с возросшей сложность. А это значит, что для их работы потребуется более мощное и совершенное оборудование.
Как проводились исследования
Нил Томпсон был соавтором статьи, показывающей, что алгоритмы приближаются к пределам современного вычислительного оборудования. Команда CSAIL, возглавляемая этим выдающимся ученым Массачусетского технологического института, проанализировала данные из 57 учебников по информатике и более 1110 исследовательских работ, чтобы проследить, как менялись и улучшались алгоритмы с момента создания. В общей сложности они рассмотрели 113 «семейств алгоритмов» или наборов алгоритмов, решающих одну и ту же проблему, которые были выделены в учебниках как наиболее важные.
Оказалось, что 43% семейств алгоритмов из года в год улучшались на том же уровне или даже чуть сильнее, чем техническое оборудование. В то время как 14% алгоритмов и вовсе значительно опережали скорость, с которой увеличивалась производительность компьютеров.
Растущие доказательства
Новое исследование Массачусетского технологического института стало ещё одним доказательством того, что размер алгоритмов имеет меньшее значение, чем их архитектурная сложность. Недавнее исследование Google стало очередным тому подтверждением. Группа исследователей выяснила, что более сложная технически, но меньшая по весу модель GPT-3 (точно настроенной языковой сети) превосходит стандартную версию GPT-3 по большинству показателей.
«Благодаря нашему анализу мы смогли выяснить, сколько еще задач можно было бы выполнить с использованием того же количества вычислительной мощности после улучшения алгоритма», — поделился мыслями Томпсон в пресс-релизе. «В эпоху, когда воздействие компьютеров на окружающую среду вызывает все большее беспокойство, работа над улучшением алгоритмов, а не техники — способ улучшить работу предприятий и других организаций без каких-либо негативных последствий».