Интересные вопросы в компъютерных технологиях для обсуждения?

Я подумал, может кому-то будет интересно обсудить (что можно/доступно, и в "популярном" формате) некоторые вопросы компъютерных технологий? Навскидку (приблизительно):
1. NIC, Smart NIC, DPU, IPU для всяких там клаудов и гипер дата центров (типа meta  )
2. Чипы и архитектуры для AI/ML
3. Мифы и легенды квантовых компъютеров
4. Спираль развития мейнфреймовых идеологий 
5. Open Source CPU (RISC-V) + Domain Specific ASIC

и т.д. 

Прошу отозваться и покритиковать в целях обсуждения и разоблачения 

Мне интересно было бы про чипы для AI и кастомные чипы, которые делают не Intel/AMD/NVidia etc.

Zorkus пише:Мне интересно было бы про чипы для AI и кастомные чипы, которые делают не Intel/AMD/NVidia etc.

Ок, завтра попробую ответить. Не Intel/AMD/NVidia - это хорошо

Начнём. Для AI (на самом деле для Deep Learning NN, и, местами neuromorphic computing) применяют CPU, GPU, FPGA, ASIC. У каждого из них свои достоинства и недостатки. На самом деле, весьма интересные решения есть у IBM, Intel, AMD/Xilinx, Google. Но о них сказано не говорить, да и не всё можно говорить, так что не будем.

Область новая, весьма диверсифицированная, с большим зоопарком решений. Потом, надо оговорить, говорим ли мы о чипах для training или для inference. Кроме того, есть решения для edge, и наоборот, для мощных кластеров и гиперскейлеров. Есть решения для масс (типа специальная флашка на USB) и есть решения для эксклюзивных потребителей (типа биг фармы).

Из ведущих стартапов:
SambaNova Systems
Cerebras Systems
Graphcore
Groq
Mythic

В целом, информация от них в основном маркетинговый базз, что понятно. Я прошёлся по Cerebras и удивился. Решение - крайне неортодоксальное. Чип занимает полностью wafer (вафля, блин на сленге). Обычно на подложке (wafer) много однообразных чипов, что позволяет снизить стоимость, повысить надёжность. Наибольший специализированный чип, над которым я работал, имеет размер где-то 5x7 см. A тут надо представить огромный квадрат где-то 20x20 см или больше. Собственно, название WSE (Wafer Scale Engine) говорит само за себя. Недостатков масса - высокая стоимость, мощность (боюсь себе даже представить), низкая надёжность (они вроде это решили).  Но они сознательно на это пошли ради "brute force" производительности. "The Cerebras WSE-2 has 850,000 cores and 2.6 trillion transistors. The WSE-2 expanded on-chip SRAM to 40 gigabytes, memory bandwidth to 20 petabytes per second and total fabric bandwidth to 220 petabits per second." При такой монстровости, потребители только те, у кого тугой кошелёк, биг  фарма и национальные лаборатории. Из архитектуры следует что у них как бы CPU с сотнями тысяч ядер, но это скорее всего очень специализированные ядра. Другой вопрос - программирование. Я так понял, оно у них всё ещё на низком уровне, тогда как у других - стандартные тулы с поддержкой Tensor Flow и/или PyTorch. С другой стороны надо понимать, что если надо набрать гигантское масштабирование, то  Wafer Scale Engine имеет преимущества перед агрегированными кластерами с таким же масштабированием. В любом случае - решение нишевое, но интересное и возможно вполне прибыльное для таких ниш.

Продолжаю разговор, наедине с собой 

Приходит эра открытой архитектуры RISC-V. Сейчас она вроде АРМ в период зенита славы, АРМ теперь скучно, а RISC-V - интересно. Много интересного, но я не могу об этом говорить. Из общих рассуждений - архитектура поддерживает векторные инструкции, поэтому может быть эффективной для AI/NN как векторный/матричный/тензорный процессор. Хотя аппаратный ускоритель (фиксированная оптимизированная логика) будет всё-таки быстрее для тензорных вычислений. Вообщем, идеи нашего гугловского Паттерсона (RISC-V + targeted domain ASIC) начинают воплощаться в реальность. Простор для стартапов и золотая эра цифровой вселенной 

Разговор с собой на этом заканчиваю. Коллега, можете вызывать санитаров 

privet_hehe пише:Много интересного, но я не могу об этом говорить.

Почему?

Ill Niño пише:

privet_hehe пише:Много интересного, но я не могу об этом говорить.

Почему?

Об этом я тоже не могу говорить 

privet_hehe пише:Продолжаю разговор, наедине с собой 

Приходит эра открытой архитектуры RISC-V. Сейчас она вроде АРМ в период зенита славы, АРМ теперь скучно, а RISC-V - интересно. Много интересного, но я не могу об этом говорить. Из общих рассуждений - архитектура поддерживает векторные инструкции, поэтому может быть эффективной для AI/NN как векторный/матричный/тензорный процессор. Хотя аппаратный ускоритель (фиксированная оптимизированная логика) будет всё-таки быстрее для тензорных вычислений. Вообщем, идеи нашего гугловского Паттерсона (RISC-V + targeted domain ASIC) начинают воплощаться в реальность. Простор для стартапов и золотая эра цифровой вселенной 

Разговор с собой на этом заканчиваю. Коллега, можете вызывать санитаров 

Я бы откомментировал, но не могу комментировать

Zorkus пише:

privet_hehe пише:Продолжаю разговор, наедине с собой 

Приходит эра открытой архитектуры RISC-V. Сейчас она вроде АРМ в период зенита славы, АРМ теперь скучно, а RISC-V - интересно. Много интересного, но я не могу об этом говорить. Из общих рассуждений - архитектура поддерживает векторные инструкции, поэтому может быть эффективной для AI/NN как векторный/матричный/тензорный процессор. Хотя аппаратный ускоритель (фиксированная оптимизированная логика) будет всё-таки быстрее для тензорных вычислений. Вообщем, идеи нашего гугловского Паттерсона (RISC-V + targeted domain ASIC) начинают воплощаться в реальность. Простор для стартапов и золотая эра цифровой вселенной 

Разговор с собой на этом заканчиваю. Коллега, можете вызывать санитаров 

Я бы откомментировал, но не могу комментировать

Я откомментировал ведь, в меру возможного и из общих рассуждений - тренд и причины тренда.

Ну, тогда поздравим Зоркуса с получением гражданства, что ли...

Пафосная и предвзятая, но интересная статья с обзором компъютерной истории ARM IS THE NEW RISC/UNIX, RISC-V IS THE NEW ARM

privet_hehe пише:Пафосная и предвзятая, но интересная статья с обзором компъютерной истории ARM IS THE NEW RISC/UNIX, RISC-V IS THE NEW ARM

Статейку проглядел по диагонали (многа букафф). Но если по тезисам в названии, то по поводу RISC-V согласен. Он сейчас завоевывает те ниши, в которых ~20 лет назад доминировали армы и мипсы. А вот по поводу АРМ - не совсем. Он занимает гораздо более широкую нишу, чем в свое время "RISC/UNIX". Арм сейчас и в Cloud серверах и в телефонах и в обычных домашних компах (Macbook, Chromebooks) и в industrial and consumer electronics (где его местами начинает теснить RISC-V ).

Ну, у RISC/UNIX не было ниш в телефонах в своё время, поскольку и смарт телефонов тогда не было. Да и домашних компов было не густо. Охват приложений ведь тоже развивается со временем. Вполне возможно, что RISC-V займёт новые ниши, которых сейчас нет, но скоро появятся.

Вот, в потдтверждении тренда о возрастающей роли RISC-V: SiFive RISC-V for Google AI compute nodes
Впрочем, имея Паттерсона в Гугле, ничего удивительного

Лось пише:Начнём. Для AI (на самом деле для Deep Learning NN, и, местами neuromorphic computing) применяют CPU, GPU, FPGA, ASIC. У каждого из них свои достоинства и недостатки. На самом деле, весьма интересные решения есть у IBM, Intel, AMD/Xilinx, Google. Но о них сказано не говорить, да и не всё можно говорить, так что не будем.

Область новая, весьма диверсифицированная, с большим зоопарком решений. Потом, надо оговорить, говорим ли мы о чипах для training или для inference. Кроме того, есть решения для edge, и наоборот, для мощных кластеров и гиперскейлеров. Есть решения для масс (типа специальная флашка на USB) и есть решения для эксклюзивных потребителей (типа биг фармы).

Из ведущих стартапов:
SambaNova Systems
Cerebras Systems
Graphcore
Groq
Mythic

В целом, информация от них в основном маркетинговый базз, что понятно. Я прошёлся по Cerebras и удивился. Решение - крайне неортодоксальное. Чип занимает полностью wafer (вафля, блин на сленге). Обычно на подложке (wafer) много однообразных чипов, что позволяет снизить стоимость, повысить надёжность. Наибольший специализированный чип, над которым я работал, имеет размер где-то 5x7 см. A тут надо представить огромный квадрат где-то 20x20 см или больше. Собственно, название WSE (Wafer Scale Engine) говорит само за себя. Недостатков масса - высокая стоимость, мощность (боюсь себе даже представить), низкая надёжность (они вроде это решили).  Но они сознательно на это пошли ради "brute force" производительности. "The Cerebras WSE-2 has 850,000 cores and 2.6 trillion transistors. The WSE-2 expanded on-chip SRAM to 40 gigabytes, memory bandwidth to 20 petabytes per second and total fabric bandwidth to 220 petabits per second." При такой монстровости, потребители только те, у кого тугой кошелёк, биг  фарма и национальные лаборатории. Из архитектуры следует что у них как бы CPU с сотнями тысяч ядер, но это скорее всего очень специализированные ядра. Другой вопрос - программирование. Я так понял, оно у них всё ещё на низком уровне, тогда как у других - стандартные тулы с поддержкой Tensor Flow и/или PyTorch. С другой стороны надо понимать, что если надо набрать гигантское масштабирование, то  Wafer Scale Engine имеет преимущества перед агрегированными кластерами с таким же масштабированием. В любом случае - решение нишевое, но интересное и возможно вполне прибыльное для таких ниш.

https://www.hpcwire.com/2022/10/19/cerebras-chip-part-of-project-to-spot-post-exascale-technology/ :
Cerebras Systems has secured another U.S. government win for its wafer scale engine chip – which is considered the largest chip in the world.


The company’s chip technology will be part of a research project sponsored by the National Nuclear Security Administration to find future computing technologies to assess the nuclear weapons stockpile.


The NNSA and its partners will assess the chip’s capabilities as part of an initiative to research post-exascale technologies.


The NNSA’s Advanced Simulation and Computing (ASC) program is researching technologies that could be 40 times faster than the upcoming exascale system called El Capitan, which will be hosted at the Lawrence Livermore National Laboratory in Livermore, California.

Интересное решение от Lewis-Rhodes Labs - Extreme Search Technology. Они реализовали Neuromorphic Computing Unit (NPU, на FPGA) для поиска в больших базах данных и приблизили (физически и логически) SSD к FPGA с большой пропускной способности на массивном PCIe Gen4. То есть похоже на "in memory computing", но уже "in database computing" и FPGA/NPU вместо CPU/controller. 

К сожаленио, детали NPU остаются скрытыми, тут по идее много сложностей по сравнению с обычными DL ANN: training, programming. Но преимущества - условно малое потребление мощности ("холодный мозг"), массивный постоянный поток данных от SSD к FPGA многообещающие. 

Может быть интересным для Zorkus-a и Котелка (не квантовым AI единым )