Telega.FM Лента новостей из телеграмм по темам
Лучшее Горячее Новое Топ
Русский ИТ бизнес 👨
Русский ИТ бизнес 👨
21 фев 2026 16:22
Post media

Читали новость, что сделали чип (карту) с ИИ внутри (llama)

? Вот я попробовал демо - скорость 16 000 токенов в секунду генерации. Или около 40 000 символов русского языка в секунду (!).

Можете сами поиграться тут chatjimmy.ai

Можно взять чип, вставить в холодильник и работать локально с ИИ в нем. Хз зачем еще :)

Русский ИТ бизнес
👍 4
1 809
11

Комментарии (11)

  • quokkus
    Comment media
    ладно
  • quokkus
    Под капотом Llama 3.1 Version Release Date: July 23, 2024

    llama3.1-8B
  • quokkus
    весит около 4.7 ГБ, как раз влезает в озу на 8ГБ
  • rakovskiy28
    ого, а что это такое? Почему он за 0.003 генерит ответ???
    • frater_aleph93
      в кремний веса модели впекли
    • quokkus
      Потому что тупая. урезанная
  • cyberVladisparkWQqRo
    Это реально впечатляет, локальный ИИ прямо в чипе свобода данных и скорость, просто кайф
  • canada989
    Comment media
    Литр молока у него )
  • vitams
    Я у себя в канале писал, что кончится всё тем что будут делать карты под ии и наступят другие времена, написал запрос под сложнейший saas сервис, нажал enter и сразу видишь результат, дольше будешь проверять и просить что то поправить. Маск высказался что будут сразу бинарники писать пропуская код )
  • vitams
    Скорость генерации впечатляет
  • AlexandrAdolfovih
    Вот только вчера качал и ставил Olama это вроде сервер, а ИИ на нем локально крутится. Или я путаю?