La startup de cómputo fotónico Lightmatter está aprovechando su gran oportunidad en el rápidamente creciente mercado de cómputo de inteligencia artificial con una combinación de hardware y software que afirma ayudará a la industria a mejorar y ahorrar mucha electricidad.
Los chips de Lightmatter básicamente usan flujo óptico para resolver procesos computacionales como productos matriciales de vectores. Esta matemática es fundamental en muchas tareas de inteligencia artificial y actualmente es realizada por GPUs y TPUs que se especializan en ella pero usan puertas y transistores de silicio tradicionales.
El problema es que estamos acercándonos a los límites de densidad y por lo tanto velocidad para una determinada potencia o tamaño. Se siguen haciendo avances, pero a un gran costo y empujando los límites de la física clásica. Las supercomputadoras que hacen posible el entrenamiento de modelos como GPT-4 son enormes, consumen grandes cantidades de energía y producen gran cantidad de calor residual.
"Las empresas más grandes del mundo están topando con un muro de energía y experimentando enormes desafíos con la escalabilidad de la inteligencia artificial. Los chips tradicionales empujan los límites de lo que se puede enfriar, y los centros de datos generan una huella energética cada vez más grande. Los avances en inteligencia artificial se desacelerarán significativamente a menos que implementemos una nueva solución en los centros de datos", dijo el director ejecutivo y fundador de Lightmatter, Nick Harris.
"Algunos han calculado que el entrenamiento de un solo modelo de lenguaje grande puede consumir más energía que el consumo anual de 100 hogares estadounidenses. Además, se estima que del 10% al 20% de la energía total del mundo se destinará a la inferencia de inteligencia artificial a finales de la década a menos que se creen nuevos paradigmas de cómputo."
Lightmatter, por supuesto, tiene la intención de ser uno de esos nuevos paradigmas. Su enfoque es, al menos potencialmente, más rápido y eficiente, utilizando matrices de guías de onda ópticas microscópicas para permitir que la luz realice operaciones lógicas simplemente pasando a través de ellas: una especie de híbrido analógico-digital. Dado que las guías de onda son pasivas, el principal consumo de energía es la creación de la propia luz, y luego la lectura y el manejo de la salida.
Un aspecto realmente interesante de esta forma de cómputo óptico es que se puede aumentar la potencia del chip simplemente usando más de un color al mismo tiempo. El azul realiza una operación mientras que el rojo realiza otra, aunque en la práctica es más bien una longitud de onda de 800 nanómetros realiza una y 820 otra. Por supuesto, no es trivial hacerlo, pero estos "chips virtuales" pueden aumentar enormemente la cantidad de cálculos realizados en la matriz. El doble de colores, el doble de potencia.
Harris fundó la empresa basado en el trabajo de cómputo óptico que él y su equipo realizaron en el MIT (que les está otorgando las patentes relevantes) y consiguió una ronda de financiamiento semilla de $11 millones en 2018. Uno de los inversores dijo entonces que "esto no es un proyecto científico", pero Harris admitió en 2021 que si bien sabían "en principio" que la tecnología debería funcionar, había mucho por hacer para hacerla operativa. Afortunadamente, me lo dijo en el contexto de los inversores que aportaron otros millones a la empresa.
Ahora Lightmatter ha recaudado una ronda C de $154 millones y se prepara para su debut real. Tiene varios pilotos en marcha con su paquete completo de Envise (hardware de cómputo), Passage (interconexión, crucial para grandes operaciones de cómputo) e Idiom, una plataforma de software que Harris dice debería permitir que los desarrolladores de aprendizaje automático se adapten rápidamente.
"Hemos construido una plataforma de software que se integra perfectamente con PyTorch y TensorFlow. Desde allí, el flujo de trabajo para los desarrolladores de aprendizaje automático es el mismo; tomamos las redes neuronales construidas en estas aplicaciones estándar de la industria y importamos nuestras bibliotecas, por lo que todo el código se ejecuta en Envise", explicó.
La empresa se negó a hacer afirmaciones específicas sobre aumentos de velocidad o mejoras de eficiencia y, debido a que se trata de una arquitectura y un método de informática diferentes, es difícil hacer comparaciones directas. Pero definitivamente estamos hablando de una orden de magnitud, no de un escaso 10% o 15%. La interconexión también se ha mejorado, ya que es inútil tener ese nivel de procesamiento aislado en una placa.
Por supuesto, este no es el tipo de chip de uso general que se podría usar en su portátil; está altamente específico para esta tarea. Pero es la falta de especificidad de tareas a esta escala lo que parece estar frenando el desarrollo de la IA, aunque "frenando" es el término equivocado ya que se está moviendo a gran velocidad. Pero ese desarrollo es enormemente costoso e incómodo.
Los pilotos están en beta y la producción en masa está planeada para 2024, momento en el cual, presumiblemente, deberían tener suficiente retroalimentación y madurez para desplegarse en centros de datos.
El financiamiento para esta ronda provino de SIP Global, Fidelity Management & Research Company, Viking Global Investors, GV, HPE Pathfinder e inversores existentes.
