东方财富证券：信息技术行业动态点评：AI发展如火如荼，安全不容忽视

【事项】 近日，OpenAI前首席科学家IlyaSutskever宣布创立一家名为“安全超级智能”（SafeSuperIntelligence,SSI）的公司。该公司的目标和产品极其明确、单一，即追求安全的超级智能。公司将安全性和能力视为通过革命性工程和科学突破来解决的技术难题，同时确保安全性始终保持领先地位。 【评论】 AI发展如火如荼，AI安全不可忽视。去年11月，OpenAI内部产生分歧，奥尔特曼和OpenAI总裁GregBrockman倾向于加速商业化，以获得更多资金来支持AI模型的算力需求。而伊利亚等人则希望AI更安全。双方矛盾激化，最终结果是奥尔特曼和GregBrockman在短暂离职后重归OpenAI，原董事会中的多位董事离开，伊利亚则在今年5月宣布离任。我们认为，本质的分歧在于AI安全的“路线之争”，可见目前在AI前沿的大模型公司中已有诸多关于AI安全的讨论，AI安全问题正日趋紧要，需要引起重视。 AI系统设计面临诸多挑战，安全技术需不停迭代。整体来看，为了实现AGI目标，当前AI系统在设计上主要面临以下挑战，包括： 软硬件的安全：在AI模型层面，攻击者同样可能在模型中