提問三步曲: 提問先看教程/FAQ索引(wdcp,wdcp_v3,一鍵包)及搜索,會(huì)讓你更快解決問題
1 提供詳細(xì)，如系統(tǒng)版本,wdcp版本,軟件版本等及錯(cuò)誤的詳細(xì)信息,貼上論壇或截圖發(fā)論壇
2 做過哪些操作或改動(dòng)設(shè)置等
溫馨提示：信息不詳,很可能會(huì)沒人理你！論壇有教程說明的，也可能沒人理！因?yàn)?你懂的
OpenLLM 操作大語言模型的開放平臺(tái)
OpenLLM 是一個(gè)生產(chǎn)級(jí)的操作大語言模型 (LLM) 的開放平臺(tái)。支持便捷 Fine-tune 微調(diào)、Serve 模型服務(wù)、部署和監(jiān)控任何 LLM。借助 OpenLLM，可以使用任何開源大語言模型運(yùn)行推理，部署到云端或本地，并構(gòu)建強(qiáng)大的 AI 應(yīng)用程序。 OpenLLM 特性包括： - 先進(jìn)的 LLM：內(nèi)置支持各種開源 LLM 和模型運(yùn)行時(shí)，包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等。
- 靈活的 API：只需一個(gè)命即可通過 RESTful API 或 gRPC 為 LLM 提供服務(wù)，并通過 WebUI、CLI、Python/Javascript 客戶端或任何 HTTP 客戶端進(jìn)行查詢。
- 自由構(gòu)建：對(duì) LangChain、BentoML 和 Hugging Face 具有一級(jí)支持，可以通過將 LLM 與其它模型和服務(wù)組合來輕松創(chuàng)建自己的 AI 應(yīng)用程序。
- 簡化部署：自動(dòng)生成 LLM 服務(wù)器 Docker 鏡像或通過 BentoCloud 部署為無服務(wù)器端節(jié)點(diǎn)。
- 自建 LLM：使用 LLM.tuning () 微調(diào)任何 LLM 以滿足特定需求。 （即將推出）
|
發(fā)表于 2023-6-28 09:36
|