サイトをクロールしてナレッジ ファイルを生成し、1 つまたは複数の URL から独自のカスタム GPT を作成できるスクリプトです。
https://github.com/BuilderIO/gpt-crawler
リポジトリのクローンを作成
git clone <https://github.com/builderio/gpt-crawler>
依存関係のインストール
npm i
npx playwright install
クローラーを構成
イタリック体部分を変更する
export const config: Config = {
url: "*<https://www.builder.io/c/docs/developer*s>",
match: "*<https://www.builder.io/c/docs/***>",
selector: `*.docs-builder-container*`,
maxPagesToCrawl: 50,
outputFileName: "output.json",
};