自明なことですが、大きなサイズのSQLiteを扱う際、処理時間の大半はデータベースファイルの読み込みになるので、データベースファイルを先に読み込ませてインメモリのDBに対してSQL文を実行すれば、高速に処理されます。 もしくは、RAMディスクにデータベー…

手元マシンのVM上のUbuntuに10GBのメモリを割り当てた環境での話ですが、2GB超のcsvファイルをpandasで読み込ませて、そこから更にSQLiteにも展開とかしていたらメモリ不足で落ちてしまったので、できるだけメモリを節約しながらSQLiteに読み込ませるコード…