Вытащить данные в файл

[Удалённый пользователь 11285]

Сделал я такой индикатор. Пишет в файл нормально, но возникла проблема, для больших файлов жрет память сильно, зависает и вылетает программа.
Дело в том, что этот индикатор пишет сначала в память, а затем выдает файл.
Как мне исправить код, чтобы в файл писалось построчно после каждого бара? То есть бар прочитали, записал и тд??

Нужно закрывать поток после каждой записи\чтения командой Close.

 

[Удалённый пользователь 11285]

if(!_file_info.Exists)
{
FileStream fs = new FileStream("Путь имя файла и т.п." + ".txt", FileMode.OpenOrCreate, FileAccess.Write);

StreamWriter sw = new StreamWriter(fs);

sw.WriteLine(Данные.ToString() );

sw.Close();
}

 

[Удалённый пользователь 11285]

2019-05-29 01:06:00.000;59,05;59,03;59,03

как заменить запятую на точку (59,05 -> 59.05)

Кстати тут решение изменить разделитель в Региональных настройках Виндовс.

 

[slavavs82]

if(!_file_info.Exists)
{
FileStream fs = new FileStream("Путь имя файла и т.п." + ".txt", FileMode.OpenOrCreate, FileAccess.Write);

StreamWriter sw = new StreamWriter(fs);

sw.WriteLine(Данные.ToString() );

sw.Close();
}

что-то у меня не выходит по вашему шаблону сделать, ошибки лезут (if(!_file_info.Exists) - вот это не пойму куда воткнуть)

 

[Удалённый пользователь 11285]

что-то у меня не выходит по вашему шаблону сделать, ошибки лезут (if(!_file_info.Exists) - вот это не пойму куда воткнуть)

Правильно это же из примера. Все что Вам нужно было сделать это добавить в ваш код закрытие потока командой Close ))

 

[NT8]

Дельту побарно таким образом не рассчитать. Нужно каждый тик обрабатывать. А это миллионы тиков (если речь идет о популярных инструментах и хотя бы недельном периоде)

Пишет в файл нормально, но возникла проблема, для больших файлов жрет память сильно, зависает и вылетает программа.
Дело в том, что этот индикатор пишет сначала в память, а затем выдает файл.

Насколько большие файлы?

чтобы в файл писалось построчно после каждого бара?

Для истории это не нужно. В реал-тайме для баров достаточно дописывать в файл через AppendAllText

Держите пример. Работает быстро. Памяти потребляет копейки.

 

[slavavs82]

Для истории это не нужно. В реал-тайме для баров достаточно дописывать в файл через AppendAllText

Это все реализовано. В реалтайме пишет как надо.
Проблема в записи истории. Если писать историю за большой период, то все виснет.
У думаю может запись истории разбить на блоки, например по 10 тысяч баров писать, затем сбрасывать как-то, затем дописывать и так до конца истории...?

 

[NT8]

Не надо ничего разбивать. В моем примере выше 25000 исторических баров пишутся за 0.5 сек.

 

[slavavs82]

Не надо ничего разбивать. В моем примере выше 25000 исторических баров пишутся за 0.5 сек.

У меня порядка 3млн баров, оперативка не справляется, плюс много данных с одного бара.

 

[NT8]

Сколько данных с бара? И сколько оперативки имеется?

 

[slavavs82]

Сколько данных с бара? И сколько оперативки имеется?

Зачем эти цифры вам?
Я же говорю что виснет прога и вылетает, память перегружается.

 

[NT8]

Зачем эти цифры вам?

Что значит зачем? Сделать так, чтобы не висло и не вылетало.

 

[NT8]

Итак, тест.
Кол-во баров на графике - 3 248 295.
Снимаем с каждого бара 6 метрик.
Итоговый текстовый файл - 158 мегабайт.
Среднее время прохождения теста - 17 секунд.
Увеличение потребления памяти - 600-700 мегабайт (для нынешних систем это копейки).
Это всё без оптимизаций типа принудительной сборки мусора или разбивки на части.
Естественно, ничего не виснет и не вылетает.

Вывод: проблемы топикстартера не являются общим местом для NT8.

 

[NT8]

Update
Распараллерив обработку, достиг 9 секунд.
На современных 8/16 камнях вполне можно получить 2-3 секунды.